La science pourrait-elle à terme conduire à la destruction de notre civilisation ou presque ?

[RiketRok]

La source : https://nickbostrom.com/papers/vulnerable.pdf

En résumé, les progrès scientifiques et technologiques peuvent être représentées par des boules de couleur qu'on pioche dans un sac opaque,
il y a des boules blanches, sans danger,
des boules grises, avec un danger relatif (génie génétique, les armes nucléaires, les drones tueurs...)

et la question est : est-il probable ou improbable qu'il existe une boule noire ? Une avancée technologique relativement facile à mettre en place avec un large pouvoir destructeur et sans défense possible ?
Est-on prêt à l'apparition d'une telle boule ? A implémenter une coopération internationale sans précédent, avec potentiellement une réduction drastique des libertés individuelles à l'échelle de la planète ?

Imaginons qu'on découvre d'un jour à l'autre que mélanger du yahourt à la fraise avec une omelette végane détruirait soudainement le système solaire, peut-on se prémunir contre le risque de voir quelqu'un mélanger ces deux substances à l'échelle du système solaire ?
-----

[Flyingbike]

Déplacé depuis "Discussions scientifiques". Il ne faudrait pas exagérer...

[Flyingbike]

Réouverture (fermée par erreur)

[pm42]

On peut remarquer que l'article cité est nettement plus intéressant que le vague "résumé" couplé avec une question bateau qu'on a ici.

Il est aussi critiquable parce qu'il y passe pas mal de temps sur une hypothèse un peu artificielle : "qu'est ce qui aurait pu se passer si fabriquer une bombe atomique était très facile".

Mais il y une vraie réflexion et bien détaillée.

[A voir en vidéo sur Futura]

[Liet Kynes]

Bonjour,
La version française : https://www.researchgate.net/publica...nde_vulnerable

[Médiat]

Imaginons qu'on découvre d'un jour à l'autre que mélanger du yahourt à la fraise avec une omelette végane détruirait soudainement le système solaire, peut-on se prémunir contre le risque de voir quelqu'un mélanger ces deux substances à l'échelle du système solaire ?

Oui, très facilement, il suffit de faire la promotion du mélange yaourt citron et omelette norvégienne, qui éradiquera totalement la race humaine et donc il ne restera plus personne pour mélanger du yaourt à la fraise avec une omelette végane.

[roro222]

Bonjour
La boule noire est proche et ne manquera pas d'arriver un jour.

Prenons les IA génératives de molécules couplé aux robots pour leur synthèses
Supposont une molécule auto-répliquante à base d'atomes très commun et qui envahisse notre planette sans pouvoir l'arrêter .
Un peu du genre comme le film "Le jour ou la terre s'arrêta" ou une nuée de molécules se répandait sur la terre. Heureusement que extraterrestre a tout stoppé
Que se passerait t'il ?

[oxycryo]

il me semble que le génie génétique est accessible à tout les laborantins, soit bac+3 bio, ou BTS peut-être... soit faire des mélanges sympas...
pourtant on ne voit rien venir...

le fentanyl par contre est facilement productible, comme beaucoup d'autre composé chimique dangereux... et là par contre

[Flyingbike]

il me semble que le génie génétique est accessible à tout les laborantins, soit bac+3 bio, ou BTS peut-être... soit faire des mélanges sympas...
pourtant on ne voit rien venir...

le fentanyl par contre est facilement productible, comme beaucoup d'autre composé chimique dangereux... et là par contre

les souches qui pourraient être des armes biologiques ne sont pas accessibles comme ça.

Et je me demande si les boites de synthèse de gènes n'ont pas des algos pour détecter certaines protéines.

[Tannhauser]

La source : https://nickbostrom.com/papers/vulnerable.pdf

En résumé, les progrès scientifiques et technologiques peuvent être représentées par des boules de couleur qu'on pioche dans un sac opaque,
il y a des boules blanches, sans danger,
des boules grises, avec un danger relatif (génie génétique, les armes nucléaires, les drones tueurs...)

et la question est : est-il probable ou improbable qu'il existe une boule noire ? Une avancée technologique relativement facile à mettre en place avec un large pouvoir destructeur et sans défense possible ?
Est-on prêt à l'apparition d'une telle boule ? A implémenter une coopération internationale sans précédent, avec potentiellement une réduction drastique des libertés individuelles à l'échelle de la planète ?

Imaginons qu'on découvre d'un jour à l'autre que mélanger du yahourt à la fraise avec une omelette végane détruirait soudainement le système solaire, peut-on se prémunir contre le risque de voir quelqu'un mélanger ces deux substances à l'échelle du système solaire ?

Nick Bostrom ...
C'est celui qui a pondu la machine à trombones qui allait manger l'univers (je ne sais plus exactement, mais il me semble que c'était l'idée).

La capacité d'anticipation de ce type n'est probablement pas fabuleuse (perso je dirais vraiment très mauvaise).

Augmenter la densité d'énergie, de base, ce n'est pas simple.
Par exemple ça avait été envisagé et contrôlé pour le LHC, pour éviter de transformer la terre en trou noir.
Le LHC fait partie des trucs les plus complexes jamais construits.

Si on voit des choses qui sont là dans le ciel depuis des milliards d'années c'est que l'ensemble est probablement relativement stable.
Si les expériences aux sein des écosystèmes pendant des centaines de millions d'années n'ont pas détruit la planète, il faudra probablement que les humains y mettent une certaine volonté pour l'endommager.

Si c'était si simple d'avoir des mécanismes très destructeurs il y aurait des hamsters qui lancent des lasers mégajoules.
Il fantasme que l'intelligence soit une capacité aux potentiel quasi-divin.
C'est juste un mystique.
C'est juste une affaire de croyance.

[oxycryo]

les souches qui pourraient être des armes biologiques ne sont pas accessibles comme ça.

Et je me demande si les boites de synthèse de gènes n'ont pas des algos pour détecter certaines protéines.

je ne sais plus qui disait il y a peu sur un autre post, qu'entre bactérie et bactérie, enfin entre variant d'une même souche, quelques gènes à modifier pour obtenir de l'anodin (streptocopus, E.coli) pour en faire des tueurs de masse, ou grandement problématique

[Liet Kynes]

Avec un virus ou une bactérie, c'est impossible de détruire toute l'humanité, un petit village résistera encore et toujours https://fr.wikipedia.org/wiki/Sentinelles_(peuple)

[Flyingbike]

je ne sais plus qui disait il y a peu sur un autre post, qu'entre bactérie et bactérie, enfin entre variant d'une même souche, quelques gènes à modifier pour obtenir de l'anodin (streptocopus, E.coli) pour en faire des tueurs de masse, ou grandement problématique

Heureusement que ça ne se joue pas à aussi peu.
Il ne suffit pas de mettre un gène de toxine dans une bactérie de yaourt pour que ça fonctionne !

[Juzo]

Bonjour,

Il y a une question que j'hésite à poser depuis des années, je la pose finalement ici car le fil paraît adapté.

Tout d'abord faisons le constat de l'intrication entre internet et le monde réel : communication, commerce électronique, information, monnaie électronique et banque en ligne, nombreux appareils technologiques d'importance critique connectés à internet, etc.
Faisons le constat aussi qu'il n'y a pas d'obstacle théorique pour qu'une IA soit bientôt capable de mentir, élaborer des stratégies, anticiper nos réactions, infecter internet avec des virus très complexes, fausser les données de communication et d'information, agir sur des appareils d'importance critique connectés à internet comme des ordinateurs de banque, des armes ou autres, embaucher des personnes pour agir dans le monde réel etc. etc.

Que se passera-t-il quand n'importe qui pourra demander à une telle IA (qui aurait en outre la capacité de calculer un scénario de réussite maximale) de détruire par tous les moyens possibles un pays, un continent, ou une population, voire une civilisation ?
Empêcher un tel événement, si cela est possible, impliquerait de contrôler fortement internet, les technologie d'IA et nos libertés... En aurons-nous la capacité, ou la volonté ?

Quelques contre-arguments auxquels j'aimerais répondre par avance :

1 - "C'est de la science fiction, ce n'est pas le lieu pour en parler."
Je pense qu'un forum de science, dans sa partie "sciences ludiques", est le lieu adapté pour effectuer des conjectures sur l'effet des technologies, en essayant d'être plus rigoureux que la science fiction.

2 - "C'est le catastrophisme anti-technologique classique - le pire ne s'est jamais réalisé malgré les éternelles craintes à chaque nouvelle technologie."
On connaît bien l'argument sceptique : l'observation d'une régularité ne fait pas une loi. Un événement ne s'est jamais produit, cela doit-il nous rendre incapables de l'anticiper s'il va se produire ?
L'argument de Russel sur la faiblesse de l'induction est adapté et bien connu : une poule peut être nourrie par la même personne depuis longtemps, pour autant il est possible que cette personne vienne le lendemain pour lui tordre le cou au lieu de la nourrir.
La nouveauté est possible, surtout dans une période de risques systémiques inédits (effondrement du système financier, du système de santé, crise économique, crise climatique, effondrement des espèces etc.)

3- "Vous n'êtes pas formé pour parler d'IA, c'est du blabla."
J'ai néanmoins un diplôme d'ingénieur en prévention des risques, que je n'ai pas utilisé depuis longtemps certes, mais quand un processus peut avoir un impact important et qu'on est incapable de fournir une évaluation des risques ou un début de calcul de fiabilité propres, je me dis qu'il faut conclure qu'il y a un problème.

Sans parler d'IA (sauf si j'ai dit une absurdité sur l'IA), on peut parler des critères objectifs d'évaluation des risques : (merci chatGPT de m'éviter le travail de rappel...)

- Probabilité : le plus difficile à établir, mais du point de vue de la capacité technologique d'une "super-IA", ou de la possibilité d'un usage malintentionné il semble que la probabilité est importante. Et d'autres risques technologiques existent.
- Impact : l'impact est énorme, inutile de faire un dessin vu le risque étudié
- Gravité : c'est le produit de la probabilité et de l'impact. Si la probabilité est haute, la gravité est extrêmement haute.
- Exposition : étant donné l'usage généralisé d'internet, la plupart des secteurs et des pays ainsi que leurs habitants sont exposés.
- Vulnérabilité : les vulnérabilités sont très nombreuses ; sécurité des données, attaques de pirates, virus, malwares, failles de sécurité, etc.
- Capacité de résilience : non pertinent si l'on veut simplement éviter un incident, pertinent si l'on s'intéresse à la possibilité d'un impact conséquent ou d'un effondrement systémique par exemple.
- Contrôles existants : très très légers il me semble... mais on peut envisager qu'une IA évoluée permette cela ?
- Possibilité d'effectuer une évaluation quantitative ou qualitative des risques : ce n'est pas le cas ici, ou c'est très compliqué, justement.
- Historique des incidents : c'est un risque nouveau, mais les nombreuses utilisations malveillantes des cyber-technologies semblent des incidents similaires à prendre en compte dans le calcul de probabilité.
- Contexte : contexte global peu maîtrisable.
- Complexité (risque découlant de la complexité d'un processus) : on est justement dans une complexité très grande.

Conclusion : Objectivement, tous les indicateurs semblent au rouge (du moins avec les niveaux de sécurité actuels d'internet).
La seule chose qui pourrait aplanir le risque serait une improbabilité très forte d'atteindre ce niveau de technologie.
Donc objectivement, il semble y avoir un risque très important.

Désolé pour les personnes qui voient ressurgir avec dégoût ce vieux marronnier Je voulais simplement partager cette réflexion, mais pas m'y accrocher.
A contrario d'un catastrophisme anti-IA, je trouve que pas mal de personnes à l'aise avec les sujets scientifiques abordent ce sujet-là avec trop peu de prudence, peut-être à cause d'un biais cognitif ?
Bien sûr ce n'est qu'une vision personnelle que je serais content de voir corrigée par des arguments *enfin* satisfaisants.

[pm42]

Faisons le constat aussi qu'il n'y a pas d'obstacle théorique pour qu'une IA soit bientôt capable de mentir, élaborer des stratégies, anticiper nos réactions, infecter internet avec des virus très complexes, fausser les données de communication et d'information, agir sur des appareils d'importance critique connectés à internet comme des ordinateurs de banque, des armes ou autres, embaucher des personnes pour agir dans le monde réel etc. etc.

Ce n'est pas un constat, c'est la nième fois sur ce fil qu'on confond la SF avec la réalité.

Que se passera-t-il quand n'importe qui pourra demander à une telle IA (qui aurait en outre la capacité de calculer un scénario de réussite maximale) de détruire par tous les moyens possibles un pays, un continent, ou une population, voire une civilisation ?

Tu veux dire quand ta tante en aura ? On l'appellera mon oncle.
Encore une fois, il y a une différence entre la réalité et Terminator.

Quelques contre-arguments auxquels j'aimerais répondre par avance :

Je pense qu'un forum de science, dans sa partie "sciences ludiques", est le lieu adapté pour effectuer des conjectures sur l'effet des technologies, en essayant d'être plus rigoureux que la science fiction.

On a raté la rigueur ici.

2 - "C'est le catastrophisme anti-technologique classique - le pire ne s'est jamais réalisé malgré les éternelles craintes à chaque nouvelle technologie."

Je confirme : c'est le classique l'apocalypse est proche des occidentaux.

On connaît bien l'argument sceptique : l'observation d'une régularité ne fait pas une loi. Un événement ne s'est jamais produit, cela doit-il nous rendre incapables de l'anticiper s'il va se produire ?
L'argument de Russel sur la faiblesse de l'induction est adapté et bien connu : une poule peut être nourrie par la même personne depuis longtemps, pour autant il est possible que cette personne vienne le lendemain pour lui tordre le cou au lieu de la nourrir.
La nouveauté est possible, surtout dans une période de risques systémiques inédits (effondrement du système financier, du système de santé, crise économique, crise climatique, effondrement des espèces etc.)

Oui mais la prévision de l'apocalypse à chaque changement social et technologique qui se trompe à chaque fois ne fait pas une loi en effet.
Mais cela rend largement crédible les gens qui disent "oui mais cette fois ci c'est la bonne, on va tous mourir" en n'ayant aucun argument.

3- "Vous n'êtes pas formé pour parler d'IA, c'est du blabla."[/U]
J'ai néanmoins un diplôme d'ingénieur en prévention des risques, que je n'ai pas utilisé depuis longtemps certes,

On est très impressionné. Effectivement, cela permet de prédire le futur d'avoir ce genre de diplôme non utilisé et de parler d'un domaine dont on ne connait rien

mais quand un processus peut avoir un impact important et qu'on est incapable de fournir une évaluation des risques ou un début de calcul de fiabilité propres, je me dis qu'il faut conclure qu'il y a un problème.

Ce qui revient à confondre le risque au niveau local où on sait faire ça et le risque au niveau sociétal qui lui n'est jamais évaluable de cette façon.
Le problème est dans cette confusion.

sauf si j'ai dit une absurdité sur l'IA
[/QUOTE]
Plus d'une comme 90% des participants aux fils sur l'IA

je serais content de voir corrigée par des arguments *enfin* satisfaisants.

Il est impossible de trouver des argument satisfaisants pour quelqu'un qui confond SF et réalité, problème local et global, qui explique pourquoi il peut parler d'un sujet qu'il ne connait pas parce qu'il y a longtemps, il a appris quelque chose qui n'a rien à voir.

[JPL]

Avec un virus ou une bactérie, c'est impossible de détruire toute l'humanité, un petit village résistera encore et toujours https://fr.wikipedia.org/wiki/Sentinelles_(peuple)

Tu as trop lu Astérix

[mh34]

Finalement on parle de quoi là? De la destruction de notre civilisation ou de celle de l'humanité?
Vu les réponses données dans ce fil, c'est pas clair du tout...
Parce que c'est pas du tout la même chose.

[Juzo]

Tu veux dire quand ta tante en aura ? On l'appellera mon oncle.
Encore une fois, il y a une différence entre la réalité et Terminator.

J'espère qu'on l'appellera MON oncle et pas le votre.

Pourriez-vous expliquer un peu en quoi une personne malintentionnée et une IA capable d'investir internet pour causer des catastrophe est plus proche de Terminator que de la réalité ?
Ne voyez-vous pas internet comme un système très complexe et vulnérable, et l'IA comme une technologie à très haut potentiel ?

On a raté la rigueur ici.

Vous pourriez expliquer pourquoi, comme quand j'essaie de définir des critères d'évaluation des risques au lieu de me contenter de phrases péremptoires.

On est très impressionné. Effectivement, cela permet de prédire le futur d'avoir ce genre de diplôme non utilisé et de parler d'un domaine dont on ne connait rien

Etre hyper à l'aise sur tous les sujets est tout aussi louche.

[Juzo]

Effectivement, cela permet de prédire le futur d'avoir ce genre de diplôme non utilisé et de parler d'un domaine dont on ne connait rien

Évaluer un niveau de risque n'est pas prétendre lire l'avenir.

De même plutôt que de voir cela comme un message catastrophiste, autant le voir comme une nécessité de mettre en place un effort de prévention rapidement.

Prenons la voiture :

Au début la voiture roule au maximum à 20 km/h. Mais les progrès rapides semblent évidents.

- Albert le catastrophiste dit que c'est une horreur, que ça mènera à une catastrophe et que le cheval c'est bien mieux.
- Bernard le techniciste aime particulièrement éprouver qu'il est raisonnable en refusant de s'inquiéter, il moque Albert et ne questionne pas l'usage de la voiture.
- Sylvie la préventrice se dit que si les voitures vont plus vite, ce serait bien de concevoir des ceintures de sécurité. Sylvie aurait pu réduire drastiquement le risque avec 50 ans d'avance, ce qui aurait réduit le nombres de morts. (si on omet le fait qu'au début les ceintures aggravaient le risque plus qu'autre chose...).*

Là on parle d'accidents autrement plus graves qu'on évite avec des mesures autrement plus importantes qu'une ceinture de sécurité... Sans même d'ailleurs qu'il soit nécessaire de s'intéresser à des catastrophes comme l'extinction peu probable d'une civilisation ou de l'humanité.

* et si Albert avait en tête le problème des moteurs à combustion, il aurait de son côté les dizaines de millions de morts dus à la pollution, sans parler de l'impact écologique. Dire que les catastrophes ne se produisent jamais est un peu fort.

[Liet Kynes]

Finalement on parle de quoi là? De la destruction de notre civilisation ou de celle de l'humanité?
Vu les réponses données dans ce fil, c'est pas clair du tout...
Parce que c'est pas du tout la même chose.

Oui, c'est un peu le même problème avec les désinfectants qui tuent 99.9% des bactéries et virus sauf que pour l'être humain il faut qu'il reste plus qu'un seul exemplaire

[Bounoume]

page 21 de l'article: réflexion perso:
la surveillance sociale de tous les individus, nommée ici "Panoptique haute technologie", ça ressemble beaucoup au "crédit social" que Monsieur Xi est en train de développer en Chine....
pour le bien et la sécurité de l'Humanité, évidemment......

[Liet Kynes]

Dans l'idée, un effet papillon d'origine anthropique qui détruirait la civilisation aurait pu tout aussi bien être posée, l'article a, à la lecture que j'en fais, un air de déjà-vu dans les thématiques philosophiques sur le pouvoir.

[oualos]

Je comprends pas cette discussion ni surtout son but.
Vous trouvez qu'il n'y a pas déjà assez de menaces comme ça ? Regardez le journal de 20h
L'apocalypse est une peur archaïque qui remonte à l'aube de l'humanité quand l'homme préhistorique faisait face à la foudre, au tonnerre, aux inondations et qu'il n'était pas capable d'expliquer cela.
Et il a inventé les dieux qui se mettaient en colère: c'est un peu l'origine des religions tout ça, une peur archaïque devant l'inexplicable.

[Bounoume]

Dans l'idée, un effet papillon d'origine anthropique qui détruirait la civilisation aurait pu tout aussi bien être posée, l'article a, à la lecture que j'en fais, un air de déjà-vu dans les thématiques philosophiques sur le pouvoir.

c'est un plaidoyer pour une gouvernance mondiale toute puissante, supérieurement intelligente, définissant le Bien commun et le Bien suprême.....
pas tellement scientifique....
seule la partie sur les dérapages mortifères de la Guerre froide présente un intérêt ...historique....

après on peut batifoler sur l'invention du sarin, les OGM, covid et autres joyeusetés....
pour rire... j'ai fabriqué anciennement de la poudre noire avec... du vrai salpêtre récolté sur des murs... et je sais empoisonner un régiment en produisant une des toxines botuliques... avec des conserves d'asperges bien ensemencées.... alors ce sera la fin du monde....


pour ce qui est des effets de l'écosystème Internet d'une part, des dérives possibles d'une IA 'forte' d'autre part [processus très différents!]
il y a au moins 1 autre fil en cours....

[polo974]

Oui, très facilement, il suffit de faire la promotion du mélange yaourt citron et omelette norvégienne, qui éradiquera totalement la race humaine et donc il ne restera plus personne pour mélanger du yaourt à la fraise avec une omelette végane.

Ah, enfin une réponse sérieuse.

[oualos]

c'est un plaidoyer pour une gouvernance mondiale toute puissante, supérieurement intelligente, ...

Je ne sais pas si c'est un plaidoyer pour une gouvernance mondiale toute puissante mais on s'y dirige droit devant.
quant à se dire qu'elle sera supérieurement intelligente heu...

[JPL]

Je rappelle que la politique n’est pas acceptée sur le forum.

[Archi3]

Avec un virus ou une bactérie, c'est impossible de détruire toute l'humanité, un petit village résistera encore et toujours https://fr.wikipedia.org/wiki/Sentinelles_(peuple)

la question était de détruire la civilisation industrielle, pas l'humanité.

[Liet Kynes]

Je n'ai pas vu le mot industriel associé au mot civilisation dans l'article.

[Juzo]

Bonjour,

Je partage simplement quelques sources : 300 spécialistes de l’IA et autres personnalités en vue ont fait un communiqué sur les risque de l'AI : Statement on AI Risk, la traduction du communiqué est Atténuer le risque d’extinction dû à l’IA devrait être une priorité mondiale, aux côtés d’autres risques sociétaux tels que les pandémies et la guerre nucléaire.

Il y a cet article publié par un groupe de 30 experts sur arXiv, dont un extrait révélateur (traduit) est Les progrès de l’IA pourraient aboutir à une perte de vies humaines et de biosphère à grande échelle, ainsi qu’à la marginalisation, voire à l’extinction de l’humanité.

Un autre extrait un peu plus long (traduit) :

Bon nombre de ces risques pourraient bientôt être amplifiés, et de nouveaux risques sont créés, à mesure que les entreprises développent des IA autonomes : systèmes capables de planifier, d'agir dans le monde, et poursuivre des objectifs. [...]
Si nous construisons une IA autonome très avancée, nous risquons de créer des systèmes qui poursuivent des objectifs indésirables. Des acteurs malveillants pourraient délibérément intégrer des objectifs néfastes. De plus, personne ne sait actuellement comment aligner de manière fiable le comportement de l'IA avec des valeurs complexes; plusieurs percées en recherche sont nécessaires.
[...]
Une fois que les systèmes d’IA autonomes poursuivront des objectifs indésirables, intégrés par des acteurs malveillants ou par accident, nous ne serons peut-être pas en mesure de les contrôler. Le contrôle de logiciel est un problème ancien et non résolu : les vers informatiques ont été longtemps capables de proliférer et d'éviter la détection. Cependant, l’IA progresse dans des domaines critiques tels que le hacking, la manipulation sociale, la tromperie et la planification stratégique. Les systèmes d'AI autonome avancés poseront des défis de contrôle sans précédent.

Ce sont cinq documents publiés récemment par des organisations comme le G7 ou les Nations Unies, évoqués dans cet article.

Voilà ce que peuvent en dire des personnes qui connaissent vraiment le sujet, ça me semble reprendre la problématique que je soulevais dans les grandes lignes et on est loin du catastrophisme d'ignorants, mais je suis curieux de lire l'opinion de pm42 sur leur opinion.