Les machines prennent le pouvoir

The machines take over
Sunday October 12, 2008

Richard Dooling analyse dans un article du NYT la menace que fait peser sur notre civilisation la foi aveugle et déplacée de la haute-finance dans
la technologie informatique.

"But we are suggesting neither that the human race would voluntarily turn power over to the machines nor that the machines would willfully seize power. What we do suggest is that the human race might easily permit itself to drift into a position of such dependence on the machines that it would have no practical choice but to accept all of the machines' decisions. ... Eventually a stage may be reached at which the decisions necessary to keep the system running will be so complex that human beings will be incapable of making them intelligently. At that stage the machines will be in effective control. People won't be able to just turn the machines off, because they will be so dependent on them that turning them off would amount to suicide."

La suite I C I

Traduction du passage ci-dessus :

"Mais nous ne suggérons ni que la race humaine délèguerait volontairement le pouvoir aux machines, ni que les machines s'empareraient volontairement du pouvoir. Ce que nous suggérons en fait est que la race humaine pourrait facilement se laisser dériver dans une position d'une telle dépendance aux machines qu'elle n'aurait aucun autre choix réel que d'accepter toutes les décisions des machines. Comme la société et les problèmes auxquels elle fait face deviennent de plus en plus complexes et les machines de plus en plus intelligentes, les gens laisseront les machines prendre plus de décisions pour eux, simplement parce que les décisions des machines apporteront de meilleurs résultats que les décisions humaines. Au bout du compte un stade peut être atteint dans lequel les décisions nécessaires pour maintenir le système en fonctionnement seront si complexes que les gens seront incapables de les prendre intelligemment. À ce stade les machines auront le contrôle effectif. Les gens ne pourront pas juste éteindre les machines, parce qu'ils seront si dépendants d'elles que les éteindre serait un suicide."

Unabomber est de retour ?

The human race n'est pas, n'a jamais été "la race humaine"; elle est plus modestement "l'espèce humaine", et quand elle s'assagit assez pour reconnaître ses vraies limites, elle devient "les hommes", en lesquels acceptent de se fondre les femmes .

ah et puis, human beings, tout de même, sont un peu plus que "les gens", surtout quand ils s'opposent aux machines ou aux robots, ils gagnent alors à se désigner comme "les humains"

et "the effective control" n'est pas un "contrôle", mais une maîtrise, comme on maîtrise son destin plutôt qu'on ne le contrôle, et "effective", appliqué au destin, devient "réel", pour faire "maîtrise réelle" de son destin et du reste. Sinon : effective, c'est le "concret" des Français, qui ne se transcrit jamais tel quel en anglais où sa figure ("concrete") penche trop obliquement vers le béton.

"maintenir le système en fonctionnement": "entretenir le système" suffit, grâce à l'économe traducteur interne que possède en lui tout locuteur gaulois.

Sinon, beau et utile travail que vous nous livrez là, cher Olivier. En vous en remerciant.

Lorsque, il y a sept ou huit ans, les cours des valeurs mobilières à la bourse de New York, puis dans les autres bourses du monde, ont baissé en quelques jours de 30 ou 40% (ou plus), une explication du même type a été avancée : la baisse était amplifiée par les logiciels alors en usage dans les sociétés de courtage et dans les banques d'affaires et qui, dès que l'indice baissait, ordonnaient de vendre (ou vendaient eux-mêmes) des "lignes" entières d'actions, ce qui provoquait de nouvelles baisses de l'indice et, en conséquence, des ventes automatiques de nouvelles lignes.

Cher Francis, j'aurais aimé être l'auteur de cette traduction - aussi bancale soit-elle - mais Kaczynski "Unabomber", l'auteur du fameux manifeste dont cet extrait est issu, est traduit en français depuis assez longtemps.

Rogemi fait de la propagande néo-luddite ! Que se passe-t-il sur ce forum ??

Je serais d'avis qu'un peu de luddisme dans le monde d'aujourd'hui ne serait pas si mauvais que cela, cher Olivier !

Asimov "plaide" à travers ses romans pour une association homme-robots. D'abord parce que les robots sont plus performants que les hommes dans bien des domaines. La génération précédente conçoit la génération suivante et ils se complexifient ainsi par eux-mêmes au point de ne plus pouvoir être appréhendés dans leur totalité par un seul homme, mais par des spécialistes, chacun au fait d'un ou de quelques-uns de leurs aspects techniques. La créature échappe à son créateur (pour le meilleur ou pour le pire), mais sous l'effet de l'urgente nécessité et l'impossible retour sur le confort qu'elle lui apporte.
D'autre part, grâce aux lois de la robotique imprégnant leurs circuits ils sont incapables de nuire à l'homme, insensibles à la corruption, mégalomanies, maladies et autres déceptions sentimentales ou égotisme si catastrophiques pour les hommes. Le robot, incorruptible, efficace, faisant le bonheur de l'homme en dépit de lui-même comme seul espoir de la survivance de l'espèce. Chez Asimov le robot est le complément d'une société qui reste libérale, qui peut rester libérale grâce à lui. Il disait cela dans les années cinquante.

Jean Peyrelade, ancien Président du Crédit Lyonnais a dit sur la RTB-F que la grande majorité des banquiers ne savaient pas en réalité qu'ils manipulaient des titres pourris. C'est sûrement vrai. D'après la Fed (je crois) il y en aurait pour mille trois cents milliards de dollars, mais les deux tiers resteraient encore à découvrir...
On doit admettre que seule une machine contenant toutes les informations bancaires du monde entier aurait pu tracer et analyser, dire la vérité sur ces valeurs tant leurs imbrications est complexe.
De là à admettre un robot gérant la planète, comme Asimov l'imaginait...

Citation
Rogemi fait de la propagande néo-luddite ! Que se passe-t-il sur ce forum ??

Contrairement à Kaczynski je ne crois pas que l'établissement d'un paradis sur la terre soit possible. Mais aller au fond des choses est quelque fois utile.

Il ne suffit pas d'établir un procés-verbal des déficiences d'une société - même si un grand nombre de constatations touchent en plein dans le mille - pour ensuite passer à l'action cad commencer à éliminer ceux que l'on considére comme responsable des perversités de cette même société.

Je vous rappelle, cher Olivier, qu'il y a eu au moins quatre traductions du texte de l'Unabomber.

Une d'annie Lebrun, une des EdN, une sur internet (la première) et tout recemment une nouvelle de Jean-Marie Apostolidès parue aux Editions du Rocher. Laquelle est la meilleure ?

The horseman serves the horse,
The neat-herd serves the neat,
The merchant serves the purse,
The eater serves his meat;
'Tis the day of the chattel,
Web to weave, and corn to grind,
Things are in the saddle,
And ride mankind.

(Emerson, Ode inscribed to William H. Channing)

" ils sont incapables de nuire à l'homme, insensibles à la corruption, mégalomanies, maladies et autres déceptions sentimentales ou égotisme si catastrophiques pour les hommes. Le robot, incorruptible, efficace, faisant le bonheur de l'homme en dépit de lui-même comme seul espoir de la survivance de l'espèce"

Merci pour ce message, cher Obi. Aussi je repense à l'Ecole de Francfort, plus précisément à Horkheimer, pour qui toute l'histoire de la pensée peut se résumer dans une lutte entre des "mythes vitaux" et une raison, incarnée ici par le robot, s'efforçant d'organiser le monde selon les principes (propagés par l'aufklärung) de la liberté et du progrès : le totalitarisme surgit lorsque le mythe prend le pas sur la raison. Pourtant, affirme Horkheimer, la raison elle même peut devenir totalitaire. Elle peut "tomber malade".

Bien d'accord, suivre la Raison pour elle-même, voilà qui est déraisonnable ! Mais peut-on compter sur la Sagesse (la conduite humaine réglée par la raison) pour sauver l'Homme ? L'Histoire laisse sceptique.
Asimov ne voyait (je crois) que deux alternatives à la folie humaine : l'alliance avec les robots pour la gestion du nécessaire et, ou, la recherche d'espace vital dans conquête spatiale.

"l'alliance avec les robots pour la gestion du nécessaire et, ou, la recherche d'espace vital dans conquête spatiale."

A mon avis, l'étape préalable serait d'éradiquer la classe financière (sorte de "Nouvelle classe boursico-médiatique").

Oui mais même si vous envoyez, Cher Pascal, avec fusée et un ticket aller-simple tous ces messieurs-dames se faire voir dans l'espace, il en reviendra d'autres aussitôt croyez-moi ! Il vaut mieux les remplacer par des robots qui fument le cigare, ce serait moins toxique en fin de compte.

Un robot gérant la planète... Sommes-nous si éloignés de cette situation ?

Dire que la machine remplace l'homme n'est pas un vain mot : elle devient peu à peu autonome. Nous ne devrions pas prendre à la légère les histoires de créatures artificielles qui se retournent contre l'homme, qui éradiquent l'homme. Le mouvement de révolte des luddites contre les machines à tisser, pas plus que les actes terroristes d'Unabomber, n'apportaient de solution adéquate ; mais ils manifestaient l'impuissance de l'humain face à la suprématie du progrès technique. Aujourd'hui, nous voyons la technique faire système, nous voyons les ordinateurs s'"interconnecter", nous voyons la "toile" se tisser, les machines communiquer entre elles, les robots se perfectionner et se compléter. Un jour ce système atteindra un dégré de complétude tel que la Machine n'aura plus besoin de nous, sinon en tant que ses serviteurs. Nous sommes en train de façonner un Etre - oserais-je dire suprême ? - qui fera de nous de simples actionneurs de manettes et nettoyeurs de pistons. Il n'y aura bien entendu jamais aucune "volonté" de la part des robots, mais une forme d'intelligence et de pouvoir aveugles, une faculté presque humaine de créer des relations, tirer des conséquences, faire des choix, prendre des décisions - à notre place.

Cet après-midi, le système informatique de la BnF a "planté" pendant plus d'une heure. Aucune application ne fonctionnait plus, la téléphonie était également atteinte, de telle sorte qu'il nous était devenu impossible de faire quelque opération que ce soit. Nous nous regardions tous avec hébétude. Que faire ? Comment faire ? Il fallait tout réinventer, saisir nos sylex et tenter d'allumer le feu de l'Agir devant les lecteurs médusés, incrédules. Les personnels erraient, tournaient en rond, imbéciles. Humiliés par une "défaillance du système". J'ai pensé que c'était à ce genre d'humiliation et de détresse, mais à très grande échelle bien entendu, que les hommes du futur devaient s'attendre, le jour où la Machine ne leur obéira plus.

Merci, Olivier.

Un aspect peu exploré, semble-t-il, de ce pouvoir des robots est l'effet démultiplicateur qu'il produit sur les décisions humaines. La décision humaine la plus insignifiante est répercutée et démultipliée aveuglément par les robots, et peut produire ainsi des conséquences d'une ampleur qu'elles n'auraient pas eue sans eux. En d'autres termes, la puissance des robots se réinvestit en l'homme, elle magnifie son insignifiance naturelle: l'insignifiance de l'homme est magnifiée dans les deux sens, celui de son impuissance (les employés de la bibliothèque errant dans l'hébétude, les bras ballants pendant la panne) et celui de l'ampleur des conséquences de décisions humaines en soi insignifiantes ou ineptes (des hommes qui à Tchernobyl, voulurent tenter une petite expérience insignifiante après les heures de boulot et qui ce faisant déclenchèrent l'irréparable en inondant la planète de radioactivité). Dans cette seconde direction, opposée à la première, le robot (ou l'IA) investit toute action humaine (et donc toute ineptie humaine) d'une sur-puissance proprement inhumaine.

Je crois que nous en avions parlé ici il y a quelque mois: l'infériorité dangereuse du robot tient au fait qu'il ne sait pas être insignifiant; à la différence de l'homme, tout ce qu'il fait est provoqué par une cause ou un jeu de causes déterminés et tendu vers un but explicite. Ce n'est presque jamais le cas chez l'homme sans machine dont l'insignifiance échappe au gain de magnitude et donc à la démesure systématique dans la catastrophe. Sans les robots, et les "logiciels d'aide à la décision" un être insignifiant comme Kerviel n'aurait perdu que 50,000 euros, doit-on supposer.

Le défaut d'insignifiance du robot, qui ne sait pas être un imbécile inconséquent aux actes de portée négligeable, se mue en excès de puissance chez ses utilisateurs/victimes. Il pourrait suffire pour revenir à un équilibre et une maîtrise du couple homme/robot, d'enseigner au robot l'insignifiance, l'absurde, l'acte non motivé et exempt de conséquence, chose extrêmement délicate à concevoir pour un concepteur de robots.

(lire à ce propos l'ouvrage "Philosophie contre intelligence artificielle" de Jacques Bolo.)

Les grands sectateurs de la panne se réunissent dans le noir pour appeler la panne générale, objet de leurs incantations. Quelquefois, ils disposent au centre d’une table un appareil quelconque, réveil, grille-pain, téléphone, fer à repasser, puis, à la manière des spirites, ils prétendent unir leurs forces mentales contre lui et le détraquer. Peu leur importe de ne pas y parvenir, leur foi reste intacte car dans chaque panne qui survient dans le monde, ils voient l’influence de leurs séances et la confirmation de l’imminence de la Panne finale.

Il pourrait suffire pour revenir à un équilibre et une maîtrise du couple homme/robot, d'enseigner au robot l'insignifiance, l'absurde, l'acte non motivé et exempt de conséquence, chose extrêmement délicate à concevoir pour un concepteur de robots.

C'est ce qui donne matière à Asimov pour écrire toutes les péripéties vécues par le docteur Susan Calvin, docteur en psychologie robotique, dans "Le robot qui rêvait" par exemple. Quand des robots se mettent à croire en Dieu, quand le candidat à la présidence des Etats-Unis est en fait un robot, quand les lois de la robotique trouvent leurs limites en se contredisant, il y a en parallèle des remises en question de l'être humain qui ne manquent pas de sel ; goûtez-y c'est intelligent, amusant et délassant. (J'ai Lu)

Première Loi
Un robot ne peut blesser un être humain ni, par son inaction, permettre qu'un humain soit blessé.

Deuxième Loi
Un robot doit obéir aux ordres donnés par les êtres humains, sauf si de tels ordres sont en contradiction avec la Première Loi.

Troisième Loi
Un robot doit protéger sa propre existence aussi longtemps qu'une telle protection n'est pas en contradiction avec la Première et/ou la Deuxième Loi.

Obi Wan, je comprends mieux votre pseudonyme à présent.

Je crois que ce ne sont pas les machines, qui prennent le pouvoir aujourd'hui. Ce qui prend le pouvoir, ceux qui prennent le pouvoir, ce sont les machins.

Attention, car les machins épousent des machines, cher Boris : un sanskritiste vous le confirmera.

Ah oui, vous avez raison, je n'avais pas pensé à ça… Mais les machines, au moins, on peut dire qu'elles portent la culotte !

Obi Wan, je comprends mieux votre pseudonyme à présent.

Je vous assure Bzzz Cher Francmoineau que je ne suis pas un Bzzz
robot !