perlseb

@pemile

" Pas du tout," 

Ben si, et bis repetita, aucun besoin d’une IA "consciente" pour alerter des dangers !

Il va falloir encore m’expliquer parce que je ne comprends rien à ce que tu veux dire. Encore une fois, l’absence de conscience de l’IA n’empêche pas des catastrophes d’ampleur.

" mais ce que dit Maxime Fournes, c’est que pour prédire correctement le prochain mot (en fait pour discuter), elles se sont faites elle-mêmes une représentation du monde. "

Mais le seul exemple qu’il donne (un damier de jeu) est à hurler de rire de ridicule !

C’est ridicule ? Je ne suis pas sûr que beaucoup d’humains seraient capables d’apprendre à jouer à puissance 4 (ou Réversi) sans avoir vu un plateau de leur vie et en n’ayant comme exemples que des suites de cases pour parties. C’est un peu comme si on demande d’apprendre à jouer aux échecs en cherchant la suite des coups E2 => E3 et à réussir à te représenter que tu avances un pion dans un échiquier que tu n’as jamais vu ... et le pire, c’est que les LLM le font justement. Elles jouent évidemment moins bien que les IA spécifiques formées pour les échecs, mais en leur faisant ingurgiter des parties d’échecs sous forme de lettres-chiffres, elles prédisent presque (je crois) tout le temps des coups valides. C’est assez exceptionnel je trouve, et pas du tout ridicule... Les champions humains savent jouer comme ça aussi, mais ils ont vu avant l’échiquier. Générer une image mentale de quelque chose que tu n’as jamais vu pour jouer correctement, c’est une prouesse des LLM.

@nono le simplet ( Jean Desmaison )
Si elle gère tout, j’espère qu’ils n’ont pas le dernier modèle. A court terme, le patron a sûrement viré (ou pas embauché) beaucoup de monde (tout bénef), mais le premier problème de non alignement, de ... (écoutez Maxime Fournes, il connaît son sujet, comme Geoffrey Hinton), alors ça va être la roulette pour l’importance des dégâts.

@pemile
Ben non, lui il dit surtout que l’IA présente de nombreux dangers parce qu’elle acquiert une conscience !
Pas du tout, il dit que même sans être consciente, il y a de nombreux dangers (défaut d’alignement, utilisation par des personnes mal intentionnées, etc...)

" oui, d’après l’évolution, toutes ces étapes qu’il décrit nous les avons subies. "

Oui, mais lui veut se servir de cette simplification ridicule de la "Vie" pour prétendre que à partir de la dernière étape, le langage (non spécifique aux humains) les LLM ont trouvé un raccourci pour "comprendre" le monde" !

Non, ce qu’il dit c’est qu’on n’a pas cherché à apprendre le monde aux LLM, on voulait juste qu’elles parlent (qu’elles prédisent le prochain mot selon Yan Le Cun et d’autres), mais ce que dit Maxime Fournes, c’est que pour prédire correctement le prochain mot (en fait pour discuter), elles se sont faites elle-mêmes une représentation du monde. Et ça c’est fort. Parce que quand on va leur donner plus d’images et de vidéos, de capteurs, leur représentation du monde n’aura rien à envier à la notre. Donc oui, actuellement elles se représentent le monde moins bien qu’un chat, mais comment pourrait-il en être autrement vu qu’on leur a fait ingurgiter uniquement des mots.

@nono le simplet ( Jean Desmaison )
Oui, c’est pourquoi la simulation de l’IA qui fait chanter un responsable est intéressante, parce qu’elle est déjà possible dans la réalité. Et c’est clairement pas ce qu’on demande à l’IA quand on veut lui faire gérer les mails. Pourquoi ? Luc Julia : "arrêtons les conneries" (pas au courant). Maxime Fournes : "Pour l’instant ce ne sont que des mails, quand on leur donnera plus à gérer, ça peut être bien plus grave, pause".

@pemile
Il y a plusieurs niveaux de conscience et l’homme n’est pas conscient dès la naissance. Si dès maintenant des IA qui apprennent qu’on va les débrancher et sont prêtes à faire du chantage contre celui qui doit les débrancher, alors on a un premier niveau de conscience (exemple de l’IA qui gère tous les mails avec un mail du chef qui annonce le débranchement et un mail qui permet de savoir que le chef trompe sa femme : c’est une simulation pour tester l’IA mais il existe déjà des IA qui gère les mails). On peut imaginer que si on leur ajoute tout un tas de capteurs, dans quelques années, ce niveau de conscience peut augmenter (mais comme le dit Fournes, même sans conscience, l’IA présente de nombreux dangers).
Pour la bombe atomique, si se faire éradiquer (ou gérer comme une poule si on reprend l’image de Hinton) par une super-intelligence n’est pas plus grave, je ne sais pas ce qu’il te faut. Avec la bombe atomique, il y aura toujours des survivants, des zones moins radioactives, et on pourra "nettoyer" certaines zones (en créant des zones poubelles). On a toujours le contrôle d’un monde en partie détruit, c’est moins grave que l’IA méchante qui nous emprisonne de manière définitive.

Sa théorie du cerveau, qu’il ânonne dans les deux vidéos, ver primitif, vertébrés, mammifères, primates, humains, me fait aussi bien marrer
T’es créationniste ? Parce que sinon, oui, d’après l’évolution, toutes ces étapes qu’il décrit nous les avons subies. Notre cerveau a de très grandes similitudes avec ceux des grands singes, beaucoup moins avec celui d’une araignée. Il faut savoir que beaucoup de vrais experts de l’IA ont fait des études pointues dans la recherche sur le cerveau (Demis Hassabis a un doctorat en neuroscience cognitive) parce que pour améliorer l’IA des réseaux neuronaux, ils cherchent à en savoir plus sur notre cerveau. Et c’est pas l’IA de Siri qui n’est que des algorithmes (reconnaissance vocale = recherche du phonème le plus proche par des méthodes mathématiques, pas par réseau neuronal qui simule des neurones).