Il a compris comment on fait des calculs dans la boite noire. Il annonce une autre vidéo pour expliquer comment on fait pousser la boite noire.

Mais ce qui serait intéressant, c’est de savoir exactement ce que contient la boite noire et ça c’est très difficile. Par "contient", il ne suffit pas de lister les milliards de paramètres, on les connaît évidemment tous. Non, par contient, il faut comprendre quelles sont les significations de chacun des paramètres pris individuellement ainsi que des relations créées entre eux. Et là, c’est impossible. C’est pour ça que c’est une boite noire.

Anthropic fait des vidéos qui montrent qu’ils essayent de comprendre de toutes petites parties du réseau neuronal et ils vérifient qu’en faisant des modifications de quelques "neurones" (après apprentissage), les résultats sont faussés comme attendu. Mais il faudrait plusieurs vies humaines pour faire l’inventaire exhaustif du réseau neuronal complet.

Le résultat le plus notable est quand même que ces boites noires contiennent une représentation du monde (représentation fournie par les données d’entraînement) : on ne peut pas répondre de manière juste à beaucoup de questions dans plein de domaines sans se raccrocher à un savoir (aussi imparfait qu’ils soit).

Donc on ne peut pas savoir ce que contient une telle boite noire et c’est là le problème. Vous ne pourrez pas faire tous les prompts possibles pour petit à petit faire une liste de ce que le réseau sait, et tout ce qu’il ne sait pas. Ce serait beaucoup trop long et beaucoup trop coûteux. Vous pouvez constater que le réseau répond mal pour une question donnée avec un prompt, c’est tout. Pas qu’il ne connaît pas la réponse car une autre formulation pourrait marcher.

La conclusion : ce sont bien des boites noires, mais on sait les faire fonctionner ... sinon elles n’auraient aucun intérêt, évidemment.

La conclusion de la conclusion : on sait les faire tourner, mais on ne sait pas vraiment de quoi elles sont capables. Et dans le principe, c’est plutôt dangereux de donner plus d’autonomie à une boite noire.