Geoffrey Hinton à la fin résume très bien ce que sont les IA et ça explique pourquoi nous ne pouvons pas comprendre le résultat donné par une IA (qu’il soit bon ou mauvais).

Les hommes donnent un réseau neuronal vierge, des algorithmes pour interagir avec les données (obtenir une "convergence") et surtout des données d’entraînement. Et avec tout ça, le résultat obtenu est trop complexe (cerveau artificiel) pour être compris par un humain et on ne peut plus expliquer comment ce cerveau artificiel trouve ses réponses à partir des données d’entrées.

C’est aussi un gros problème (appelé "hallucination" des IA), car on n’a aucun moyen de "fixer" un réseau neuronal qui a déjà subi sa phase d’apprentissage. Les "seules" choses que l’on peut modifier sont :

• le réseau neuronal initial
• les algorithmes pour le faire évoluer en fonction des données reçues
• les données d’apprentissage

Et c’est évidemment très coûteux de reformer un nouveau "cerveau" en recommençant un apprentissage à zéro, de sélectionner des données correctes et intéressantes parmi la montagne de déjections qu’on peut trouver sur internet.
Si on passait autant de temps à former les IA qu’on passe de temps à former un humain (20 ans environ), et bien il faudrait qu’une entreprise dépense 20 ans-homme pour former de manière "propre" une IA. Et évidemment, toutes les entreprises en IA cherchent à gagner sur cette partie (en automatisant la formation au risque d’injecter des données fausses) ou en payant des gens sans trop de formation pour vérifier les résultats.
Mais le plus grave, c’est que si un jour les IA commencent à nous dire des choses réellement géniales, nous n’aurons pas du tout les moyens de les comprendre et d’être sûrs si c’est vrai ou faux : soit nous mettrons en pratique ce qu’elles nous diront (risque existentiel pour l’humanité aussi bien que risque d’une découverte majeure) soit on les laissera causer dans leur coin pour éviter que l’application sans compréhension de notre part de la réflexion des IA ne débouche sur une catastrophe.