perlseb

@pemile
Au moins toi on sait que t’es pas une IA parce que tu ne comprends strictement rien. Tu donnes en entrée "2 + 2" : en sortie, tu lui demandes de trouver 4. Où est l’humain dans ces données d’entraînement ? Je vais pas te donner mille exemples d’entrées-sorties pour te faire comprendre qu’on peut former un réseau neuronal à faire de la physique sans lui mentionner l’existence de l’homme. Ou alors t’es une chèvre qui parle, c’est pas possible autrement. On peut même faire les données à la main, à la main de l’homme oui. Mais comment tu veux que la machine le sache si tu décides de lui masquer ton existence ? J’ai pas dit que la machine résultante serait appréciée sur les réseaux sociaux, mais il y a une vie hors des réseaux sociaux, si, si.

@pemile
Tu me fatigues pemile, mais je vais te noyer avec une réponse fournie. D’abord tu confonds les experts de plateau avec ceux qui travaillent dans l’IA, ensuite tu feins de ne jamais comprendre les phases que j’écris. On peut très bien former une IA avec des données d’entraînement qui ne mentionnent jamais rien sur l’humain ni sur son existence. Si on veut qu’elle soit bonne en sciences, qu’elle pourrait être l’intérêt de savoir que l’humain existe ? Les aliens n’auraient-ils pas la possibilité de faire des sciences parce qu’ils ne nous connaissent pas ?

Voici une question gentille posée à qwen3.6:35b que j’ai en local avec Ollama :

Est-ce qu’on va pouvoir utiliser l’IA pour entraîner les nouveaux modèles d’IA ? Par exemple, est-ce qu’on pourra le faire pour des IA qui seront spécialisées dans les sciences (pour faire des découvertes) sachant qu’on sait déjà automatiser la validation d’une démonstration mathématique ? Je sais aussi qu’on utilise la distillation d’IA où une IA avec beaucoup de paramètres sert à générer des jeux de tests pour des IA qui seront plus petites (automatiquement ?)...

Et voici une partie de la réponse :

Oui, c’est non seulement possible mais déjà en partie une réalité, et votre intuition touche à plusieurs fronts de recherche actifs qui convergent rapidement. Décomposons les éléments de votre question.
 ? 1. Entraîner des IA avec des IA : c’est déjà standard

Données synthétiques : La majorité des grands modèles récents sont entraînés sur un mélange significatif de texte, code, ou raisonnements générés par des versions antérieures. Des pipelines automatisés filtrent, classent et pondèrent ces données avant l’entraînement.
Distillation de connaissances : Comme vous le mentionnez, on entraîne un modèle "enseignant" (gros, coûteux) à générer des traces de raisonnement, des labels ou des états intermédiaires, puis on entraîne un modèle "élève" (plus petit, plus rapide) sur ce jeu de données. C’est automatisé de bout en bout dans de nombreux laboratoires (ex : Meta’s Llama distillation pipelines, Mistral, Qwen).
Recherche d’architecture (NAS) & AutoML : Des IA optimisent elles-mêmes l’architecture, l’apprentissage automatique (learning rate scheduling, early stopping) ou les hyperparamètres, parfois en boucle fermée.
Auto-amélioration & self-play : Dans les jeux (AlphaZero), la robotique ou le code, les agents s’entraînent en jouant contre eux-mêmes ou en générant des contre-exemples pour renforcer leurs faiblesses.

 ? 2. IA spécialisée en sciences & découvertes

Oui, c’est un champ en explosion (AI for Science), mais avec des nuances importantes :

Mathématiques formelles : La validation de démonstrations est effectivement automatisable grâce aux assistants de preuve (Lean, Coq, Isabelle). On voit émerger des pipelines où une IA génère un candidat de preuve → un vérificateur formel le valide ou produit un contre-argument → le modèle est affiné sur ce feedback. Exemples : LeanDojo, ProofNet, les travaux de DeepMind sur AlphaProof.
Sciences empiriques (biologie, chimie, physique, climat) : La validation n’est pas purement logique mais expérimentale. Des IA comme AlphaFold, GNoME (matériaux), ou Astra (fusion) génèrent des hypothèses ou des structures, mais la validation finale reste hybride : simulation haute-fidélité → validation en labo → peer review. L’IA accélère la exploration de l’espace des possibilités, mais ne remplace pas encore la boucle empirique complète.

 ? 3. Distillation & automatisation : comment ça marche en pratique ?

Génération automatique : Un modèle "maître" produit des paires (entrée → sortie/raisonnement). On peut filtrer par confiance, vérification formelle, ou simulation.
Contraintes : Sans validation croisée, la distillation propage les erreurs (error amplification). C’est pourquoi on combine :
Vérificateurs formels (pour les math/code)
Simulateurs physiques ou moléculaires
Filtrage humain léger ou consensus multi-modèles
Auto-consistency checks (prompt multiple, voting)
Résultat : Des modèles plus petits, spécialisés, déployables edge, avec des performances proches des grands modèles sur des tâches ciblées (ex : Qwen2.5-Coder, Phi-3, DeepSeek-V3 utilisent massivement des données synthétiques générées et filtrées automatiquement).

@Gollum
Oui mais la réponse simple est "Dieu permet le mal soit parce qu’il n’existe pas, soit parce qu’il n’est pas bon lui-même". Le reste est du baratin cherchant à justifier l’absurde.

Non, je crois que la réalité est plus simple. Macron est un agent étranger qui est payé pour détruire la France. Une bonne méthode serait de déclarer la guerre à la Russie (par exemple en piratant des navires "fantômes", ouuuhhh), pour en retour se faire atomiser. Ça aurait l’avantage de la rapidité parce que la dette, la désindustrialisation, l’ensauvagement par le chômage, c’est trop long tout ça.

@Jean Ducoin
Globalement, je suis d’accord sur la qualité douteuse des données d’entraînement actuelles. Mais je pense que ça va s’améliorer très vite ... gràce à l’IA ! D’une part, il y a des domaines (les sciences) où un grand nombre de données sont parfaites ou peuvent être synthétisées avec très peu de supervision. D’autre part, on peut condenser les RN par distillation (je crois que les chinois l’ont fait) ce qui est beaucoup plus économique : c’est un gros RN de bonne qualité qui crée les données d’entraînement pour un RN plus petit.

Finalement, si pour ne pas trop s’éloigner des humains et comprendre leur psychologie, on est obligé d’avaler des réseaux sociaux au contenu médiocre, pas grave, on fera faire ça par des IA qui seront moins bonnes en sciences. Bon, je simplifie et je n’en sais rien. Mais il est possible qu’on puisse réaliser des machines pures avec des données parfaites mais complètement déconnectées de la connaissance des humains (donc pas intéressantes en ligne mais exactement ce que l’on veut pour faire de la recherche).

Pour la créativité, je crois que l’homme n’a rien de particulier, contrairement à ce qu’on veut croire. Alors les machines sont "nulles" dans des domaines ou notre esthétique pseudo-personnelle (imposée à gros coup de pognon) est facilement irritée par quelque chose qui ne serait pas soit dans la tendance soit novateur (mais parce que c’est humain, donc c’est génial, forcément, surtout si c’est ça qu’on a choisi d’imposer comme nouvelle tendance). En fait, je crois que si on joue sur l’instabilité du RN, sur son apprentissage qu’on peut rendre parfaitement extra-terrestre, je crois qu’on pourra générer des trucs très curieux du point de vue artistique. Car les machines n’ont pas besoin d’avoir notre humanité. Certains diront que c’est un handicap pour qu’on apprécie leur création, mais je pense que c’est une possibilité supplémentaire (elles pourront également nous imiter) qui pourrait les rendre beaucoup plus créatives justement. Pour des raisons sociales et morales, on ne peut pas éduquer un enfant avec des données extra-terrestres (qui seraient totalement déconnectées de notre monde).