Comment un réseau neuronal apprend : du perceptron aux milliards de poids

Pressé(e) de passer à la pratique ? Les leçons 4 et 5 expliquent ce qui se passe « sous le capot » de l'IA. Vous pouvez les parcourir rapidement et y revenir plus tard : la partie pratique commence à la leçon 9. Et chaque approfondissement facultatif de ces deux leçons se trouve dans un bloc « Sous le capot (facultatif) » juste à la fin — le fil principal sans eux est court.

L'idée d'un « réseau neuronal » a près de 70 ans. Le perceptron de Rosenblatt, vu à la leçon 1, incarnait la même idée : apprendre par l'exemple. Mais la manière d'entraîner des réseaux à plusieurs couches est venue plus tard, et l'échelle a été multipliée par des milliards depuis. Décortiquons cette idée.

Une analogie : un débutant au panier de basket

Imaginez quelqu'un qui lance un ballon au panier pour la première fois. Premier lancer : complètement à côté. Le cerveau note : trop fort, viser à gauche. Deuxième : plus près. Ajustement. Au millième lancer, le ballon rentre presque à chaque fois. Personne ne lui a donné « la formule du tir parfait » — elle s'est construite à partir du feedback. Un réseau neuronal apprend exactement de cette manière.

La boucle d'entraînement : quatre étapes

1. Prédire. Vous montrez un exemple au modèle (une photo, un extrait de texte) et il donne une réponse. Au début de l'entraînement, c'est essentiellement aléatoire.
2. Comparer. La réponse est comparée à la bonne. L'écart est l'erreur, et vous pouvez lui attribuer une valeur numérique.
3. Ajuster. À l'intérieur du réseau se trouvent des milliards de « boutons » numériques, appelés poids. Un algorithme spécial ajuste chacun d'eux très légèrement afin que l'erreur diminue. Le « très légèrement » est la clé : des ajustements brusques cassent ce qui a déjà été appris.
4. Répéter. Exemple suivant. Des milliards de fois.

Lorsque vous entendez « un modèle à 70 milliards de paramètres », il s'agit du nombre de ces « boutons » de poids. Ne confondez pas un paramètre avec un neurone : un paramètre est la force d'une connexion (plus proche d'une synapse dans le cerveau), pas le « neurone » lui-même. Pour une idée très approximative de l'échelle : le cerveau humain compte environ 86 milliards de neurones et des milliers de milliards de connexions entre eux — donc même un modèle énorme est, en nombre de connexions, incomparablement plus simple qu'un cerveau.

Pourquoi cela coûte des millions

Milliards d'exemples × milliards de poids × milliers de passages = une quantité monstrueuse de calcul. Les grands modèles s'entraînent pendant des mois sur des dizaines de milliers de GPU, les factures s'élèvent à des dizaines de millions de dollars, et les centres de données consomment autant d'énergie qu'une petite ville. Il est maintenant clair pourquoi la percée a attendu les années 2010 : une telle puissance n'existait tout simplement pas auparavant. Et pourquoi seule une poignée d'entreprises construisent de grands modèles — alors que tout le monde les utilise.

Trois façons d'entraîner (vous les retrouverez dans chaque article sur l'IA)

• Supervisé : exemples fournis avec les réponses (« ceci est un chat », « ceci est un spam ») — comme notre analogie du panier. La plupart des modèles appliqués apprennent de cette manière.
• Non supervisé : le modèle recherche des structures dans les données sans aucune indication — par exemple, en regroupant les clients par comportement de manière autonome.
• Par renforcement : apprentissage par une récompense pour le résultat — c'est ainsi qu'AlphaGo, en jouant des millions de parties contre lui-même, a trouvé des coups qu'aucun humain ne connaissait. Et c'est ainsi que les chatbots actuels obtiennent leur touche finale, grâce aux évaluations humaines des réponses — c'est pourquoi ils sont polis et suivent les instructions.

Le filtre anti-spam, de bout en bout (la boucle complète en une minute)

Prenons un exemple familier et déroulons la boucle : le filtre reçoit un e-mail → il prédit « spam, probabilité 0.3 » → la bonne réponse était « spam » → l'erreur est grande → les poids liés aux mots « prix » et « gratuit » et à l'adresse d'expéditeur étrange sont légèrement augmentés → le prochain e-mail similaire obtient un score de 0.7. Un milliard d'e-mails plus tard, le filtre intercepte 99 % des spams. Personne n'a écrit de règle disant « le mot 'prix' est suspect » — cette règle a émergé des exemples. Vous pouvez maintenant voir ce processus derrière chaque fonctionnalité d'IA.

Deux conséquences qui expliquent beaucoup de choses

1. Un modèle ne connaît que ce qui était dans les données. L'entraînement s'est terminé, la connaissance s'est figée. La date après laquelle le modèle n'a « rien vu » est appelée la date de coupure des connaissances. Les nouvelles d'hier, les documents privés de votre entreprise, les prix d'aujourd'hui — rien de tout cela n'existe pour le modèle tant que vous ne le lui montrez pas séparément (en téléchargeant un fichier ou en le laissant chercher sur le web).

2. Qualité des données = qualité du modèle. Entraînez-le sur un texte plein d'erreurs et vous obtiendrez des erreurs. Si les données penchaient d'un côté, le modèle hérite de ce biais. Rappelez-vous « garbage in, garbage out » (déchets entrants, déchets sortants) : cela se retrouve dans vos propres requêtes à l'IA (vos prompts) et dans le travail avec les bots IA.

Pouvez-vous compléter son entraînement ?

Oui — et moins cher que de l'entraîner à partir de zéro : prenez un modèle fini et enseignez-lui davantage sur vos propres exemples (fine-tuning), ou donnez-lui simplement les connaissances dont il a besoin directement dans votre requête. La deuxième méthode est le prompting, et vous y excellerez dans ce cours.

Sous le capot (facultatif) : pourquoi « neuronal »

Ce qui suit est un approfondissement facultatif pour les curieux. Cela ne changera pas la façon dont vous travaillez avec l'IA en pratique, alors n'hésitez pas à passer directement à la leçon suivante.

Le nom « réseau neuronal » n'est pas une métaphore — il est directement tiré de la biologie. Un neurone dans le cerveau se connecte à des milliers d'autres neurones, et chaque connexion a sa propre force : l'une solide, l'autre à peine présente. Cela fonctionne simplement : il collecte les signaux de tout ce à quoi il est connecté, multiplie chacun par la force de cette connexion, les additionne tous — et si la somme dépasse un seuil, il « déclenche » un signal le long de la chaîne. (Le seuil est comme un interrupteur : appuyez trop doucement et la lumière ne s'allume pas.)

Un neurone artificiel copie ce schéma. Et la force de chaque connexion est exactement le poids — le bouton numérique de la boucle d'entraînement ci-dessus. Entraîner un réseau = ajuster la force des connexions, tout comme votre cerveau renforce les connexions dont il a besoin lorsque vous acquérez une nouvelle compétence. C'est de là que vient le terme « neuronal ».

Après cela, les chemins divergent : un cerveau apprend à partir de quelques exemples et fonctionne avec 20 watts (moins que l'ampoule de votre réfrigérateur), tandis que les réseaux neuronaux ont besoin de millions d'exemples et de mégawatts. Ainsi, « neuronal » fait référence à l'origine de l'inspiration, et non à un « cerveau électronique » : nous avons copié le schéma de câblage du cerveau, pas sa façon de penser.