Hoe een neuraal netwerk leert: van de perceptron tot miljarden gewichten

Haast om praktisch aan de slag te gaan? Lessen 4–5 gaan over wat er onder de motorkap van AI zit. Je kunt ze vluchtig doornemen en later terugkomen: het praktische deel begint bij les 9. En elke optionele diepe duik in deze twee lessen zit in een blok 'Onder de motorkap (optioneel)' helemaal aan het einde — de hoofdlijn zonder deze is kort.

Het idee van een „neuraal netwerk” is bijna 70 jaar oud. Rosenblatts perceptron uit les één belichaamde hetzelfde idee — leer van voorbeelden. Maar hoe je netwerken met veel lagen traint, kwam later, en de schaal is sindsdien met miljarden toegenomen. Laten we het idee eens ontleden.

Een analogie: een beginner bij de basketbalring

Stel je iemand voor die voor het eerst een bal naar een basket gooit. Eerste worp — helemaal mis. Het brein noteert: te hard, richt naar links. Tweede — dichterbij. Bijstellen. Bij de duizendste worp gaat hij er bijna elke keer in. Niemand gaf ze „de formule voor een perfect schot” — het ontstond uit feedback. Een neuraal netwerk leert precies op deze manier.

De trainingsloop: vier stappen

1. Voorspel. Je toont het model een voorbeeld (een foto, een stuk tekst) en het geeft een antwoord. Vroeg in de training is dit in principe willekeurig.
2. Vergelijk. Het antwoord wordt vergeleken met het juiste. Het verschil is de fout, en je kunt er een getal aan toekennen.
3. Pas aan. Binnenin het netwerk zitten miljarden numerieke „knoppen”, genaamd gewichten. Een speciaal algoritme duwt elk ervan een klein beetje bij, zodat de fout kleiner wordt. Een klein beetje is de kern van de zaak: abrupte bewegingen breken wat al geleerd is.
4. Herhaal. Volgend voorbeeld. Miljarden keren.

Wanneer je „een model met 70 miljard parameters” hoort, is dat het aantal van die gewicht-knoppen. Verwar een parameter niet met een neuron: een parameter is de sterkte van één verbinding (dichter bij een synaps in de hersenen), niet het „neuron” zelf. Voor een zeer ruwe schatting van de schaal: het menselijk brein heeft ~86 miljard neuronen en triljoenen verbindingen daartussen — dus zelfs een enorm model is, qua aantal verbindingen, onvergelijkbaar veel eenvoudiger dan een brein.

Waarom dit miljoenen kost

Miljarden voorbeelden × miljarden gewichten × duizenden passes = een monsterlijke hoeveelheid rekenkracht. Grote modellen trainen maandenlang op tienduizenden GPU's, de rekeningen lopen op tot tientallen miljoenen dollars, en de datacenters verbruiken evenveel stroom als een kleine stad. Nu is duidelijk waarom de doorbraak wachtte tot de jaren 2010: zoveel rekenkracht bestond simpelweg niet eerder. En waarom slechts een handvol bedrijven grote modellen bouwt — terwijl iedereen ze gebruikt.

Drie manieren om te trainen (deze kom je in elk AI-artikel tegen)

• Supervised: voorbeelden die met de antwoorden komen („dit is een kat”, „dit is spam”) — zoals onze basketbalanalogie. De meeste toegepaste modellen leren op deze manier.
• Unsupervised: het model zoekt zelf naar structuur in de data zonder hints — bijvoorbeeld klanten groeperen op basis van gedrag.
• Reinforcement: leren via een beloning voor het resultaat — zo vond AlphaGo, door miljoenen spellen tegen zichzelf te spelen, zetten die geen mens kende. En zo krijgen de chatbots van vandaag hun laatste poetsbeurt, door menselijke beoordelingen van antwoorden — daarom zijn ze beleefd en volgen ze instructies op.

Het spamfilter, van begin tot eind (de hele loop in een minuut)

Neem een bekend voorbeeld en doorloop de loop: het filter krijgt een e-mail te zien → het voorspelt „spam, waarschijnlijkheid 0.3” → het juiste antwoord was „spam” → de fout is groot → de gewichten die gekoppeld zijn aan de woorden „prijs” en „gratis” en het vreemde afzenderadres worden een beetje omhoog bijgesteld → de volgende vergelijkbare e-mail scoort 0.7. Een miljard e-mails later vangt het filter 99% van de spam. Niemand schreef een regel die zei „het woord 'prijs' is verdacht” — die regel groeide uit de voorbeelden. Nu zie je dit proces achter elke AI-functie.

Twee gevolgen die veel verklaren

1. Een model weet alleen wat in de data zat. De training eindigde, kennis bevroor. De datum waarna het model niets „gezien” heeft, wordt de knowledge cutoff genoemd. Het nieuws van gisteren, de privédocumenten van je bedrijf, de prijzen van vandaag — niets daarvan bestaat voor het model totdat je het apart toont (door een bestand te uploaden of het op het web te laten zoeken).

2. Datakwaliteit = modelkwaliteit. Train op tekst vol fouten en je krijgt fouten. Als de data een bepaalde kant op neigde, erft het model die neiging. Onthoud „garbage in, garbage out”: het komt terug in je eigen verzoeken aan AI (je prompts) en in het werken met AI-bots.

Kun je de training aanvullen?

Ja — en goedkoper dan helemaal opnieuw trainen: neem een afgerond model en leer het verder met je eigen voorbeelden (fine-tuning), of geef het simpelweg de kennis die het nodig heeft direct in je verzoek. De tweede manier is prompting, en daar word je goed in tijdens deze cursus.

Onder de motorkap (optioneel): waarom „neuraal”

Wat volgt is een optionele diepe duik voor de nieuwsgierigen. Het zal niet veranderen hoe je in de praktijk met AI werkt, dus voel je vrij om direct naar de volgende les te gaan.

De naam „neuraal netwerk” is geen metafoor — hij is rechtstreeks uit de biologie gehaald. Een neuron in de hersenen verbindt zich met duizenden andere neuronen, en elke verbinding heeft zijn eigen sterkte: de ene sterk, de andere nauwelijks aanwezig. Het werkt eenvoudig: het verzamelt de signalen van alles waarmee het verbonden is, vermenigvuldigt elk met de sterkte van die verbinding, telt ze allemaal op — en als de som een drempel overschrijdt, „vuurt” het een signaal af verderop in de keten. (De drempel is als een schakelaar: druk je te zacht, dan gaat het licht niet aan.)

Een kunstmatig neuron kopieert dat schema. En de sterkte van elke verbinding is precies het gewicht — de numerieke knop uit de trainingsloop hierboven. Een netwerk trainen = de sterkte van verbindingen afstemmen, net zoals je hersenen de verbindingen versterken die ze nodig hebben wanneer je een nieuwe vaardigheid leert. Daar komt „neuraal” vandaan.

Daarna lopen de paden uiteen: een brein leert van een paar voorbeelden en werkt op 20 watt (minder dan de lamp in je koelkast), terwijl neurale netwerken miljoenen voorbeelden en megawatts nodig hebben. Dus „neuraal” gaat over waar de inspiratie vandaan kwam, niet over een „elektronisch brein”: we kopieerden het bedradingsschema van het brein, niet de manier waarop het denkt.