Hvordan et neuralt netværk lærer: fra perceptronen til milliarder af vægte

Har du travlt med at komme i gang med det praktiske? Lektion 4-5 handler om, hvad der er under AI's motorhjelm. Du kan skimte dem og vende tilbage senere: den praktiske del starter i lektion 9. Og hver valgfri dybdegående del i disse to lektioner sidder i en "Under motorhjelmen (valgfrit)"-blok lige til sidst – hovedtråden uden dem er kort.

Idéen om et "neuralt netværk" er næsten 70 år gammel. Rosenblatts perceptron fra lektion et indeholdt den samme idé – lær af eksempler. Men hvordan man træner netværk med mange lag kom senere, og skalaen er vokset med en faktor på milliarder siden da. Lad os skille idéen ad.

En analogi: en nybegynder ved basketballkurven

Forestil dig en, der kaster en bold mod en kurv for første gang. Første kast – helt forbi. Hjernen noterer: for hårdt, sigt til venstre. Andet – tættere på. Juster. Ved det tusindende kast rammer den næsten hver gang. Ingen gav dem "formlen for et perfekt skud" – det opstod ud af feedback. Et neuralt netværk lærer på præcis denne måde.

Træningssløjfen: fire trin

1. Forudsig. Du viser modellen et eksempel (et foto, et stykke tekst), og den giver et svar. Tidligt i træningen er det stort set tilfældigt.
2. Sammenlign. Svaret kontrolleres mod det rigtige. Forskellen er fejlen, og du kan sætte et tal på den.
3. Juster. Inde i netværket sidder milliarder af numeriske "knapper", kaldet vægte. En speciel algoritme skubber hver enkelt en lille smule, så fejlen mindskes. En lille smule er den vigtigste del: skarpe bevægelser ødelægger det, der allerede er lært.
4. Gentag. Næste eksempel. Milliarder af gange.

Når du hører "en model med 70 milliarder parametre", er det antallet af disse vægt-knapper. Du skal bare ikke forveksle en parameter med en neuron: en parameter er styrken af én forbindelse (tættere på en synapse i hjernen), ikke selve "neuronen". For en meget grov fornemmelse af skala: den menneskelige hjerne har ~86 milliarder neuroner og billioner af forbindelser mellem dem – så selv en enorm model er, målt på antal forbindelser, uforligneligt enklere end en hjerne.

Hvorfor dette koster millioner

Milliarder af eksempler × milliarder af vægte × tusinder af gennemløb = en uhyrlig mængde beregninger. Store modeller trænes i måneder på titusinder af GPU'er, regningerne løber op i titusinder af millioner af dollars, og datacentrene trækker lige så meget strøm som en lille by. Nu er det klart, hvorfor gennembruddet ventede til 2010'erne: så meget strøm eksisterede simpelthen ikke før. Og hvorfor kun en håndfuld virksomheder bygger store modeller – mens alle bruger dem.

Tre måder at træne på (du vil møde disse i enhver AI-artikel)

• Superviseret: eksempler, der kommer med svarene ("dette er en kat", "dette er spam") – som vores kurv-analogi. De fleste anvendte modeller lærer på denne måde.
• Usuperviseret: modellen leder efter struktur i data uden hints – f.eks. gruppering af kunder efter adfærd på egen hånd.
• Forstærkning: læring gennem en belønning for resultatet – det er sådan AlphaGo, der spillede millioner af spil mod sig selv, fandt træk, ingen mennesker kendte. Og det er sådan nutidens chatbots får deres sidste finpudsning, fra menneskelige vurderinger af svar – hvilket er grunden til, at de er høflige og følger instruktioner.

Spamfilteret, ende til ende (hele sløjfen på et minut)

Tag et velkendt eksempel og kør sløjfen: filteret får vist en e-mail → det forudsiger "spam, sandsynlighed 0.3" → det rigtige svar var "spam" → fejlen er stor → vægtene knyttet til ordene "prize" og "free" og den mærkelige afsenderadresse skubbes lidt op → den næste lignende e-mail scorer 0.7. En milliard e-mails senere fanger filteret 99% af spam. Ingen skrev en regel, der sagde "ordet 'prize' er mistænkeligt" – den regel voksede ud af eksemplerne. Nu kan du se denne proces bag enhver AI-funktion.

To konsekvenser, der forklarer meget

1. En model kender kun det, der var i data. Træningen sluttede, viden frøs. Datoen, hvorefter modellen ikke har "set" noget, kaldes knowledge cutoff. Gårsdagens nyheder, din virksomheds private dokumenter, dagens priser – intet af det eksisterer for modellen, før du viser det separat (ved at uploade en fil eller lade den søge på nettet).

2. Datakvalitet = modelkvalitet. Træn på tekst fuld af fejl, og du får fejl. Hvis dataene hældede den ene vej, arver modellen hældningen. Husk "garbage in, garbage out": det kommer tilbage i dine egne anmodninger til AI (dine prompts) og i arbejdet med AI-bots.

Kan du supplere dens træning?

Ja – og billigere end at træne fra bunden: tag en færdig model og lær den videre på dine egne eksempler (fine-tuning), eller giv den simpelthen den viden, den har brug for, direkte i din anmodning. Den anden måde er prompting, og du bliver god til det på dette kursus.

Under motorhjelmen (valgfrit): hvorfor "neuralt"

Hvad der følger, er en valgfri dybdegående gennemgang for de nysgerrige. Det vil ikke ændre, hvordan du arbejder med AI i praksis, så du er velkommen til at springe direkte til næste lektion.

Navnet "neuralt netværk" er ikke en metafor – det er hentet direkte fra biologien. En neuron i hjernen forbinder sig med tusinder af andre neuroner, og hver forbindelse har sin egen styrke: én solid, en anden knap nok der. Det virker simpelt: den samler signaler fra alt, den er forbundet til, multiplicerer hver med styrken af den forbindelse, lægger dem alle sammen – og hvis summen overskrider en tærskel, "affyrer" den et signal videre ned ad kæden. (Tærsklen er som en kontakt: tryk for forsigtigt, og lyset tænder ikke.)

En kunstig neuron kopierer det skema. Og styrken af hver forbindelse er præcis vægten – den numeriske knap fra træningssløjfen ovenfor. At træne et netværk = at justere styrken af forbindelser, ligesom din hjerne styrker de forbindelser, den har brug for, når du lærer en ny færdighed. Det er der, "neuralt" kommer fra.

Derefter skilles vejene: en hjerne lærer af et par eksempler og kører på 20 watt (mindre end pæren i dit køleskab), mens neurale netværk har brug for millioner af eksempler og megawatt. Så "neuralt" handler om, hvor inspirationen kom fra, ikke en "elektronisk hjerne": vi kopierede hjernens ledningsdiagram, ikke den måde, den tænker på.