Hvordan et nevralt nettverk lærer: fra perseptronen til milliarder av vekter

Vil du raskt komme i gang med det praktiske? Leksjon 4–5 handler om hva som er under panseret på AI. Du kan skumlese dem og komme tilbake senere: den praktiske delen starter i leksjon 9. Og hver valgfri dypdykk i disse to leksjonene ligger i en «Under panseret (valgfritt)»-blokk helt på slutten – hovedtråden uten dem er kort.

Ideen om et «nevralt nettverk» er nesten 70 år gammel. Rosenblatts perseptron fra leksjon én legemliggjorde den samme ideen – lære av eksempler. Men hvordan man trener nettverk med mange lag kom senere, og skalaen har vokst med en faktor på milliarder siden den gang. La oss bryte ned ideen.

En analogi: en nybegynner ved basketballkurven

Se for deg noen som kaster en ball mot en kurv for første gang. Første kast – bommet stygt. Hjernen noterer: for hardt, sikt til venstre. Andre – nærmere. Juster. Ved det tusende kastet går den inn nesten hver gang. Ingen ga dem «formelen for et perfekt skudd» – det utviklet seg gjennom tilbakemeldinger. Et nevralt nettverk lærer på nøyaktig denne måten.

Treningssløyfen: fire trinn

1. Forutsig. Du viser modellen et eksempel (et bilde, en tekstbit) og den gir et svar. Tidlig i treningen er det i utgangspunktet tilfeldig.
2. Sammenlign. Svaret sjekkes mot det riktige. Forskjellen er feilen, og du kan sette et tall på den.
3. Juster. Inne i nettverket sitter milliarder av numeriske «knotter», kalt vekter. En spesiell algoritme dytter hver enkelt litt slik at feilen krymper. En liten bit er nøkkeldelen: brå bevegelser ødelegger det som allerede er lært.
4. Gjenta. Neste eksempel. Milliarder av ganger.

Når du hører «en modell med 70 milliarder parametere», er det antallet av disse vekt-knottene. Ikke bland en parameter sammen med en nevron: en parameter er styrken til én forbindelse (nærmere en synapse i hjernen), ikke selve «nevronet». For en veldig grov følelse av skala: den menneskelige hjernen har ~86 milliarder nevroner og billioner av forbindelser mellom dem – så selv en enorm modell er, etter antall forbindelser, uforlignelig enklere enn en hjerne.

Hvorfor dette koster millioner

Milliarder av eksempler × milliarder av vekter × tusenvis av passeringer = en enorm mengde beregninger. Store modeller trenes i måneder på titusenvis av GPU-er, regningene løper opp i titalls millioner av dollar, og datasentrene trekker like mye strøm som en liten by. Nå er det klart hvorfor gjennombruddet ventet til 2010-tallet: så mye kraft eksisterte rett og slett ikke før. Og hvorfor bare en håndfull selskaper bygger store modeller – mens alle bruker dem.

Tre måter å trene på (disse vil du møte i enhver AI-artikkel)

• Veiledet: eksempler som kommer med svarene («dette er en katt», «dette er spam») – som vår kurv-analogi. De fleste anvendte modeller lærer på denne måten.
• Uveiledet: modellen leter etter struktur i dataene uten hint – for eksempel å gruppere kunder etter atferd på egen hånd.
• Forsterket: læring gjennom en belønning for resultatet – det er slik AlphaGo, som spilte millioner av spill mot seg selv, fant trekk ingen mennesker kjente til. Og det er slik dagens chatroboter får sin siste finpuss, fra menneskelige vurderinger av svar – noe som er grunnen til at de er høflige og følger instruksjoner.

Spamfilteret, ende til ende (hele sløyfen på ett minutt)

Ta et kjent eksempel og kjør sløyfen: filteret får vist en e-post → det forutsier «spam, sannsynlighet 0.3» → det riktige svaret var «spam» → feilen er stor → vektene knyttet til ordene «premie» og «gratis» og den rare avsenderadressen blir dyttet litt opp → den neste lignende e-posten scorer 0.7. En milliard e-poster senere fanger filteret 99 % av spam. Ingen skrev en regel som sa «ordet 'premie' er mistenkelig» – den regelen vokste ut av eksemplene. Nå kan du se denne prosessen bak hver AI-funksjon.

To konsekvenser som forklarer mye

1. En modell vet bare hva som var i dataene. Treningen ble avsluttet, kunnskapen frøs. Datoen etter at modellen ikke har «sett» noe, kalles kunnskapskuttet. Gårsdagens nyheter, bedriftens private dokumenter, dagens priser – ingenting av dette eksisterer for modellen før du viser det separat (ved å laste opp en fil eller la den søke på nettet).

2. Datakvalitet = modellkvalitet. Tren på tekst full av feil, og du får feil. Hvis dataene hellet én vei, arver modellen skjevheten. Husk «søppel inn, søppel ut»: det kommer tilbake i dine egne forespørsler til AI (dine prompts) og i arbeidet med AI-roboter.

Kan du fylle på treningen?

Ja – og billigere enn å trene fra bunnen av: ta en ferdig modell og lær den videre på dine egne eksempler (fine-tuning), eller gi den kunnskapen den trenger direkte i forespørselen din. Den andre måten er prompting, og det vil du bli god på i dette kurset.

Under panseret (valgfritt): hvorfor «nevralt»

Det som følger er et valgfritt dypdykk for de nysgjerrige. Det vil ikke endre hvordan du jobber med AI i praksis, så du kan gjerne hoppe rett til neste leksjon.

Navnet «nevralt nettverk» er ikke en metafor – det er hentet rett fra biologien. En nevron i hjernen kobler seg til tusenvis av andre nevroner, og hver forbindelse har sin egen styrke: én solid, en annen knapt der. Det fungerer enkelt: det samler signalene fra alt det er koblet til, multipliserer hvert signal med styrken til den forbindelsen, summerer dem alle – og hvis summen krysser en terskel, «fyrer» det av et signal nedover kjeden. (Terskelen er som en bryter: trykk for forsiktig, og lyset tennes ikke.)

En kunstig nevron kopierer dette skjemaet. Og styrken til hver forbindelse er nøyaktig vekten – den numeriske knotten fra treningssløyfen ovenfor. Å trene et nettverk = å justere styrken på forbindelsene, akkurat som hjernen din styrker forbindelsene den trenger når du lærer en ny ferdighet. Det er der «nevralt» kommer fra.

Etter det skiller veiene lag: en hjerne lærer fra et par eksempler og bruker 20 watt (mindre enn lyspæren i kjøleskapet ditt), mens nevrale nettverk trenger millioner av eksempler og megawatt. Så «nevralt» handler om hvor inspirasjonen kom fra, ikke en «elektronisk hjerne»: vi kopierte hjernens koblingsskjema, ikke måten den tenker på.