Hur ett neuralt nätverk lär sig: från perceptronen till miljarder vikter

Har du bråttom att komma igång med det praktiska? Lektion 4–5 handlar om vad som finns under AI:s huv. Du kan skumma igenom dem och komma tillbaka senare: den praktiska delen börjar i lektion 9. Och varje valfri djupdykning i dessa två lektioner finns i ett block med rubriken "Under huven (valfritt)" längst ner – huvudspåret utan dem är kort.

Idén om ett "neuralt nätverk" är nästan 70 år gammal. Rosenblatts perceptron från lektion ett förkroppsligade samma idé – att lära sig av exempel. Men hur man tränar nätverk med många lager kom senare, och skalan har vuxit med miljarder sedan dess. Låt oss plocka isär idén.

En analogi: en nybörjare vid basketkorgen

Föreställ dig någon som kastar en boll mot en korg för första gången. Första kastet – helt fel. Hjärnan noterar: för hårt, sikta vänster. Andra – närmare. Justera. Vid det tusende kastet går den i nästan varje gång. Ingen gav dem "formeln för ett perfekt skott" – det kom till genom feedback. Ett neuralt nätverk lär sig på exakt detta sätt.

Träningsloopen: fyra steg

1. Förutsäg. Du visar modellen ett exempel (ett foto, en textbit) och den ger ett svar. Tidigt i träningen är det i princip slumpmässigt.
2. Jämför. Svaret kontrolleras mot det rätta. Skillnaden är felet, och du kan sätta ett nummer på det.
3. Justera. Inuti nätverket finns miljarder numeriska "reglage", kallade vikter. En speciell algoritm justerar var och en lite grann så att felet minskar. "Lite grann" är nyckeln: skarpa rörelser förstör det som redan har lärts.
4. Upprepa. Nästa exempel. Miljarder gånger om.

När du hör "en modell med 70 miljarder parametrar", är det antalet av dessa vikt-reglage. Blanda bara inte ihop en parameter med en neuron: en parameter är styrkan i en anslutning (närmare en synaps i hjärnan), inte själva "neuronen". För en mycket grov uppfattning om skala: den mänskliga hjärnan har ~86 miljarder neuroner och biljoner anslutningar mellan dem – så även en enorm modell är, sett till antal anslutningar, ojämförligt enklare än en hjärna.

Varför detta kostar miljoner

Miljarder exempel × miljarder vikter × tusentals pass = en monstruös mängd beräkningar. Stora modeller tränas i månader på tiotusentals GPU:er, räkningarna uppgår till tiotals miljoner dollar, och datacenter drar lika mycket ström som en liten stad. Nu är det tydligt varför genombrottet dröjde till 2010-talet: så mycket kraft fanns helt enkelt inte tidigare. Och varför bara en handfull företag bygger stora modeller – medan alla använder dem.

Tre sätt att träna (du kommer att stöta på dessa i varje AI-artikel)

• Övervakad: exempel som kommer med svaren ("detta är en katt", "detta är spam") – som vår korg-analogi. De flesta tillämpade modeller lär sig på detta sätt.
• Oövervakad: modellen letar efter struktur i data utan ledtrådar – grupperar kunder efter beteende på egen hand, till exempel.
• Förstärkning: lärande genom en belöning för resultatet – det är så AlphaGo, som spelade miljontals spel mot sig själv, hittade drag ingen människa kände till. Och det är så dagens chattbotar får sin sista puts, från mänskliga bedömningar av svar – vilket är varför de är artiga och följer instruktioner.

Spamfiltret, från början till slut (hela loopen på en minut)

Ta ett välbekant exempel och kör loopen: filtret visas ett e-postmeddelande → det förutsäger "spam, sannolikhet 0.3" → det rätta svaret var "spam" → felet är stort → vikterna kopplade till orden "pris" och "gratis" och den udda avsändaradressen justeras upp lite → nästa liknande e-postmeddelande får 0.7. En miljard e-postmeddelanden senare fångar filtret 99% av spam. Ingen skrev en regel som sa "ordet 'pris' är misstänkt" – den regeln växte fram ur exemplen. Nu kan du se denna process bakom varje AI-funktion.

Två konsekvenser som förklarar mycket

1. En modell vet bara vad som fanns i datan. Träningen avslutades, kunskapen frös. Datumet efter vilket modellen inte har "sett" något kallas kunskapsgränsen. Gårdagens nyheter, ditt företags privata dokument, dagens priser – inget av det existerar för modellen förrän du visar det separat (genom att ladda upp en fil eller låta den söka på webben).

2. Datakvalitet = modellkvalitet. Träna på text full av fel och du får fel. Om datan lutade åt ett håll, ärver modellen den lutningen. Kom ihåg "skräp in, skräp ut": det kommer tillbaka i dina egna förfrågningar till AI (dina prompts) och när du arbetar med AI-botar.

Kan du fylla på dess träning?

Ja – och billigare än att träna från grunden: ta en färdig modell och lär den vidare på dina egna exempel (finjustering), eller ge den helt enkelt den kunskap den behöver direkt i din förfrågan. Det andra sättet är prompting, och du kommer att bli bra på det i den här kursen.

Under huven (valfritt): varför "neuralt"

Det följande är en valfri djupdykning för den nyfikne. Det kommer inte att förändra hur du arbetar med AI i praktiken, så hoppa gärna direkt till nästa lektion.

Namnet "neuralt nätverk" är inte en metafor – det är hämtat direkt från biologin. En neuron i hjärnan ansluter till tusentals andra neuroner, och varje anslutning har sin egen styrka: en stark, en annan knappt där. Det fungerar enkelt: den samlar signalerna från allt den är ansluten till, multiplicerar varje med styrkan i den anslutningen, lägger ihop dem alla – och om summan passerar en tröskel, "avfyrar" den en signal vidare i kedjan. (Tröskeln är som en strömbrytare: tryck för försiktigt och ljuset tänds inte.)

En artificiell neuron kopierar det schemat. Och styrkan i varje anslutning är exakt vikten – det numeriska reglaget från träningsloopen ovan. Att träna ett nätverk = att justera styrkan i anslutningarna, precis som din hjärna förstärker de anslutningar den behöver när du lär dig en ny färdighet. Det är där "neuralt" kommer ifrån.

Efter det skiljer sig vägarna: en hjärna lär sig av ett par exempel och drivs på 20 watt (mindre än glödlampan i ditt kylskåp), medan neurala nätverk behöver miljontals exempel och megawatt. Så "neuralt" handlar om var inspirationen kom ifrån, inte en "elektronisk hjärna": vi kopierade hjärnans kopplingsschema, inte sättet den tänker.