Come impara una rete neurale: dal percettrone a miliardi di pesi

Hai fretta di passare alla pratica? Le lezioni 4–5 riguardano ciò che c'è sotto il cofano dell'IA. Puoi scorrerle e tornarci più tardi: la parte pratica inizia dalla lezione 9. E ogni approfondimento facoltativo in queste due lezioni si trova in un blocco "Under the hood (optional)" proprio alla fine — il filo principale senza di essi è breve.

L'idea di una "rete neurale" ha quasi 70 anni. Il percettrone di Rosenblatt della lezione uno incarnava la stessa idea — imparare dagli esempi. Ma come addestrare reti con molti strati è arrivato più tardi, e la scala è cresciuta di un fattore di miliardi da allora. Analizziamo l'idea.

Un'analogia: un principiante al tiro a canestro

Immagina qualcuno che tira una palla a canestro per la prima volta. Primo tiro — completamente sbagliato. Il cervello annota: troppo forte, mira a sinistra. Secondo — più vicino. Aggiusta. Al millesimo tiro entra quasi sempre. Nessuno gli ha dato "la formula per un tiro perfetto" — è venuta fuori dal feedback. Una rete neurale impara esattamente in questo modo.

Il ciclo di addestramento: quattro passi

1. Prevedi. Mostri al modello un esempio (una foto, un pezzo di testo) e lui dà una risposta. All'inizio dell'addestramento è praticamente casuale.
2. Compara. La risposta viene confrontata con quella giusta. Il divario è l'errore, e puoi quantificarlo.
3. Aggiusta. All'interno della rete ci sono miliardi di "manopole" numeriche, chiamate pesi. Un algoritmo speciale sposta ognuna di esse di un piccolissimo pezzo in modo che l'errore si riduca. Un piccolissimo pezzo è la parte chiave: movimenti bruschi rompono ciò che è già stato imparato.
4. Ripeti. Prossimo esempio. Miliardi di volte.

Quando senti parlare di "un modello da 70 miliardi di parametri", quello è il conteggio di quelle manopole-peso. Non confondere un parametro con un neurone: un parametro è la forza di una connessione (più vicino a una sinapsi nel cervello), non il "neurone" stesso. Per un'idea molto approssimativa della scala: il cervello umano ha circa 86 miliardi di neuroni e trilioni di connessioni tra di essi — quindi anche un modello enorme è, per numero di connessioni, incomparabilmente più semplice di un cervello.

Perché questo costa milioni

Miliardi di esempi × miliardi di pesi × migliaia di passaggi = una quantità mostruosa di calcolo. I modelli grandi si addestrano per mesi su decine di migliaia di GPU, le bollette ammontano a decine di milioni di dollari, e i data center consumano tanta energia quanto una piccola città. Ora è chiaro perché la svolta ha atteso gli anni 2010: tanta potenza semplicemente non esisteva prima. E perché solo una manciata di aziende costruisce modelli grandi — mentre tutti li usano.

Tre modi per addestrare (li incontrerai in ogni articolo sull'IA)

• Supervisionato: esempi che arrivano con le risposte ("questo è un gatto", "questo è spam") — come la nostra analogia del canestro. La maggior parte dei modelli applicati impara in questo modo.
• Non supervisionato: il modello cerca una struttura nei dati senza suggerimenti — raggruppando i clienti per comportamento da solo, per esempio.
• A rinforzo: apprendimento tramite una ricompensa per il risultato — è così che AlphaGo, giocando milioni di partite contro se stesso, ha trovato mosse che nessun umano conosceva. Ed è così che i chatbot di oggi ottengono la loro rifinitura finale, dalle valutazioni umane delle risposte — ecco perché sono educati e seguono le istruzioni.

Il filtro antispam, da inizio a fine (l'intero ciclo in un minuto)

Prendi un esempio familiare e fai girare il ciclo: il filtro riceve un'email → prevede "spam, probabilità 0.3" → la risposta giusta era "spam" → l'errore è grande → i pesi legati alle parole "premio" e "gratis" e all'indirizzo mittente strano vengono leggermente aumentati → la prossima email simile ottiene 0.7. Un miliardo di email dopo, il filtro cattura il 99% dello spam. Nessuno ha scritto una regola che diceva "la parola 'premio' è sospetta" — quella regola è nata dagli esempi. Ora puoi vedere questo processo dietro ogni funzione dell'IA.

Due conseguenze che spiegano molto

1. Un modello conosce solo ciò che era nei dati. L'addestramento è finito, la conoscenza si è congelata. La data dopo la quale il modello non ha "visto" nulla è chiamata knowledge cutoff. Le notizie di ieri, i documenti privati della tua azienda, i prezzi di oggi — nulla di tutto ciò esiste per il modello finché non glielo mostri separatamente (caricando un file o lasciandogli cercare sul web).

2. Qualità dei dati = qualità del modello. Addestra su testo pieno di errori e otterrai errori. Se i dati erano sbilanciati in un modo, il modello eredita lo sbilanciamento. Ricorda "garbage in, garbage out": si ripresenta nelle tue richieste all'IA (i tuoi prompt) e nel lavorare con i bot IA.

Puoi integrare il suo addestramento?

Sì — e più economico che addestrare da zero: prendi un modello finito e insegnagli ulteriormente sui tuoi esempi (fine-tuning), o semplicemente dagli la conoscenza di cui ha bisogno direttamente nella tua richiesta. Il secondo modo è il prompting, e diventerai bravo in questo corso.

Sotto il cofano (facoltativo): perché "neurale"

Quello che segue è un approfondimento facoltativo per i curiosi. Non cambierà il modo in cui lavori con l'IA nella pratica, quindi sentiti libero di passare direttamente alla prossima lezione.

Il nome "rete neurale" non è una metafora — è preso direttamente dalla biologia. Un neurone nel cervello si connette a migliaia di altri neuroni, e ogni connessione ha la sua forza: una solida, un'altra appena presente. Funziona semplicemente: raccoglie i segnali da tutto ciò a cui è connesso, moltiplica ciascuno per la forza di quella connessione, li somma tutti — e se la somma supera una soglia, "spara" un segnale lungo la catena. (La soglia è come un interruttore: premilo troppo delicatamente e la luce non si accende.)

Un neurone artificiale copia quello schema. E la forza di ogni connessione è esattamente il peso — la manopola numerica del ciclo di addestramento di cui sopra. Addestrare una rete = regolare la forza delle connessioni, proprio come il tuo cervello rafforza le connessioni di cui ha bisogno quando impari una nuova abilità. È da lì che viene "neurale".

Dopodiché i percorsi divergono: un cervello impara da un paio di esempi e funziona con 20 watt (meno della lampadina del tuo frigorifero), mentre le reti neurali hanno bisogno di milioni di esempi e megawatt. Quindi "neurale" riguarda da dove è venuta l'ispirazione, non un "cervello elettronico": abbiamo copiato lo schema di cablaggio del cervello, non il modo in cui pensa.