Jak uczy się sieć neuronowa: od perceptronu do miliardów wag

Spieszy ci się do praktyki? Lekcje 4–5 opowiadają o tym, co kryje się „pod maską” AI. Możesz je przejrzeć i wrócić później: część praktyczna zaczyna się w lekcji 9. A każde opcjonalne pogłębienie tematu w tych dwóch lekcjach znajduje się w bloku „Pod maską (opcjonalnie)” na samym końcu — główny wątek bez nich jest krótki.

Idea „sieci neuronowej” ma prawie 70 lat. Perceptron Rosenblatta z lekcji pierwszej ucieleśniał tę samą ideę — uczyć się na przykładach. Ale jak trenować sieci z wieloma warstwami, dowiedziano się później, a skala wzrosła od tego czasu miliardy razy. Rozłóżmy ten pomysł na czynniki pierwsze.

Analogia: początkujący przy koszu

Wyobraź sobie kogoś, kto po raz pierwszy rzuca piłką do kosza. Pierwszy rzut — daleko od celu. Mózg odnotowuje: za mocno, celuj w lewo. Drugi — bliżej. Korekta. Przy tysięcznym rzucie piłka wpada prawie za każdym razem. Nikt nie podał mu „formuły na idealny rzut” — powstała ona z informacji zwrotnej. Sieć neuronowa uczy się dokładnie w ten sposób.

Pętla treningowa: cztery kroki

1. Przewiduj. Pokazujesz modelowi przykład (zdjęcie, fragment tekstu), a on podaje odpowiedź. Na początku treningu jest to w zasadzie losowe.
2. Porównaj. Odpowiedź jest porównywana z prawidłową. Różnica to błąd, który można wyrazić liczbą.
3. Dostosuj. Wewnątrz sieci znajdują się miliardy numerycznych „pokręteł”, zwanych wagami. Specjalny algorytm delikatnie koryguje każde z nich, tak aby błąd się zmniejszył. Delikatnie to klucz: gwałtowne ruchy niszczą to, co już zostało nauczone.
4. Powtórz. Następny przykład. Miliardy razy.

Kiedy słyszysz „model z 70 miliardami parametrów”, to jest to liczba tych wag-pokręteł. Tylko nie myl parametru z neuronem: parametr to siła jednego połączenia (bliżej mu do synapsy w mózgu), a nie sam „neuron”. Dla bardzo zgrubnego porównania skali: ludzki mózg ma ~86 miliardów neuronów i biliony połączeń między nimi — więc nawet ogromny model jest, pod względem liczby połączeń, nieporównywalnie prostszy niż mózg.

Dlaczego to kosztuje miliony

Miliardy przykładów × miliardy wag × tysiące przejść = potworna ilość obliczeń. Duże modele trenują przez miesiące na dziesiątkach tysięcy GPU, rachunki sięgają dziesiątek milionów dolarów, a centra danych zużywają tyle energii, co małe miasto. Teraz jasne jest, dlaczego przełom czekał na lata 2010.: taka moc po prostu wcześniej nie istniała. I dlaczego tylko garstka firm buduje duże modele — podczas gdy wszyscy ich używają.

Trzy sposoby trenowania (spotkasz je w każdym artykule o AI)

• Uczenie nadzorowane: przykłady, które zawierają odpowiedzi („to jest kot”, „to jest spam”) — jak w naszej analogii z koszem. Większość stosowanych modeli uczy się w ten sposób.
• Uczenie nienadzorowane: model szuka struktury w danych bez podpowiedzi — na przykład samodzielnie grupując klientów według zachowań.
• Uczenie przez wzmacnianie: uczenie się poprzez nagrodę za wynik — tak AlphaGo, grając miliony partii przeciwko sobie, znalazło ruchy, których żaden człowiek nie znał. I tak dzisiejsze chatboty uzyskują ostateczne szlify, dzięki ludzkim ocenom odpowiedzi — dlatego są uprzejme i postępują zgodnie z instrukcjami.

Filtr spamu, od początku do końca (cała pętla w minutę)

Weźmy znany przykład i prześledźmy pętlę: filtrowi pokazano e-mail → przewiduje „spam, prawdopodobieństwo 0.3” → prawidłowa odpowiedź to „spam” → błąd jest duży → wagi związane ze słowami „nagroda” i „za darmo” oraz dziwnym adresem nadawcy zostają lekko skorygowane w górę → następny podobny e-mail otrzymuje wynik 0.7. Miliard e-maili później filtr wyłapuje 99% spamu. Nikt nie napisał reguły mówiącej „słowo 'nagroda' jest podejrzane” — ta reguła wyrosła z przykładów. Teraz widzisz ten proces za każdą funkcją AI.

Dwie konsekwencje, które wiele wyjaśniają

1. Model wie tylko to, co było w danych. Trening się zakończył, wiedza zamarzła. Data, po której model „nic nie widział”, nazywana jest odcięciem wiedzy (knowledge cutoff). Wiadomości z wczoraj, prywatne dokumenty twojej firmy, dzisiejsze ceny — nic z tego nie istnieje dla modelu, dopóki nie pokażesz mu tego oddzielnie (przez przesłanie pliku lub pozwolenie na przeszukiwanie sieci).

2. Jakość danych = jakość modelu. Trenuj na tekście pełnym błędów, a otrzymasz błędy. Jeśli dane były stronnicze, model dziedziczy tę stronniczość. Pamiętaj o „garbage in, garbage out” (śmieci na wejściu, śmieci na wyjściu): wraca to w twoich własnych zapytaniach do AI (twoich promptach) i w pracy z botami AI.

Czy możesz uzupełnić jego trening?

Tak — i taniej niż trenowanie od zera: weź gotowy model i ucz go dalej na własnych przykładach (fine-tuning), lub po prostu przekaż mu potrzebną wiedzę bezpośrednio w swoim zapytaniu. Drugi sposób to promptowanie, a w tym kursie staniesz się w tym dobry.

Pod maską (opcjonalnie): dlaczego „neuronowa”

Poniżej znajduje się opcjonalne, pogłębione wyjaśnienie dla ciekawskich. Nie zmieni to sposobu, w jaki pracujesz z AI w praktyce, więc śmiało przejdź od razu do następnej lekcji.

Nazwa „sieć neuronowa” to nie metafora — pochodzi prosto z biologii. Neuron w mózgu łączy się z tysiącami innych neuronów, a każde połączenie ma swoją siłę: jedno jest mocne, inne ledwo istnieje. Działa to prosto: zbiera sygnały ze wszystkiego, z czym jest połączony, mnoży każdy przez siłę tego połączenia, sumuje je wszystkie — a jeśli suma przekroczy próg, „wystrzeliwuje” sygnał dalej w łańcuchu. (Próg jest jak przełącznik: naciśnij go zbyt delikatnie, a światło się nie zaświeci.)

Sztuczny neuron kopiuje ten schemat. A siła każdego połączenia to dokładnie waga — numeryczne pokrętło z powyższej pętli treningowej. Trenowanie sieci = dostrajanie siły połączeń, tak jak twój mózg wzmacnia potrzebne połączenia, gdy uczysz się nowej umiejętności. Stąd pochodzi „neuronowa”.

Potem drogi się rozchodzą: mózg uczy się na kilku przykładach i działa na 20 watach (mniej niż żarówka w twojej lodówce), podczas gdy sieci neuronowe potrzebują milionów przykładów i megawatów. Więc „neuronowa” odnosi się do źródła inspiracji, a nie do „elektronicznego mózgu”: skopiowaliśmy schemat połączeń mózgu, a nie sposób, w jaki myśli.