How a neural network learns: from the perceptron to billions of weights

Идее «нейросеть» — 68 лет: перцептрон Розенблатта из первого урока учился ровно тем же способом, что и GPT. Изменился масштаб, не принцип. Разберём принцип.

Аналогия: новичок у баскетбольного кольца

Представь человека, который впервые бросает мяч в кольцо. Первый бросок — сильный промах. Мозг отмечает: слишком сильно, левее. Второй — ближе. Корректировка. Тысячный бросок — почти всегда в цель. Никто не давал ему «формулу идеального броска» — она сложилась из обратной связи. Нейросеть учится в точности так.

Цикл обучения: четыре шага

1. Предсказание. Модели показывают пример (фото, кусок текста) — она выдаёт ответ. В начале обучения — по сути случайный.
2. Сравнение. Ответ сверяют с правильным. Разница — это ошибка, и её можно посчитать числом.
3. Корректировка. Внутри сети — миллиарды числовых «ручек», они называются веса. Специальный алгоритм чуть-чуть подкручивает каждую так, чтобы ошибка уменьшилась. Чуть-чуть — ключевое слово: резкие движения ломают уже выученное.
4. Повтор. Следующий пример. И так миллиарды раз.

Когда слышишь «модель на 70 миллиардов параметров» — это про количество тех самых ручек-весов. У человеческого мозга, для масштаба, ~86 миллиардов нейронов и триллионы связей.

Почему это стоит миллионы

Миллиарды примеров × миллиарды весов × тысячи повторов = чудовищный объём вычислений. Большие модели обучают месяцами на десятках тысяч GPU, счета исчисляются десятками миллионов долларов, а дата-центры потребляют энергию небольшого города. Теперь понятно, почему прорыв ждал 2010-х: раньше такой мощности не существовало физически. И почему большие модели создают единицы компаний — а пользуются все.

Почему «нейро»: подсмотрено у мозга

Название — не метафора. В 1940-х учёные описали работу нейрона мозга: принял сигналы от соседей → взвесил их → если сумма выше порога, передал сигнал дальше. Искусственный «нейрон» — математическая копия этой схемы, а «веса» — сила связей между нейронами, как синапсы в мозге. Дальше пути разошлись: мозг учится на паре примеров и потребляет 20 ватт, нейросети нужны миллионы примеров и мегаватты. Так что «нейро» — это про источник вдохновения, а не про «электронный мозг»: сходство есть в схеме, но не в устройстве мышления.

Три способа учить (встретишь в каждой статье об ИИ)

• С учителем: примеры с готовыми ответами («это кошка», «это спам») — как в нашей аналогии с кольцом. Так учится большинство прикладных моделей.
• Без учителя: модель ищет структуру в данных без подсказок — например, сама группирует клиентов по поведению.
• С подкреплением: учёба через награду за результат — так AlphaGo, играя миллионы партий против себя, нашла ходы, которых не знали люди. И так же современных чат-ботов «дошлифовывают» на человеческих оценках ответов — поэтому они вежливы и следуют инструкциям.

Разберём на спам-фильтре (весь цикл за минуту)

Возьмём знакомый пример и прокрутим цикл: фильтру показывают письмо → он предсказывает «спам, вероятность 0.3» → правильный ответ был «спам» → ошибка большая → веса, отвечающие за слова «выигрыш», «бесплатно» и странный адрес отправителя, чуть усиливаются → следующее похожее письмо получит 0.7. Миллиард писем спустя фильтр ловит 99% спама. Никто не писал правило «слово "выигрыш" подозрительно» — оно выросло из примеров. Теперь ты видишь этот процесс за каждой функцией ИИ.

Два следствия, которые объяснят тебе многое

1. Модель знает только то, что было в данных. Обучение закончилось — знания зафиксировались. Дата, после которой модель ничего «не видела», называется отсечкой знаний (knowledge cutoff). Вчерашние новости, приватные документы твоей компании, свежие цены — для модели не существуют, пока их не показали отдельно (загрузкой файла или веб-поиском).

2. Качество данных = качество модели. Учили на текстах с ошибками — получим ошибки. В данных был перекос — модель его унаследует. Запомни принцип «мусор на входе — мусор на выходе»: он ещё встретится тебе и в твоих запросах к ИИ (промптах), и в работе с ИИ-ботами.

А дообучить можно?

Да — и дешевле, чем учить с нуля: взять готовую модель и «доучить» на своих примерах (файн-тюнинг), или просто дать нужные знания прямо в запросе. Второй способ — это промптинг, и им ты овладеешь уже в этом курсе.