Что ИИ может и чего не может: честные границы

Из прошлого урока ты знаешь: сила ИИ упирается в данные. Теперь соберём честную карту границ — что ИИ реально может, а что ему не по силам в принципе. Это и есть ответ на вопрос «когда ИИ использовать не стоит».

Главное правило: тест одной секунды

Держи в голове одно простое правило, и оно сэкономит тебе годы иллюзий: если типичную задачу человек решает примерно за одну секунду мысли — и в мире есть много её примеров — ИИ, скорее всего, справится. Узнать на фото машину, услышать слово, понять «спам это или нет», распознать лицо — всё это «секундные» задачи восприятия, и данных для них море. Здесь ИИ силён.

А теперь обратная сторона: предсказать курс акций на месяц вперёд по прошлой цене — не секундная задача, и, что важнее, прошлые цены не предсказывают будущие. Двойной провал: и думать надо долго, и закономерности в данных нет. Правило грубое, но безотказное: ИИ — гениальный специалист по мгновенному распознаванию, а не мудрец, взвешивающий последствия.

Парные примеры: может / не может

Калибровка на двух областях, где цена ошибки реальна.

• Беспилотный автомобиль. Может: распознать по камере и радару, где на дороге другие машины, — размеченных примеров миллионы. С огромным трудом: понять жест человека — строитель машет рукой «стой», велосипедист показывает рукой поворот. Способов жестикулировать бесконечно много, столько примеров не собрать, а цена ошибки — жизнь.
• Медицина. Может: определить пневмонию по рентгеновскому снимку, когда есть тысячи размеченных снимков «болен / здоров». Не может: научиться диагнозу по десятку картинок из учебника, как это делает студент-медик. Человек обобщает с нескольких примеров, ИИ требует их в изобилии.

Недооценённая слабость: плохое обобщение

Вот граница, о которой почти не говорят. ИИ силён на данных, похожих на те, что видел в обучении, и хрупок на непохожих. Модель, обученную на чистых рентгенах одной клиники, перенеси в другую — где снимки под другим углом, на другой технике и с помехами, — и точность заметно просядет. Живой врач адаптируется к новой больнице за день; ИИ так не умеет. Запомни принцип: ИИ не «понимает» задачу, он подгоняет ответ под знакомые примеры — измени примеры, и уверенность рассыпается. Это прямое продолжение принципа из урока о данных: важно не только качество данных, но и их похожесть на то, где модель будет работать.

Почему кажется, что ИИ может всё

Осторожно с новостями. В заголовки попадают только успехи ИИ: обыграл чемпиона, сдал экзамен, нарисовал шедевр. Провалы — сотни тихих проектов, где ИИ не взлетел, — почти не публикуют. Из-за этого перекоса рождается иллюзия всемогущества. Реалистичная картина требует держать в уме и вторую половину — ту, о которой молчат.

Главная слабость: ИИ выдумывает уверенно

Есть граница, о которую спотыкаются чаще всего. Галлюцинация — уверенный, детальный, правдоподобный и полностью выдуманный ответ. Не «ошибся в расчётах», а сочинил факт и подал его тем же тоном, что и правду.

Вот живой случай. У модели спросили про книгу — она ответила и заодно предложила похожие:

…есть несколько известных книг, похожих по звучанию:
— «Соломенная шляпа» Эжена Лабиша — французский водевиль 1851 года.
— «Соломенная шляпа» Мориса Шевалда — сборник рассказов 1920-х о жизни в сельской Франции.

Первая книга настоящая. Второй — нет: не существует ни такого автора, ни такого сборника. Но посмотри, как подано: фамилия, десятилетие, страна, тема. Ровно та же уверенность, что и строкой выше, где всё правда. Отличить на глаз невозможно — так выдумка и попадает в отчёт.

Причина — в механизме из урока про LLM. Модель предсказывает вероятное продолжение. Когда знаний хватает, вероятное совпадает с правдой; когда не хватает, механизм не останавливается — он всё равно достраивает правдоподобно выглядящий текст. Флажка «я этого не знаю» внутри нет, поэтому тон у правды и у выдумки одинаковый.

Три случая, которые стоили денег и репутации:

• Юрист и выдуманные дела (2023). Адвокат вставил в иск шесть прецедентов от ИИ — с номерами, датами и цитатами. Судья не нашёл ни одного: все были сочинены. Штраф и мировые заголовки.
• Чат-бот авиакомпании (2024). Бот Air Canada пообещал пассажиру скидку по правилу, которого не существовало. Суд обязал компанию заплатить: «бот — ваш представитель, отвечаете вы». Прецедент для всех, кто сажает ИИ говорить с клиентами.
• Ошибка в рекламе (2023). В ролике чат-бот Google ошибся в факте о телескопе «Джеймс Уэбб» — за день акции Alphabet потеряли около ста миллиардов долларов рыночной стоимости.

Четыре приёма против выдумок

• Проверяй критичное. Любая цифра, цитата или ссылка, от которой что-то зависит, проверяется в первоисточнике. Правдоподобные детали — не доказательство, уверенный тон — тем более.
• Разрешай признаться. Добавь в запрос: «Если не уверен — так и скажи». Ты как бы легализуешь ответ «не знаю», и выдумок становится заметно меньше.
• Давай материал. Модель с приложенным документом отвечает по документу, а не по памяти — точность растёт резко.
• Включай веб-поиск, если он есть: ответ с опорой на найденные страницы можно проверить по ссылкам — настоящим.

Четыре вопроса: стоит ли поручать это ИИ

Перед тем как отдать задачу машине, прогони её через четыре вопроса:

1. Это «секундная» задача, и много ли примеров? Восприятие и генерация при обилии данных — зелёная зона.
2. Похожи ли данные на те, где ИИ будет работать? На непохожих он хрупок.
3. Какова цена ошибки и смогу ли я проверить результат? Высокая цена без проверки — стоп.
4. Есть ли у ИИ нужные данные? Свежее, приватное, узконишевое (вспомни отсечку знаний) он мог не видеть.

Зелёный свет — секундная задача с обилием похожих данных, низкая цена ошибки, результат проверяем. Красный — долгое ответственное решение, непохожие данные, высокая цена, проверить нельзя.

Сделай сейчас

Упражнение без инструмента — только голова и лист. Выпиши пять реальных задач твоей недели и прогони каждую через тест одной секунды и четыре вопроса из этого урока. Отметь, какие смело отдал бы ИИ (распознать, суммаризовать, набросать черновик), а какие оставил бы себе (решение с высокой ценой ошибки, свежие данные, ответственность, непохожие условия). Этот список — твоя личная карта «делегируй / оставь».

Механизм и границы ИИ теперь ясны — самое время взять его под управление, чем ты и займёшься в следующем модуле: сначала посмотрим примеры под твою профессию, а затем составим первый настоящий промпт.

Моя задача: [опиши задачу своей недели одним предложением].
Разбери честно: что из этого ты сделаешь хорошо, что плохо,
и что я обязан проверить за тобой. Отдельной строкой — где именно
ты можешь выдумать факты в такой задаче.

Это тот редкий случай, когда полезнее всего спросить у ИИ про его собственные границы — и сверить ответ с четырьмя вопросами выше.