Как понять, что текст написал ИИ: признаки и почему детекторы врут

Коротко: надёжно определить, написан ли текст нейросетью, сегодня невозможно — ни глазом, ни детектором. То, что принято считать признаками машинного стиля (гладкость, шаблонная структура, отсутствие конкретики), на деле отличает шаблонный текст от живого, а не машину от человека. ИИ-детекторы дают ложные срабатывания, особенно на текстах людей, пишущих не на родном языке, поэтому строить на их «проценте» обвинение нельзя.

Почему это вообще сложно

Языковая модель обучалась на текстах людей и оптимизирована на то, чтобы производить статистически «нормальный» текст. Хороший машинный текст — это по определению текст, неотличимый от среднего человеческого. Задача «отличить ИИ от человека» упирается в то, что граница проходит не между машиной и человеком, а между заметным стилем и усреднённым стилем. А усреднённо пишут и люди — особенно уставшие, осторожные или пишущие на неродном языке.

Добавь сюда, что почти никто не публикует сырой вывод модели: текст правят, дописывают, смешивают со своим. Чистых случаев «человек» и «ИИ» в природе почти нет — есть непрерывная шкала.

Что принимают за следы ИИ — и почему это ошибка

Из этого следует главное, и это стоит держать в голове раньше любого списка признаков: то, что обычно называют «машинным стилем», — это описание усреднённого текста, а не машинного. Вот что чаще всего предъявляют как улику:

• Подозрительная гладкость. Все предложения примерно одной длины и сложности, ритм не скачет.
• Структура «на троих». Перечисления ровно из трёх пунктов, симметричные абзацы, разделы одного размера.
• Конструкция «не X, а Y». «Это не просто инструмент, а способ мышления» — пять раз на страницу.
• Нулевая конкретика. Нет имён, дат, цифр, случаев. Текст верен для чего угодно и потому бесполезен.
• Словарь-маркер. «Ландшафт», «раскрыть потенциал», «в эпоху цифровизации», «важно отметить».

Ни один из этих пунктов не отличает машину от человека. Все они отличают шаблонное письмо от живого — а по шаблону пишут и люди: уставшие, осторожные, готовившиеся по методичке, пишущие на неродном языке. По этому списку легко «уличить» аккуратного человека. И наоборот: текст модели с хорошим промптом не покажет ни одного признака — попроси конкретику, свой пример и позицию, и «машинность» исчезнет (как это делается, видно в статье про формулу сильного промпта). Список полезен как редактура собственного текста и бесполезен как экспертиза чужого.

Почему детекторы врут

ИИ-детектор не «узнаёт» текст. Он измеряет статистические свойства — насколько предсказуемо каждое следующее слово (перплексия) и насколько ровно распределена сложность фраз (burstiness). Машинный текст в среднем предсказуемее. Отсюда все проблемы:

• Ложные срабатывания на людях. Человек, который пишет просто и предсказуемо, статистически похож на модель. Исследование Стэнфорда (Liang et al., опубликовано в журнале Patterns, 2023) показало: детекторы систематически помечали эссе авторов, пишущих на неродном английском, как машинные — при том что тексты носителей языка проходили. Причина ровно та: ограниченный словарь даёт низкую перплексию.
• Ложные пропуски. Достаточно попросить модель писать разнообразнее, или слегка переписать текст руками — и детектор молчит.
• Разработчик сам сдался. OpenAI закрыла свой AI Text Classifier в 2023 году, публично сославшись на низкую точность. Это компания, которая делает саму модель, — если бы задача решалась, решили бы они.
• Нет калибровки. «87% вероятность ИИ» выглядит научно, но это число невозможно проверить: у детекторов нет прозрачной методики, а точность падает на текстах, непохожих на обучающую выборку.
• Короткие тексты — угадайка. На абзаце статистики просто не хватает.

Вывод жёсткий, но важный: процент детектора нельзя использовать как основание для обвинения — ни в университете, ни в редакции, ни в найме. Это инструмент с неизвестной ошибкой, которая распределена неравномерно и бьёт по тем, кто и так в уязвимом положении.

А водяные знаки?

Технически возможно встроить в генерацию незаметную статистическую метку и потом её проверять. Google DeepMind выпустила такой подход (SynthID) и открыла часть инструментов. Но у метода есть предел: он работает только для моделей, которые его внедрили, метка выживает не при любом редактировании, и никто не обязан её ставить. Это полезная технология для площадок, а не универсальный детектор для тебя. Спорным вопрос остаётся: единого стандарта нет.

Что делать вместо детектора

Если ты преподаватель, редактор или руководитель, вопрос «писал ли ИИ» почти всегда не тот вопрос. Настоящий — «понимает ли автор то, что сдал» и «выполняет ли текст свою работу». А это проверяется:

• Разговором. Два уточняющих вопроса по содержанию отвечают на всё, что не ответит ни один детектор.
• Процессом. Черновики, история версий, промежуточные сдачи. Виден путь, а не только результат.
• Заданием, которое ИИ не закрывает в одиночку. Локальный контекст, личный опыт, данные с занятия, привязка к конкретному случаю.
• Проверкой фактов. Самый практичный маркер: если в тексте есть ссылки и цифры, откройте источники. Несуществующая ссылка — куда более твёрдая улика, чем «87%», и она же признак галлюцинации ИИ.
• Открытыми правилами. Скажи заранее, что можно, а что нет: «ИИ разрешён для черновика и проверки, запрещён для итогового вывода». Прозрачное правило снимает половину проблемы.

Если обвинили тебя

Ситуация реальная и неприятная: детектор показал процент, а текст твой. Что помогает:

• История версий. Google Docs, Word, любой редактор с автосохранением. Это лучшее доказательство — процесс написания подделать сложнее, чем результат.
• Черновики и заметки. Хранить их — скучно, но именно они спасают.
• Готовность объяснить. Если ты понимаешь свой текст, разговор закрывает вопрос.
• Ссылка на ограничения детекторов. Спокойно укажи, что инструмент даёт ложные срабатывания, особенно у тех, кто пишет не на родном языке, и что разработчик самой модели свой детектор закрыл из-за низкой точности.

Как писать с ИИ, чтобы не выглядеть машиной

И самый практичный итог. Если ты используешь ИИ честно — как черновик, — «машинность» убирается не хитростью, а содержанием:

Вот мой черновик: [текст].
Задача: сделай его конкретнее, не удлиняя.
Правила: убери общие места; на каждое утверждение — либо пример,
либо цифра с источником, либо вычеркни его совсем.
Разбей монотонный ритм: пусть длинные предложения чередуются с короткими.
Отметь отдельным списком места, где нужен мой личный опыт —
туда я впишу сам.

Последняя строка — ключевая. Текст перестаёт быть машинным ровно тогда, когда в нём появляется то, чего у модели нет: твой конкретный случай, твоя цифра, твоя позиция. Больше приёмов работы с черновиками — в статье про ИИ в работе и в подборке готовых промптов.

Главное

Детекторы ИИ — не датчик правды, а вероятностная догадка с неизвестной ошибкой. А «признаки машинного стиля» отделяют шаблонное письмо от живого, а не машину от человека, — и потому доказательством быть не могут. Единственный надёжный способ понять, стоит ли за текстом человек, — поговорить с ним о содержании.