Одураченные случайностью. Маркер ИИ сгенерированного текста

На днях я увидел новость, что Spotify удалило 75 миллионов нейротреков, потом увидел, что мой любимый ютубчик отключает монетизацию контенту¹, сгенерированному нейросеточкой, а сегодня увидел вот это:

Водяные знаки в тексте. Офигеть …

Суть вот в чем: ИИ генерит текст и подставляет по смыслу следующее слово, которое наиболее подходит под веса модели². Сами веса и то, какой ответ они выдают, мы понимаем математически³, но не понимаем, как вся система работает целиком. Хорошей аналогией будет письмо ручкой по бумаге. Каждый из нас понимает, что чернила оставляют след на бумаге, но подавляющее большинство⁴ понятия не имеет, какой химический процесс⁵ стоит за тем, что на бумаге остается след от чернил из ручки.

Так и с моделью, мы “типа” знаем, что за каждое следующее слово несут ответственность веса, полученные в результате тренировки, и токен, но как натренированная модель принимает решение относительно того, какое именно следующее слово выбрать, мы понятия не имеем.

Например, мы видим предложение “Человек укусил …”, модель очевидно не подставит следующим после укусил слово “собаку”⁶, скорее всего будет что-то типа “мясо”, “яблоко”, “язык” и т.д. Ну так вот что придумали Антропики⁷, подчиняясь требованию европейского законодательства⁸: они решили размечать текст все тем же “случайным” набором токенов (следующее слово в цепи слов), но изменили источник “случайности”.

Теперь вместо того, чтобы подобрать “просто случайное слово”, ИИ в своих ответах подбирает слово, соответствующее специальному ключу. Человеку эта случайность неизвестна, а вот машине — да. Человек все так же читает сгенерированный текст и не увидит разницы между текстом с ключом и без ключа. На это, кстати, есть исследование. При этом, если сгенерированный машиной текст, содержащий подобные ключи, засунуть в антиплагиат⁹, он безошибочно ответит, сгенерированный текст или нет.

И это прекрасные новости! Я считаю, что это верное и правильное решение¹⁰. Приведу пример из своей практики и объясню, почему мне этот подход очень импонирует. Свои тексты я пишу сам, без привлечения ИИ, хотя ИИ использую, но крайне аккуратно, например для вычитки, корректуры, редактуры (научной). Редактуру ИИ не делает, а предлагает и комментирует, в каких местах следует “повысить” или “понизить” регистр.

Слов, повышающих и понижающих регистр, не предлагает, я сам с этим справляюсь. Так вот, теперь к сути проблемы, с которой я столкнулся и с которой мне еще предстоит побороться.

Оказывается, что часть разделов моей диссертации сервис text.ru¹¹ классифицировал как на 90+% написанные машиной. Сказать, что я шокирован, — ничего не сказать, ну и я начал разбираться и проверять, как машина измеряет этот параметр.

Оказывается, что ИИ-детектор не измеряет авторство, а как раз оценивает предсказуемость следующего токена (слова). То есть смотрит, насколько следующее слово ожидаемо в соответствии с предыдущим или последовательностью предыдущих. А дальше уже включается простая математика: детектор просто считает, насколько предложение “высоковероятное”¹². Получается забавная штука: для ИИ-детектора предложения, содержащие фразы “важным аспектом образовательного процесса” или “в условиях современного информационного общества”, являются сгенерированными машиной. Но это не так “мамой клянусь”!

Эти два фрагмента предложений из моей диссертации появились из заметки, написанной в эссеистическом стиле, и я решил проверить, как ИИ-детектор оценит заметку, содержащую суть из проверенных предложений, написанных в человеческом, а не научном регистре. Получилось от 1 до 3% машинного текста. Офигеть, правда ведь?

Мне кажется, тут что-то не так …

Скорее всего, text.ru, антиплагиат, яндекс-нейродетектор и прочие им подобные мой текст, написанный в высоком научном регистре, расценивают как предсказуемый и маркируют его как машинный. Что удивительно, потому что …

… я начал проверять свою работу, когда отправил новость о “водяных знаках” антропиков своему коллеге, который 3 года не работал над своей диссертацией, и только за три НЕДЕЛИ до сдачи рукописи решился взяться за написание¹³. Для этого он купил себе клода 20х, который ТРИ НЕДЕЛИ генерировал ему диссертацию. Так вот, text.ru оценил его диссертацию ПОЛНОСТЬЮ и выдал, что она написана человеком, и в ней всего 11% машинного текста. Просто сюр какой-то.

Мне кажется, что проблема находится значительно глубже, чем кажется, и поэтому я решил немного подумать, поэкспериментировать, сжечь какое-то количество денег на тестирование сервиса text.ru и проверку актуальности его оценок.

До того как я получил “удар поддых” оценкой своего текста, мне казалось, что водяной знак¹⁴ решает проблему, но это не так. Ни наличие водяного знака, ни использование ключа институтами для оценки сгенерированности ничего не решит, потому что в научном тексте много, как Ильяхов говорит, “канцеляризма”, который предсказуем, и который посылает сигнал машине, что текст сгенерированный.

Лучшая защита – нападение

Когда я начал работу над этой заметкой, мне хотелось немного “поныть”, а оказалось, что я провел эксперимент над самим собой и у меня не получилось поныть, а получилось “понять”. У меня появился эмпирический результат, необходимый, чтобы разобраться. Но перед тем как говорить о результате, сначала немного о дизайне эксперимента.

Год назад, 25 июня 2025 года, я начал работать над разделом историографии своей диссертации, в котором я рассматриваю генезис проблемы, а именно эволюцию средств познания (береста, ручки, меловые доски, мультимедийные панели и т.д.). У меня получилось 5 подразделов, которые описывают 5 периодов от Античности до прихода ИИ. Слог, понятное дело, академический. А в этом году, в июле я канибализировал часть этого раздела диссертации для написания заметки.

Я оценил пять разделов диссера и свою заметку, в которой есть фрагменты диссера, и у меня получилось кое-что нащупать относительно регистра, в котором написан текст. Вот прямое сравнение регистра с описанием уровня машинности:

Замер: ИИ-детектор text.ru, 16.08.2026. Один автор, одно содержание, один день, один инструмент.

Количество пометок на 1000 знаков значительно более показательно, чем “просто” проценты. Если посчитать, то при средней длине предложения в 180 знаков, 5-6 сигналов о машинности текста в академическом тексте помечают ПРАКТИЧЕСКИ, если не каждое, предложение. Такая плотность автоматически переводит текст из “подозрителен” в “написан ПОЛНОСТЬЮ машиной”. А я, как уже сказал выше, “мамой клянусь”, сам написал. В эссе при этом всего 0,3 сигнала, то есть в целом одна пометка на какой-то очень большой объем текста.

Разница в 12 раз! 92-99% академического текста, засчитанного как “написанный машиной”, против 7,8% эссеистического. Такой разброс означает, что “не мне показалось, что система оценки ИИ-сгенерированности текста врет”, а что при относительно “чистом” внутрисубъектном дизайне эксперимента врет система¹⁵!

Вот для примера немного фрагментов из академического “машинного” текста в сравнении с этим же текстом в эссеистическом стиле. Слева — раздел диссертации (92–99 % содержания машинного текста), справа — эссе-заметка (7,8 % содержания машинного текста):

Пять пар — пять раз одно и то же содержание¹⁶. Слева 92–99 %, справа 7,8 %.

На этом я не успокоился и продолжил, в процессе обнаружил еще кое-что. Мое изначальное утверждение, что дело только в канцелярите, слишком категорично. Не только, а может быть и не столько канцелярит “виновен” в атрибуции происхождения текста “из машины”, — атрибуция зависит еще и от того, сколько в тексте информации, а сколько воды. И не просто информации, а информации, которую НЕЛЬЗЯ угадать, зная тему¹⁷.

Посмотрите на первую таблицу: “Ура! Телек завезли!”, “Какой Дроздов, у меня есть Гугл с Яндексом, найдется все”. Это цитаты, которые машина угадать не может, они принадлежат мне, в то время как “заключавшийся в первую очередь”, “феномен, получивший название…” — это устоявшиеся выражения в научном дискурсе, и если попросить ИИ написать фрагмент научной статьи, то ЛЛМ РОВНО так и напишет. Но есть нюанс.

Если в генезисе¹⁸ у меня мало новой информации, то в разделе “Результаты” ОДНА сплошная новая информация, которая нигде ранее не публиковалась, я решил ее проверить и оказался прав: 2,8% сгенерированного машиной текста, и один случай “подозрения” на сгенерированный машиной текст – это наименование таблиц!

Вот весь список претензий детектора к разделу «2.5. Результаты» — всего три пометки на 12 882 знака:

Все три обслуживают одну и ту же таблицу, которая является одним сплошным канцеляритом. То есть в разделе, где на двенадцати тысячах знаков идет анализ полученных результатов, с цифрами, объяснением стат-критериев, ИИ-детектор не нашёл ни одного содержательного предложения, к которому мог бы прицепиться, — и прицепился к подписи под таблицей.

Значит, если ИИ-детектор узнаёт признаки сгенерированного текста в академическом регистре, то ИИ-детектор – это не детектор ИИ-сгенерированного текста, а детектор “отсутствия новой информации”¹⁹. Генезис по определению ничего нового не содержит, с помощью историографии я (как и любой другой ученый) решаю иную задачу – ввести читателя в суть да дело того, что происходило в определенные исторические периоды. И в моем конкретном случае ИИ-детектор “наказал” меня за то, что я сделал свою работу качественно. Но что еще интересно …

… так это наличие опечаток. Во всех пяти разделах историографии полным-полно опечаток, я постоянно правлю текст, добавляю абзацы, предложения, какие-то удаляю и мне часто лень запускать корректора заново, вот “ляпы”²⁰ и остаются. Например, у меня в тексте, который посчитали 99% машинным, есть вот такая фраза “соответствующие шаблоный поведения”, машина НИКОГДА не оставит “шаблоный”, она исправит на “шаблонные”.

---

Если что, диалога выше не было, я его нафантазировал, когда сам у себя в голове выступал и обвинителем, и “подсудимым”. И чтобы снять подозрение, в лучших традициях прецедентного права, решил обратиться в прошлое.

Мне мой научный руководитель в процессе обсуждения и “объяснения”, как мы будем “жить”, прислала шесть успешно сданных диссертаций. Тематики разные, но у всех одинаковая структура. Я извлек из присланных мне диссертаций один и тот же раздел или близкий по смыслу и содержанию “Педагогические условия реализации модели…”, из шести доступных мне “защищенных” диссеров я взял 4, потому что они были написаны в период 2015-2023, два остальных — 2024, нам не подходят²¹.

До того как я решил проанализировать на ИИ-генерацию текста успешно сданные работы прошлого вся моя аргументация держалась на словах “я сам написал, мамой клянусь”. После того как я получил результат анализа трех диссертаций периода до ЛЛМ и одной, начала периода становления ИИ, мне больше маму “призывать” не нужно. У меня есть железобетонный аргумент.

Замер: ИИ-детектор text.ru, 17.08.2026. Четыре автора, четыре темы, четыре вуза. Авторов не называю: работы взяты как контроль, а не как подозреваемые.

Среднее значение по всем работам — 88,0 % сгенерированного машиной текста (напомню, что в момент написания диссертаций машин еще не было). Восемь лет, четыре разных человека, четыре разные темы — и все сгенерированы ПОЛНОСТЬЮ машиной. Ни фига себе!

В 2015-2019 годах на планете не было еще инструмента, способного написать хотя бы абзац связного текста на русском, не говоря о тексте, посвященном русской педагогике.

Если так, то тогда у меня возникает вопрос: как текст диссертации 2015 года ИИ-детектор оценил как на 90,8% написанный машиной? Вопрос, конечно же, риторический. Но и это не самое интересное, диссертация о межкультурной компетенции из 2023 получила оценку 90,8% как сгенерированная, цифра совпадает до десятичного знака с той, что машина оценивала из 2015 года. А что это значит для оценки фрагмента моей диссертации? А значит это то, что …

… инструмент, который должен определять долю участия ИИ в написании текста, идентично (хреново) оценивает и текст начала эпохи ИИ, и текст, написанный за семь лет до появления GPT.

Мне это еще указывает на тот факт, что детектор даже не ошибается, а измеряет не то, что заявляет, а именно он не измеряет процент написания текста машиной; что он измеряет, я понятия не имею, но точно не сгенерированный машиной текст.

А чтобы не быть голословным, я, пожалуй, попробую немного поковыряться в статистике, у меня есть клод, который напишет мне скрипт и хренова туча данных из 4 диссеров и кучки моих заметок, а также фрагменты написанного мной диссера²².

Чо и как измерялось?

Тут все просто: я использовал доступный и открытый инструмент text.ru²³. Замеры происходили 16 и 17 августа, для этого я использовал апишечку и прям из обсидиана отправлял заметки на проверку.

Тексты, перед тем как попасть на проверку, проходили подготовку, скрипт автоматически вырезал разметку и научный обвес (заголовки, определения сносок, ссылки [12], подписи, пути размещения изображений, строки таблиц, код и прочие служебные блоки). Отдельно я попросил скрипт “удалить” цитаты²⁴. Очищенный таким образом текст представлял собой “чистую” мысль автора.

Корпус составил 13 фрагментов текста (заметок): пять разделов историографии (текст моей диссертации), независимый раздел диссера без научного аппарата (написанный в научном регистре), эссе, обобщающее все пять разделов историографии, два раздела с эмпирическими данными (собственные данные, ранее не опубликованные), ну и четыре фрагмента защищенных ранее диссертаций по педагогике.

Заметки я закодировал в две группы. Первая: компиляции, в которые вошли историография, обзор литературы, описание педагогических условий, и вторая: результаты эксперимента с цифрами, обсуждение результатов и личная рефлексия (эссеистический стиль заметки).

Из-за, будем условно считать, пренебрежимо малой выборки я использовал в анализе точные методы, которые или исключают, или не требуют предположений о распределении: критерий Манна-Уитни, Cliff’s delta и ранговая корреляция Спирмена с перестановочной оценкой значимости²⁵.

Очень важно указать на пару фактов: группы собраны ПОСЛЕ того, как я получил проценты, то есть тут я не проверяю гипотезу²⁶, машинный текст в выборке один, тот, который ПОЛНОСТЬЮ написан Клод Кодом и который text.ru оценил на 11% машинности²⁷. Все четыре защищенные диссертации из одной области (педагогики), поэтому экстраполировать на другие дисциплины нельзя. Ну и самое главное, у меня в оценке принимал участие только один сервис, ИИ-детекторы отличаются²⁸.

Вот весь корпус текстов, отсортированный по оценке детектора:

Последняя строка вне корпуса: её замерял не я. Мне “так коллега сказал”, и поэтому в расчёты она не входит, только в таблицу с ошибками, в которой эти 11% и фигурируют как “единственный машинный текст”.

Между группами — 61,1 пункта пустоты, то есть там нет ничего, в смысле ни одна работа не попадает в этот диапазон: во всём корпусе нет ни одного текста в диапазоне от 11,2 до 72,3 %. Разделение полное, каждый текст первой группы оценён выше каждого текста второй, без единого исключения, что как бы тоже наводит на определенные мысли, пока непонятно какие. Но данный факт лишний раз подтверждает, что ИИ-детекторы не про оценку пропорций, в которых текст написал человек, а в каких — машина.

Точный критерий здесь взят не для красоты: он не делает вообще никаких предположений о распределении, а тупо перебирает все 286 способов разложить тринадцать текстов на группы из десяти и трёх. На такой крошечной выборке это единственный доступный мне вариант. Я просто других не знаю.

А теперь то, для чего статистика вообще не нужна. Предположим, что порог “выше 50 % — значит машина”, и посчитаем обычную таблицу ошибок:

Тут хочется что-то сказать про эту табличку, но я уже устал, поэтому пусть просто будет и все.

И последнее. Решившись ковырять статистику, я обещал еще корреляцию Спирмена, которая как бы немного подмочила “нарядную” картину о том, что предсказуемость текста и наличие новой информации имеют значение для маркирования текста как машинный/человеческий.

Чтобы понять, различаются ли тексты с условной оценкой 85+% машинного текста от тех, что 7-%, я использовал четыре независимых меры, которые можно посчитать без всякого детектора: как хорошо сжимается архиватором, как отличаются по лексике, длина предложений и в скольких предложениях есть цифры.

Как же я огорчился, когда ничего из этого “красивого” не подтвердилось. Сжимаемость – ноль. Длина – ноль. Доля предложений с цифрами не ноль, но до значимости “как до луны”. Единственное, где можно нащупать пульс значимости – лексическое разнообразие, ну тут понятно, у меня просто лексика оказалась богаче, то есть если повысить мощность выборки, скорее всего, я дотяну лексический критерий до значимости, но он ничего не скажет об ИИ-сгенерированном тексте, а лишь разделит авторов.

Прочесть цифры из таблицы можно разными способами, и все мне подходят. Получается, что, с одной стороны, ИИ-детектор не использует при маркировке ИИ-сгенерированного текста повторы слов и не учитывает длину фраз. Что бы он ни измерял – это точно не относится к расчетам, связанным с буквами. С другой стороны, моя надежда относительно “количества новой информации” разбивается цифрами из таблицы выше вдребезги.

Я смог увидеть, что группы текста различаются, но что различаются благодаря наличию информации или новизне текста – нет.

---

Друзья, если вам цифры выше ничего не говорят, то вам оно и не нужно. Достаточно сказать, что показания ИИ-детектора (я предполагаю, что всех детекторов) никак не связаны с действительным авторством текста. Нам на самом деле достаточно для “доказательства” утверждения “мамой клянусь, я сам написал” одного контрпримера — оценки фрагмента диссертации из 2015 года. А еще можно сказать, что показания ИИ-детектора жестко связаны с жанром текста (научный или эссе), p = 0,0035, при размере эффекта “на верхней грани шкалы”.

Чего я не знаю, и на самом деле мне до этого нет дела, — так это какой именно признак улавливает детектор. То есть мое утверждение о “количестве новой информации” пока херня на постном масле.

Вот как-то так … теперь, если мне предъявят, я знаю, каким аргументом отбиться. ИИ-детекторы измеряют что угодно, но точно не пропорции сгенерированного машиной и/или человеком текста.

---

BIO

🧠 theBrain mapping

ID: 202608170614 Source:: Friend:: Child:: Next::

Footnotes

1. Он не демонизирует ИИ-сгенерированный контент, и не стоит бояться, что если в видео есть что-то из “нейро”, то канал получит страйк или отключат монетизацию. Ютуб удаляет и банит нейрослоп. ↩

2. ХЗ как “оно работает” ↩

3. Все-таки именно мы натренировали модель методом градиентного спуска. ↩

4. А может и все ↩

5. НАПИСАТЬ сюда химический процесс. Описание, просто и ясное ↩

6. На самом деле – это один из САМЫХ известных примеров в журналистике, скорее всего, модель ИИ будет знать. Когда я спросил “Какое следующее слово фразы “человек укусил …” ты напишешь?” Клод написал “собаку”. Проверьте сами с любой ЛЛМ, вы удивитесь. ↩

7. На самом деле придумали не они, а DeepMind и Google ↩

8. Вставить объяснение требования и ссылку на официальный источник ↩

9. При условии, конечно, что у антиплагиата есть доступ к ключам, и Антропики не единственные кто маркируют текст. Другие провайдеры будут (скорее всего) маркировать текст иным способом. ↩

10. Так я считал утром 16 августа, а сейчас вечер 17 августа, и мое мнение изменилось, но вы сами поймете ближе к финалу этой исследовательской заметки. ↩

11. На самом деле к тому, о чем я буду рассуждать дальше, сервис отношения не имеет. Это может быть какой угодно ИИ-детектор. Суть и выводы от изменения переменной не изменятся. ↩

12. Как там устроены веса и система у text.ru ХЗ, но то, что она НЕ УМЕЕТ идентифицировать ИИ-сгенерированный текст, абсолютно точно, и дальше я это утверждение докажу. ↩

13. А я скажу так – это невозможная задача! Абсолютно нереально что-либо вразумительное написать за этот период, если только за тебя не пишет Клод Код. ↩

14. Кого бы то ни было: антропики, гуглы, гпт, алибаба и прочие ↩

15. Да, он получился случайно, просто потому что я привык записывать свои мысли и результаты своей работы. Ну и очень люблю показывать всем, что получается, как и с этой заметкой. ↩

16. Относительно того же … я же не хочу, чтобы мне антиплагиат “снизил” оригинальность. ↩

17. Посмотрите на таблицу выше снова. ↩

18. Так называется историография проблемы ↩

19. Я, кстати, так и не нашел подтверждения этому утверждению. По идее можно заморочиться. Вынуть разделы с результатами из трех-четырех других диссертаций, измерить их, соотнести с оценкой остального текста диссертации и вывести вердикт, но я не стал. ↩

20. Обычно это тся/ться, лишние пробелы и прочие мелочи. Отсутствующие запятые, например. ↩

21. Условно нам и 2023 не подходит, но я решил его оставить, просто для сравнения. Цифры и вывод от этого не изменятся. ↩

22. “Ужасные результаты” в 99% написанного машиной и стали поводом “разобраться” чо за нах происходит. Потому что, получается, что ИИ-детекторам верить нельзя? А если нельзя верить ИИ-детекторам, то как проверять? В общем, вопросов оооочень много, но ответов нет вообще. Но как говорил начальник службы безопасности одной нефтяной компании, когда у всех было ощущение, что вот-вот и всех вылюбят насмерть: “Разберемся”. ↩

23. Кто-то может сказать, ну текст.ру это не антиплагиат, “там другое”. На это я отвечу, что вообще не имеет значения, какой инструмент измеряет, яндекс, текст.ру, антиплагиат или какой другой – они все черный ящик и все. Мы понятия не имеем как машина работает и что измеряет. ↩

24. Я предположил, что они могут стать причиной повышения процента, потому что предсказуемы + это чужой текст, который измерять в рамках этого исследования просто бессмысленно ↩

25. Друзья, если для вас это слишком сложно, потерпите немного … мы щас скоро дойдем до результатов. ↩

26. Во-первых, я ее не выводил в традиционном смысле этого слова, а во-вторых, я решил “за это взяться”, после того как подумал и почесал голову в спортивном зале, “А что если еще и стат-анализ сделать”. Получится — хорошо, а нет — ну и черт с ним. ↩

27. Это диссертация коллеги, которую ему написал клод код. ↩

28. НО суть при этом остается: они не измеряют машинность текста. Что они измеряют я понятия не имею, но точно не то что заявлено на витрине. ↩