По оценкам исследователей из Университета штата Огайо, более половины новых научных публикаций в области астрономии могут содержать текст, созданный или доработанный с использованием языковых моделей. Этот вывод был сделан на основе анализа полного текста 207 111 препринтов по астрофизике, размещенных на arXiv в период с 2015 по середину 2026 года. Согласно статистическим данным за 2025 год, приблизительно 54% статей содержат элементы, созданные языковыми моделями, в то время как авторы напрямую сообщали об использовании подобных инструментов лишь в менее чем 1% случаев.

Полученные данные не свидетельствуют о том, что искусственный интеллект является автором половины современной астрономической литературы. Примененный метод не позволяет установить, какая именно доля конкретной статьи была сгенерирована языковой моделью, и использовалась ли она для создания текста, перефразирования или просто языкового редактирования. Исследователи оценивали статистические признаки, указывающие на помощь ИИ в целом массиве публикаций, а не стремились возложить ответственность за использование ChatGPT на отдельные работы.

Серат Саад и Юань-Сэнь Тинг обратили внимание на заметное изменение стиля научного английского языка после появления ChatGPT в конце 2022 года. Некоторые слова, ранее встречавшиеся в научных статьях относительно редко, стали использоваться значительно чаще. К таким словам относятся, например, delve, intricate, pivotal, underscore, tapestry, meticulous и другие, которые языковые модели непропорционально часто выбирают при создании текстов, имитирующих научный стиль.

Однако само по себе присутствие этих слов не является доказательством использования ИИ: человек также может использовать их, а научная лексика со временем меняется даже без влияния языковых моделей. Поэтому исследователи оценивали не отдельные слова, а изменения в частоте их употребления на большом массиве публикаций. Для этого они применили иерархическую байесовскую модель, которая учитывает длину статьи, год публикации и область исследования.

В ходе исследования было проанализировано 207 111 предварительных публикаций (препринтов) по астрономии и астрофизике из раздела astro-ph на сервере arXiv. Эти работы были опубликованы в период с января 2015 года по июнь 2026 года. В среднем, для анализа исследователи использовали приблизительно 2500 текстовых единиц (токенов) из каждой научной работы. При этом из текстов исключались формулы, таблицы, ссылки, библиографические данные и другие вспомогательные элементы, чтобы сосредоточиться исключительно на основном научном содержании.

Для оценки характеристик научного английского языка до широкого распространения генеративного искусственного интеллекта (ИИ) в анализ вошли статьи, написанные до 2020 года. В качестве отдельной группы контроля были отобраны публикации, авторы которых прямо указали на применение языковых моделей при их создании.

В основной выборке было выявлено 392 работы, созданные с использованием подобных технологий. В 2023 году декларации об использовании ИИ содержались в 26 статьях, в 2024 году – в 38, в 2025 году – в 153, а за первую половину 2026 года их число достигло 175. Как правило, авторы сообщали о применении моделей для исправления грамматических ошибок, повышения понятности текста и языковой доработки.

Именно эти публикации, в которых явно было указано на использование ИИ, позволили установить степень изменения лексики при работе с языковыми моделями. В них слова-маркеры встречались примерно в 2,6–6,8 раза чаще, чем в фоновой выборке, что зависело от периода времени и метода сравнения.

По завершении анализа всего массива данных эксперты определили для 2025 года базовую оценку доли публикаций, содержащих признаки использования языковых моделей, равную 54%, с доверительным интервалом 95% ±8 процентных пунктов.

Тем не менее, эта оценка сопряжена с дополнительной и значительной систематической погрешностью. Не представляется возможным установить, как бы эволюционировала частота характерных слов в научной литературе после 2020 года, если бы ChatGPT и другие подобные модели не были разработаны. В связи с этим исследователи изучили три альтернативных сценария естественного изменения научного языка.

В зависимости от принятых допущений, конечная оценка претерпевает изменения. При повторных проверках и корректировке параметров анализа предполагаемая доля работ, созданных с применением языковых моделей, не опускалась ниже приблизительно 36%. Таким образом, число 54% следует интерпретировать не как точное значение, а как ключевую оценку статистической модели.

Заявленные данные демонстрируют ещё более существенное расхождение. Лишь 0,81% астрономических публикаций за 2025 год открыто сообщали об использовании языковых моделей. Согласно расчётам авторов, это эквивалентно примерно одной официальной декларации на каждые 66 статей, в которых их методика выявляет статистический след помощи искусственного интеллекта.

Проведенное исследование выявило дополнительный тренд: определение текстов, созданных с помощью языковых моделей по стилистическим признакам, усложняется. Частота появления типичных слов в текстах, обработанных искусственным интеллектом, уменьшилась более чем в два раза в период с 2023 по 2026 год.

Существует несколько возможных объяснений этой тенденции. Языковые модели постоянно совершенствуются, а исследователи приобретают всё больше знаний о характерных стилистических особенностях этих моделей. Такие слова, как ‘delve’, которые ранее служили своеобразными индикаторами текстов, созданных ChatGPT, могут быть намеренно исключены в процессе редактирования. В результате научные тексты, написанные людьми и машинами, становятся всё труднее различить только по словарному составу.

Авторы акцентируют внимание на том, что их методика предназначена для статистического анализа обширных объемов публикаций и не является инструментом для выявления ИИ в отдельных статьях. Обнаружение нескольких характерных слов не может служить доказательством происхождения конкретного текста. Байесовская модель оценивает соотношение двух статистических популяций на уровне всего корпуса исследований.

Применение языковой модели само по себе не свидетельствует о том, что научный результат был получен с помощью искусственного интеллекта. Модель могла быть использована исключительно для коррекции английского языка в статье, написанной авторами. Это особенно актуально в международной астрономии, где для многих исследователей английский язык не является родным.

Вместе с тем данные свидетельствуют о стремительном распространении генеративного искусственного интеллекта в сфере научной коммуникации. В случае, если оценка, представленная авторами, соответствует действительности, применение языковых моделей при создании астрономических публикаций приобрело характер широко распространенной практики, несмотря на то, что официальные заявления по этому поводу встречаются нечасто.

Исследование представлено в виде препринта на arXiv.