Специалисты НОШ МГУ провели анализ текстов, созданных автоматически, и сопоставили эффективность различных крупных языковых моделей при генерации документов разных типов. В исследовании рассматривались семь форматов письменных заданий на английском языке, включая эссе, письма и статьи. На основании количественных данных, полученных в ходе эксперимента, который охватывал пять параметров (объем текста, разнообразие лексики, проверка на плагиат и другие), были сформулированы предложения по внедрению технологий генеративного искусственного интеллекта в творческие задания. Материалы исследования представлены в сборнике Frontiers in Artificial Intelligence and Applications. Работа была выполнена в рамках Междисциплинарной научно-образовательной школы МГУ, посвященной сохранению мирового культурно-исторического наследия».
Развитие технологий генеративного искусственного интеллекта (ИИ) поднимает важный вопрос об авторстве текстов. По словам экспертов, открытые системы, такие как GPT, обладают возможностями обработки обширных объемов информации и создания более креативных результатов Владимир Терновский, доцент кафедры вычислительных методов факультета ВМК МГУ.
Учебные заведения испытывают необходимость в создании нормативной документации, регламентирующей выявление и регулирование использования инструментов, генерирующих научные и учебные тексты. К основным характеристикам систем генерации текста, как и к другим техническим средствам обучения, относятся адаптивность, интерактивность, доступность, гибкость и открытость. Дидактические возможности, основанные на потенциале данной технологии, реализуются в автоматическом режиме, что является следствием перехода от цифровизации к автоматизации не только экономики в целом, но и отдельных аспектов учебного процесса. Преподаватели иностранных языков могут использовать возможности генеративного искусственного интеллекта, такие как создание текстов, генерация идей и редактирование существующих текстов.
В ходе исследования специалисты ФИЯР и ВМК изучили тексты, созданные четырьмя распространенными международными сервисами в ответ на письменные задания из учебных пособий по английскому языку. Для анализа были выбраны большие языковые модели, которые, согласно результатам предыдущих исследований, демонстрируют наилучшие показатели в аргументации и рассуждениях. 80% полученных текстов успешно прошли проверку на уникальность, показав результат свыше 75%. «Творческие письменные задания требуют изменений как в процессе их выполнения (рекомендуется поэтапный подход), так и в критериях оценки, которая должна учитывать вовлеченность учащегося и акцентировать внимание на содержании», — отмечает Анна Авраменко, доцент кафедры лингвистики и информационных технологий Филологического факультета МГУ, руководитель научно-исследовательской работы «Технологии искусственного интеллекта в цифровизации образовательной среды».
Изучение технических особенностей и ограничений диалоговых систем, а также исследование существующих методов обучения, позволяет определить необходимые шаги для адаптации этих систем к решению актуальных методических задач. Например, применение редакторов на базе ИИ приводит к заметному увеличению доли лексики высокого уровня в текстах, создаваемых обучающимися, и она составляет не менее 15% от общего объема. Однако чат-боты не оказывают заметного влияния на успешность выполнения коммуникативных задач. В связи с этим, важным направлением для дальнейшего исследования представляется изучение формулировок наиболее эффективных запросов (промтов) и, как следствие, выявление способов формирования действенных стратегий взаимодействия с технологиями ИИ в контексте профессиональной компетенции студентов.
Информация предоставлена пресс-службой МГУ