Разработана инновационная структура для высокоскоростных систем обработки естественного языка российскими исследователями

Новости МирТесен

Специалисты из лаборатории T-Bank AI Research, занимающейся исследованиями в области искусственного интеллекта, представили ReBased – новую архитектуру для создания быстрых языковых моделей, предназначенных для решения узкоспециализированных задач в области обработки естественного языка. Разработчики отмечают, что новая архитектура отличается экономичностью и высокой эффективностью.

ReBased демонстрирует потребность в меньшем объеме вычислительных мощностей и ускоряет обработку объемных текстовых документов, при этом практически не снижая точности результата. Это критически важно для широкого применения языковых моделей в коммерческой сфере и также имеет положительное влияние на экологическую обстановку. Уменьшение нагрузки на серверы позволит уменьшить расход энергии, что приведет к сокращению воздействия крупных центров обработки данных на природу.

В рамках новой разработки специалисты T-Bank AI Research провели анализ и внесли изменения в архитектуру Based, ранее представленную в конце 2023 года учеными из Стэнфордского университета. Усовершенствован механизм извлечения информации из текста, в который добавлены новые обучаемые параметры, обеспечивающие более эффективный поиск связей между фрагментами текста. Кроме того, упрощен алгоритм выделения информации, что позволило повысить производительность и улучшить качество работы архитектуры. Это привело к среднему улучшению понимания взаимосвязей в тексте на 10%.

Предлагаемая структура позволяет уменьшить финансовые затраты, связанные с применением искусственного интеллекта для решения узконаправленных проблем и учитывая определенные характеристики. В качестве иллюстрации можно привести сферу здравоохранения: там это может быть использовано для анализа текстовой информации на предмет симптомов и постановки диагнозов.

Модели, использующие архитектуру ReBase, характеризуются сниженным потреблением ресурсов, при этом качество создаваемых текстов остается на высоком уровне.

Исследователи из T-Bank AI Research провели исследования с использованием датасета MQAR (Multi-Query Associative Recall), предназначенного для проверки способности модели к обучению в контексте, а именно – ассоциативному запоминанию. Это означает способность сохранять информацию о не связанных между собой элементах, например: фотография человека и его имя.

В статье авторы представили детальное описание модели и изложили результаты экспериментов Линейные трансформеры с обучаемыми ядерными функциями демонстрируют лучшие показатели при обучении без явного программирования. . Исходный код и дополнительные материалы доступны на GitHub.

Данное научное изыскание было доложено на мероприятии – 63-й Международной конференции по компьютерной лингвистике (ACL). Конференция проходила в Бангкоке, Таиланд, с одиннадцатого по шестнадцатое августа 2024 года и признается ведущей научной площадкой для специалистов в области обработки естественного языка.

Материалы исследования цитировались авторитетными представителями Принстонского университета и Университета Карнеги-Меллона, являющимися одними из наиболее уважаемых экспертов по оценке эффективности искусственного интеллекта. Их разработки нашли применение практически во всех современных языковых моделях.

По мнению исследователей T-Bank AI Research, в будущем линейные модели, такие как ReBased, все чаще будут интегрироваться с трансформерами в гибридных архитектурах, благодаря их способности обеспечивать высокую скорость и качество выполнения задач.