Учёные из лаборатории T-Bank AI Research создали новую архитектуру быстрых языковых моделей ReBased, предназначенную для решения специфичных задач в области обработки естественного языка.
ReBased потребляет меньше ресурсов и ускоряет обработку больших текстов, практически не снижая качества. Это важно для коммерческого использования языковых моделей и для экологии.
Ученые T-Bank AI Research проанализировали и доработали архитектуру Based, представленную в конце 2023 года учеными из Стэнфорда. Были внесены изменения в механизм извлечения информации из текста с добавлением обучаемых параметров для оптимизации поиска взаимосвязей между частями текста. Другое усовершенствование упростило алгоритм выделения информации из текста, что повысило производительность и качество работы архитектуры. В результате понимание взаимосвязей в тексте улучшилось на 10%.
Новая архитектура способна уменьшить затраты на применение ИИ для узкоспециализированных задач с определенными характеристиками. К примеру, в медицине это может заключаться в классификации текстов по симптомам и диагнозам.
Модели, основанные на ReBased, потребляют меньше ресурсов, сохраняя при этом высокое качество генерируемых текстов.
Специалисты T-Bank AI Research провели эксперименты на датасете MQAR для оценки способности модели к контекстуальному обучению, в частности, к ассоциативному запоминанию, например, пары «лицо человека» и «его имя».
В статье авторы представили подробное описание модели и результаты экспериментов. Линейные трансформаторы с обучаемыми ядром функций превосходят контекстно обусловленные модели. . Исходный код и дополнительные материалы доступны на GitHub.
В Бангкоке с 11 по 16 августа 2024 года прошла 63-я Международная ежегодная конференция по компьютерной лингвистике (ACL). Это главное научное мероприятие в области обработки естественного языка. Ученые представили это исследование на конференции.
В статьях по работе представителями Принстонского университета и Университета Карнеги-Меллона, известными своими исследованиями эффективности ИИ, приводятся выдержки из работ.
Исследователи T-Bank AI Research считают, что в будущем линейные модели, такие как ReBased, будут применяться всё чаще вместе с трансформерами в рамках гибридных структур.