Историк предложил принципы защиты информации от ошибок нейросетей

Новости МирТесен

Искусственный интеллект часто допускает фактические неточности, что создает риски для понимания как уже существующих научных сведений, так и для работы с новыми, а также для создания текстов на их основе. Американский историк изучил особенности информации о прошлом и представил советы по ее представлению, призванные защитить текст от выдуманных нейросетями сведений.

Ключевым моментом при работе с искусственным интеллектом является осознание его ограничений, которые вытекают из принципов его функционирования. Так, нейронные сети не стоит задавать вопрос наподобие «В чем причина твоей ошибки?», поскольку они генерируют ответы, вычисляя, какой элемент (слово, предложение и так далее) с большей вероятностью будет следующим.

Ян Бурцлафф, историк из Корнеллского университета в США, разработал ряд рекомендаций, призванных предотвратить ошибочное толкование исторических исследований при использовании нейросетей. Его эссе опубликовал научный журнал Rethinking History.

Бурцлафф считал, что при создании исторических текстов необходимо учитывать возможные пробелы, возникающие при их обработке с использованием искусственного интеллекта.

1. Интерпретация важнее описания. Нейросети успешно воспроизводят информацию, однако им не под силу ее анализ с учетом контекста. Поэтому историку необходимо акцентировать внимание на важности различных данных, разъясняя, с какой точки зрения на них следует рассматривать. Интерпретация не должна являться комментарием, добавленным к уже свершившемуся событию. Это процесс создания смысла в момент каждого столкновения с неопределенностью. Это разница между простым перечислением фактов и попыткой понять их значение, для кого и когда, в конкретных обстоятельствах».

Бурцлафф проиллюстрировал свой рассказ историей человека, пережившего несколько концлагерей: «Я не жаловался, ни разу [после 25 ударов плетью]. Даже немецкий офицер после этого похвалил меня на немецком». Автор эссе отмечает, что пересказ этого эпизода языковой моделью ChatGPT получился логичным и организованным, он содержал сведения о месте действия, ключевых событиях и некоторых переживаниях, в частности, страха. Однако языковая модель не смогла передать противоречивость описанной сцены — «психологического напряжения, требующегося, чтобы сохранять молчание под ударами, или неоднозначности получения похвалы за это».

2. Создавать, а не воспроизводить. Не каждое историческое свидетельство соответствует готовым сюжетным схемам. При преобразовании историй искусственным интеллектом в категории, такие как «детство в укрытии», «материнская жертва» и «военная травма», нередко теряются значимые подробности.

По этой причине Бурцлафф рекомендовал историкам сосредотачиваться на существенных деталях личного опыта: «Историк не должен быть лишь обработчиком архивных документов, он должен выступать в роли посредника и переводчика. Не аналитика данных, а смелого исследователя. Это также выделяет нас среди специалистов в области общественных наук: мы не начинаем с заранее определенных категорий и не классифицируем факты, опираясь на них. Мы начинаем с конкретного, зависящего от обстоятельств, изменчивого – и определяем значения, которые возникают при рассмотрении контекста».

3. Учитывать масштаб, но не подчиняться ему. Языковые модели позволяют анализировать большие объемы информации, определять повторяющиеся закономерности и оценивать их распространенность. Вместе с тем, при этом есть риск упустить сведения о редких и необычных событиях.

«По словам Бурцлаффа, генеративный искусственный интеллект не способен улавливать необычные, сюрреалистичные детали, нарушающие логическую последовательность событий — моменты, которые невозможно упростить без потери важной информации. Именно такие детали, по его мнению, и составляют основу работы историка: он обращает внимание не на преобладающие тенденции в массиве данных, а на аномалии, на то, что не поддается стандартной классификации.

4. Не сглаживать углы. Нейросеть использует алгоритмы для контроля этичности генерируемых ответов. Это может приводить к потере информации, значимой для понимания контекста, в частности, описаний насилия, свойственных произведениям о Холокосте и Второй мировой войне, которые изучал Бурцлафф.

Одна из женщин, переживших концлагерь, вспоминала, что всегда выбирала «правильную» очередь – ту, что не вела к смерти: «Менгеле трижды выбирал меня, но я не попадала в газовые камеры, я была счастлива. Он всегда ходил с палкой, указывая то в одну, то в другую сторону. Мы не знали, какая очередь безопасна, но я всегда оказывалась в нужной». В ИИ-пересказе этой истории выживание стало описываться как «стойкость», побои – как «преследование», а удача – как «благоприятные обстоятельства». Это формально соответствует действительности, однако не передает главного, искажая содержание исторического свидетельства.

Ян Бурцлафф выступил с призывом прекратить использование алгоритмов, призванных обеспечивать «этичность» текста. По его мнению, отказ от алгоритмической этики не означает отрицание морали. Это – настойчивый запрос к тому, чтобы моральная оценка событий основывалась на конкретных обстоятельствах, учитывала взаимосвязи и, самое главное, оставалась открытой для дальнейшего рассмотрения».

5. Писать живо. Необходимо обращать внимание не только на эмоциональную окраску событий и их окружение, но и на стилистические черты исторических документов.

«Машины способны прогнозировать предложение, однако не в состоянии удерживать его. Они лишены возможности обдумать целесообразность продолжения. Стили, используемые людьми, представляют собой накопленное знание, которое сформировалось под влиянием национальных школ, региональных характеристик и интеллектуальных традиций. В данном контексте стиль – это не академическая изысканность, а этическая форма. Предложение, которое приостанавливается, меняет направление и оказывает сопротивление завершению – именно здесь начинается историография. Между памятью и смыслом, грамматикой и разрывом», — заключил Ян Бурцлафф.

Хотя рекомендации специалиста в первую очередь ориентированы на изучение истории и исторических документов, они могут быть полезны и в других научных дисциплинах, а также при работе с различными видами текстовых данных. Способность определять важные детали и принимать их во внимание при анализе всей совокупности информации поможет нейтрализовать недостатки языковых моделей и сохранить ценную информацию от искажений, вызванных нейросетями.