Ранее люди привыкли, что собеседник понимает их настроение по эмодзи, однако ученые долгое время обсуждали: воспринимает ли наш мозг эти символы как лица или как обычные изображения. Британские нейробиологи установили, что для распознавания эмоций в интернете и на фотографиях мозг использует одни и те же нейронные механизмы.
Когда в переписке используются грустные или радостные смайлики, создается впечатление, что собеседник отлично понимает наше эмоциональное состояние. Однако за этим впечатлением стоит важный научный вопрос: каким образом мозг воспринимает эмодзи? Разгадка этого вопроса поможет глубже понять, какие коммуникативные механизмы участвуют в обработке этого простого сообщения.
Магнитно-резонансная томография демонстрировала, что при восприятии эмодзи активируются те же области мозга, что и при восприятии лиц, в частности, веретенообразная извилина. Однако электроэнцефалографические исследования выявили существенные отличия. Некоторые исследователи полагали, что мозг обрабатывает эмодзи как упрощенные изображения, то есть объекты, а не лица. Другие утверждали, что общие механизмы все же присутствуют, но нуждаются в дополнительных подтверждениях. Предыдущие научные работы в основном фокусировались на выявлении различий. Вопрос о наличии единого нейронного кода для реальных и символических проявлений эмоций оставался без ответа.
Специалисты из Университета Борнмута (Великобритания) провели исследование, чтобы определить, использует ли мозг единые нейронные механизмы для распознавания эмоций, выраженных на лицах людей и в эмодзи. Для этого ученые организовали два эксперимента, проводимых одновременно. В первом из них приняли участие 24 человека, которым демонстрировались цветные фотографии реальных людей. Восемь моделей изображали четыре эмоции: радость, гнев, печаль и нейтральное состояние. Задача участников заключалась в том, чтобы определить эмоцию и сообщить о своем выборе с помощью нажатия соответствующей клавиши. Итоги исследования опубликовал журнал Psychophysiology.
Во втором эксперименте участвовала другая группа, состоящая из 25 человек. Им предстояло выполнить аналогичное задание, однако вместо фотографий им демонстрировались эмодзи с шести различных платформ. Параметры проведения эксперимента, такие как время экспозиции изображений, интервалы между ними и методика подсчета правильных ответов, были идентичными в обоих случаях. Это обеспечило возможность непосредственного сопоставления полученных результатов.
При проведении анализа данных исследователи использовали многомерный паттерновый анализ. Компьютерная система обучается определять эмоции, анализируя распределение электрических сигналов со всех датчиков, расположенных на голове. Прежде всего, алгоритм обучают, используя определенный объем данных, после чего проверяют его эффективность на новых примерах.
Чтобы обеспечить достоверность результатов, был проведен перекрестный анализ. Специалисты обучили алгоритм, используя изображения реальных лиц, а затем тестировали его на эмодзи, и наоборот. Если после обучения на фотографиях людей алгоритм способен успешно идентифицировать эмоции на смайликах, это указывает на то, что мозг обрабатывает эти эмоции схожим способом, несмотря на существенные различия в визуальных характеристиках.
Эксперимент продемонстрировал, что алгоритм, обученный на изображениях настоящих лиц, сохранял способность определять эмоции при работе с данными, полученными при просмотре эмодзи. Аналогичный эффект наблюдался и в обратном направлении: обучение на смайликах позволяло корректно определять эмоции на фотографиях живых людей. Это указывает на наличие универсального нейронного кода для выражения эмоций в мозге, который не зависит от того, воспринимает человек подлинные мимические движения или их упрощенные изображения.
Уже через 100–120 миллисекунд после показа изображения стали появляться отчетливые модели активности, соответствующие различным эмоциям, а максимальная интенсивность приходилась на период с 145 до 160 миллисекунд. Таким образом, мозг воспринимает эмодзи не как отдельные элементы, а как лица, и обрабатывает их с почти такой же скоростью. Пространственная локализация активности наблюдалась в затылочно-теменных областях, где находятся центры, отвечающие за обработку зрительной информации и распознавание лиц.
Для интерпретации символических изображений мозг задействует проверенные временем способы обработки социальной информации. Данное открытие позволяет понять, почему эмодзи оказались столь востребованы в онлайн-коммуникациях.