Учёные создали искусственные нейронные сети, способные самостоятельно обучаться и организовываться на основе окружающей среды.
Эффективность нейронных сетей, как биологических, так и искусственных, определяется плотной сетевой структурой, состоящей из множества взаимосвязанных вычислительных элементов. У человека неокортекс строится на разнообразии типов нейронов, расположенных в повторяющихся микросхемах, обеспечивая ему высокую функциональную пластичность. Искусственные сети черпают вдохновение в такой организации, используя повторяемость простых вычислительных блоков, что позволяет им увеличиваться в размерах и усложняться.
Каждая вычислительная единица нейрона схематично упрощена. В искусственных строениях нейроны располагаются в рядах, по которым движутся сигналы входа. Обработка этих сигналов предназначена для получения нужных сведений.
Главное отличие в том, что биологические сети учатся иначе, чем их искусственные аналоги. Если искусственные сети часто нуждаются во внешнем управлении, то нейроны биологических сетей полагаются на сигналы от соседей. Такой способ обучения дает естественным сетям большую гибкость и экономию энергии по сравнению с традиционными искусственными моделями.
Для того, чтобы сделать искусственные сети похожими на биологические, учёные из Института динамики биологических сетей при Геттингенском университете и Института динамики и самоорганизации Макса Планка разработали сети с использованием так называемых инфоморфных нейронов. Результаты работы опубликованы в журнале. , а также в предварительной публикации на платформе .
«Обучение отдельных нейронов в современных глубоких нейронных сетях часто остается непонятной, так как базируется на глобальной оптимизации. В отличие от них биологические системы используют локальное, самоорганизованное обучение, обеспечивающее устойчивость и эффективность при ограниченности глобальной информации. », — пишут авторы в своей статье. «Мы показываем возможность самоорганизации между искусственными нейронами при определении локальных, абстрактных целей обучения, основанных на моделях биологических систем. ».
Четкие и универсальные цели обучения
Разработанный исследователями метод основан на теоретической базе «частичной декомпозиции информации» (PID), которая расширяет основы теории информации. Эта основа позволяет разложить информацию от множества источников на отдельные компоненты: избыточные или синергетические. Инфоморфные нейроны локально интегрируют информацию с разных входов, выбирая сигналы, являющиеся совместными или избыточными. Такая распределенная обработка позволяет спонтанно обучаться взаимодействуя с ближайшим окружением.
«Разрабатывая обусловленное интерпретацией на уровне нейронов и гарантируя надёжность функционирования посредством локального обучения, данная работа формирует основу информационной теории обучения. Авторы утверждают, что при создании инфоморфных нейронов команда руководствовалась работой пирамидальных клеток коры головного мозга, которые умеют адаптивно обрабатывать контекстные сигналы.
Искусственные нейроны, разработанные в данном случае, обучены на основе простых, общедоступных, но эффективных принципах. Теперь мы ясно видим, как функционирует внутренняя сеть и как каждый нейрон учится независимо. — Объясняет Марсель Гретц из CIDBN, соавтор исследования, в пресс-релизе Института Макса Планка.
Определив цели обучения, нейроны устанавливают собственные правила. Исследователи, сосредоточившись на когнитивном процессе, применили новую метрику из теории информации для определения: должен ли нейрон искать повторяющиеся сигналы, сотрудничать с коллегами или специализироваться на одном компоненте общей информации.
«Направленные на конкретные части входных данных и взаимодействуя друг с другом, информационные нейроны группы суммируют усилия для выполнения задачи, стоящей перед сетью. «Это открытие может поспособствовать созданию более автономных систем искусственного интеллекта, а также помочь глубже понять механизмы обучения мозга», — говорит Валентин Нойхаус, соавтор исследования из MPI-DS.