Учёные из США и Великобритании выяснили, что сверточные нейронные сети успешно обучаются и не сталкиваются с проблемой «бесплодного плато».
Квантовые нейронные сети привлекают внимание возможностью эффективного анализа квантовых данных. Однако развитие тормозит явление так называемого бесплодного плато, свойственное многим архитектурам нейронных сетей. В процессе обучения нейронная сеть перемещается по ландшафту. функции потерьСтремясь обнаружить самую низкую точку, система попадает в «бесплодное плато». Отсутствие заметного перепада высот не позволяет ей понять направление дальнейшего движения. Это приводит к невозможности обучить нейронную сеть.
Ученые в ходе работы планировали изучить влияние проблемы «бесплодного плато» . сверточные нейронные сетиПри создании этих сетей вдохновлялись строением зрительной коры головного мозга. Сверточные нейронные сети состоят из ряда слоев с постепенно снижающейся размерностью, которые сохраняют ключевые особенности набора данных. Такую структуру используют для самых разных задач — от анализа изображений до распознавания речи.
Исследователи обнаружили, что квантовые сверточные нейронные сети устойчивы к «бесплодному плато», в отличие от многих других архитектур. Это особенно важно при работе с большими объемами данных. Ученые считают, что масштабируемые и обучаемые квантовые нейронные сети могут быть использованы для анализа и моделирования материалов с высокотемпературной сверхпроводимостью, на которые влияют множество параметров: температура, давление, примеси и различие фаз. Такие вычисления классические компьютеры выполнить не могут.
Авторы предлагают новую графическую методику анализа чувствительности нейронных сетей к «бесплодному плато». Предполагается, что её можно использовать в других областях.
Статья, содержащая детальное изложение архитектуры нейронной сети и подтверждения её способности к обучению. опубликована в журнале Physical Review X.