Исследователи создали процессор, который обучает нейросети в тысячу раз быстрее

Что случилось

Специалисты из Оксфорда вместе с коллегами из Эксетера и Мюнстера разработали оптический процессор, который способен обучать нейросети и выявлять схожести среди элементов в наборе данных. Делает он это намного быстрее, чем обычные алгоритмы для машинного обучения, функционирующие на электрических процессорах.

Научная работа по этой технологии использует открытия Нобелевского лауреата Ивана Павлова. Он показал, что если во время кормления собак подавать им дополнительные стимулы — например, звуки колокольчика или метронома, — то они запомнят это, а после такой звук начнут ассоциировать с едой и у них будет выделяться слюна. Павлов доказал, что два независимых события, повторяемые много раз, создают новую связь — условный рефлекс.

Как этот процессор работает

Обычно нейронные сети требуют большого количества примеров во время процесса обучения. Например, чтобы научить нейросеть с хорошей точностью различать кошек на фотографиях, нужно примерно 10 тысяч картинок с котами.

Поэтому вместо обычного процесса обучения исследователи решили использовать Associative Monadic Learning Element (AMLE). Он представляет из себя специальный материал, который умеет запоминать паттерны и потом находить похожие признаки в других элементах из набора данных. AMLE запоминает схожести как условный рефлекс Павлова, когда находит близкие по признакам объекты.

Процессор использует лучи света, чтобы отправлять и принимать данные, что максимизирует плотность информации. Это позволяет передавать сигналы с помощью разных по длине волн одновременно и при этом не терять информацию. Такая архитектура может значительно ускорить время обучения нейросетей.

Входные сигналы подаются в AMLE вместе с правильными результатами (обучение с учителем), а сам запоминающий материал может сбросить свой прогресс с помощью лучей света.

Какие успехи

Во время тестирования AMLE смог правильно определить изображения с котами и без них после того, как обучился всего на десяти фотографиях. Это в тысячу раз быстрее, чем получается у обычных алгоритмов на электронных процессорах.