Учёные смогли вывести картинку из человеческого мозга на экран

Весь день наш мозг преобразует множество сенсорных сигналов. Но этот механизм ещё плохо изучен. Meta* объявила, что разработала технологию, которая поможет увидеть, как устроен этот процесс.

Используя магнитоэнцефалографию (МЭГ) — неинвазивный метод нейровизуализации, при котором каждую секунду проводятся тысячи измерений активности мозга, — учёные декодируют полученные данные с помощью искусственного интеллекта.

Эта модель обучается на общедоступном наборе данных записей МЭГ, полученных от здоровых добровольцев. А ещё на иллюстрациях, опубликованных Things — международным консорциумом академических исследователей, который обменивается экспериментальными данными, основанными на одной и той же базе изображений.

В долгосрочной перспективе исследование способно помочь спроектировать неинвазивные инструменты «мозг — компьютер». Они могли бы быть полезны людям, которые после поражения головного мозга потеряли возможность говорить.

Учёные выяснили, что сигналы мозга больше всего похожи на современные системы искусственного интеллекта компьютерного зрения, такие как DINOv2. Она способна изучать изображения без каких-либо человеческих аннотаций. Искусственные нейроны в алгоритме активируются аналогично физическим нейронам мозга в ответ на одно и то же изображение.

Вся система состоит из трёх частей: кодер изображений обрабатывает большую базу данных, кодер головного мозга учится сопоставлять сигналы магнитоэнцефалограммы с этими иллюстрациями, и в итоге декодер изображения генерирует правдоподобную картинку этих данных.

* Решением суда запрещена «деятельность компании Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram на территории Российской Федерации по основаниям осуществления экстремистской деятельности».