Нейросеть научили воссоздавать изображения, о которых думает человек
Разработчики из Киотского университета под руководством Юкиасу Камитани создали сеть, которая отслеживает мозговую активность и на основе полученных данных воспроизводит изображение, о котором думает или на которое смотрит человек. Эту систему "обучали" в ходе эксперимента, когда испытуемым по пять раз показывали 1200 разных изображений, а нейросеть запоминала мозговую активность, которая соответствует каждому изображению.
Чтобы создаваемые программой изображениябыли максимально похожи на оригинал, разработчики ввели дополнительную нейросеть — глубокая генеративная нейросеть (DGN).
© Public Domain
Полученные в результате считывания мозговой активности изображения и исходные фотографии
Учёные утверждают, что попиксельное сравнение исходного и полученного изображения оказалось эффективным на 79,7% без дополнительной DGN и на 76,1 — с её использованием. Люди угадывали, что изображено на полученном изображении в 99,1% случаев с DGN и 96,5% без неё. По мнению учёных, это означает, что улучшение изображения с помощью дополнительной нейросети помогает людям узнавать картинки.
Учёные обещают, что продолжат совершенствовать технологию, поскольку пока лучшие результаты она показала при реконструировании простых форм и цифр, но не реальных объектов.