Нейросеть научили воссоздавать изображения, о которых думает человек

Японские учёные создали нейросеть, которая может воссоздавать изображения предметов, основываясь на мозговой активности людей, которые на них смотрят. Нейросеть способна реконструировать буквы, фигуры, изображения животных и предметов, пишет N+1 со ссылкой на препринт учёных. Об этом информирует телеканал "Дождь".
Разработчики из Киотского университета под руководством Юкиасу Камитани создали сеть, которая отслеживает мозговую активность и на основе полученных данных воспроизводит изображение, о котором думает или на которое смотрит человек. Эту систему "обучали" в ходе эксперимента, когда испытуемым по пять раз показывали 1200 разных изображений, а нейросеть запоминала мозговую активность, которая соответствует каждому изображению. 
Чтобы создаваемые программой изображениябыли максимально похожи на оригинал, разработчики ввели дополнительную нейросеть — глубокая генеративная нейросеть (DGN).
© Public Domain
Полученные в результате считывания мозговой активности изображения и исходные фотографии

Учёные утверждают, что попиксельное сравнение исходного и полученного изображения оказалось эффективным на 79,7% без дополнительной DGN и на 76,1 — с её использованием. Люди угадывали, что изображено на полученном изображении в 99,1% случаев с DGN и 96,5% без неё. По мнению учёных, это означает, что улучшение изображения с помощью дополнительной нейросети помогает людям узнавать картинки. 
Учёные обещают, что продолжат совершенствовать технологию, поскольку пока лучшие результаты она показала при реконструировании простых форм и цифр, но не реальных объектов.