Ученые из Японии обучили нейросеть воссоздавать изображения, о которых размышляет человек

Нейросеть, способную воссоздавать изображения, о которых размышляет человек, сделали японские ученые. Препринт работы размещен на bioRxiv, ее короткое описание приводит N+1.

Все существующие подходы, однако, имеют ряд ограничений: например, реконструирующая нейросеть может быть урезана обучающей выборкой, другими словами воссоздавать только отдельный ряд изображений, об особенностях которых ей известно.

Такая нейросеть работает при помощи декодера паттернов изображения в мозговой активности. Кроме того, нейросеть в состоянии осуществлять реконструкцию букв, фигур, а еще изображений предметов и животных. Всего испытуемые увидели 1200 изображений, при всем этом каждое как минимум 5-ти раз.

Ученые также показали воссозданные и уникальные изображения людям и попросили попарно соотнести их. Невзирая на то, что изображения предметов получились абстрактными, работа нейросети, по оценкам системы попиксельной корреляции исходного и приобретенного изображений, оказалась на 79,7 процента действенна без дополнительной DGN и на 76,1 — с ее использованием.

Чтобы создаваемые программой изображениябыли максимально схожи на оригинал, создатели ввели дополнительную нейросеть — глубочайшая генеративная нейросеть (DGN).

После обучения нейросеть смогла создавать изображения букв, геометрических фигур и предметов. В дальнейшем специалисты хотят улучшить процесс распознавания, так как пока нейросеть не работает с настоящими объектами, идентифицируя в большей степени цифры и обыкновенные формы. Общее попиксельное совпадение между фотографией исходного объекта и полученным изображением получилось одинаковым 79,7% без глубокой генеративной нейросети и 76,1% с ее использованием.