Нейросеть научили определять мысли человека |
|
 Фото: Скриншот Нейросеть научили восстанавливать мысли человека по активности его мозга
Исследователи российской Лаборатории нейроробототехники МФТИ научились воссоздавать по электрической активности мозга изображения, которые человек видит в данный момент.Ученые полагают, что это открытие позволит создавать устройства для лечения когнитивных нарушений, которыми можно будет управлять при помощи сигналов мозга. Для создания таких устройств необходимо понять то, как мозг кодирует информацию. Ключевая задача для понимания принципов его работы — исследование активности мозга, возникающей при визуальном восприятии информации. Все существующие решения в области распознавания изображений по сигналам мозга используют функциональную магнитно-резонансную томографию (фМРТ) или анализ сигнала с нейронов. Интерфейс «мозг — компьютер», созданный командой ученых из МФТИ, использует нейросеть и электроэнцефалограмму (ЭЭГ), которую снимают с поверхности головы. Эта разработка с помощью ЭЭГ в режиме реального времени реконструирует кадры из видео, которое смотрит человек.
Эксперимент состоял из двух частей. В первой части исследователи произвольно выбрали пять разных категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость» — видеосъемку от первого лица гонок на снегоходах, водных мотоциклах, ралли — и «движущиеся механизмы», которые показывали испытуемым, записывая при этом ЭЭГ. Ролики длились по 10 секунд, в сумме вся сессия записей у каждого испытуемого составляла 20 минут.В этой части эксперимента ученым удалось доказать, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов достоверно различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени. Для второй части эксперимента были произвольно выбраны три категории из вышеперечисленных видео. Специалисты разработали две нейросети, одна из которых генерировала произвольные изображения этих же категорий из «шума», а вторая — создавала похожий «шум» из ЭЭГ. Затем авторы работы обучили эти нейросети работать совместно так, чтобы по записанному сигналу ЭЭГ создавались кадры, похожие на те, которые видели люди в момент записи. Для проверки испытуемым показали совершенно новые видео тех же категорий, снимая при этом ЭЭГ и в реальном времени отправляя ее на нейросети. Нейросети хорошо справились и с этой задачей: создавали реалистичные кадры, по которым в 90% случаев можно было определить категорию видео. «Энцефалограмма — следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Раньше считалось, что исследовать процессы в мозге по ЭЭГ — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты», — говорит Григорий Рашков, один из авторов работы, младший научный сотрудник МФТИ. Интересные новости всегда под рукой в нашем Telegram-канале
| |
| 19.10.2019 17:32 398 | |
Сейчас читают
| Комментарии: 0 | |
Войдите, чтобы оставить комментарий.