Инновационный метод базируется на работе всего одного имплантата, который закрепляется в сенсомоторной коре головного мозга пациента. Датчик успешно фиксирует нейронные импульсы, отвечающие за мимику, артикуляцию рта и движения конечностей, включая кивки или пожимание плечами. В ходе экспериментов с участием двух человек данные о мозговой активности направлялись в специальные модели речи и жестов, функционирующие на базе сверточной рекуррентной нейронной сети. Полученные результаты позволяют вернуть способность к коммуникации людям, перенесшим тяжелый инсульт и потерявшим возможность двигаться и говорить.
Как сообщает авторитетный научный журнал Nature Neuroscience, разработанный комплекс стал важным шагом в развитии нейрокомпьютерных интерфейсов, транслирующих мысли в действия.
Руководитель исследовательской группы медиков из Калифорнийского университета в Сан-Франциско Эдвард Чан подтвердил, что его команде удалось значительно усовершенствовать взаимодействие имплантата с компьютером за счет добавления функции передачи невербальных сигналов. По мнению ученых, создание полноростового анимированного аватара обеспечивает качественно новый уровень социализации для тяжелобольных пациентов, так как система позволяет одновременно синтезировать речь и демонстрировать соответствующие жесты в режиме реального времени.