Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллектаНИР

The study of neuro- and psychophysiological mechanisms of brain-computer interaction based on the registration of EEG and the development of new neurotechnologies using elements of artificial intelligence

Источник финансирования НИР

госбюджет, раздел 0110 (для тем по госзаданию)

Этапы НИР

# Сроки Название
1 1 января 2021 г.-31 декабря 2021 г. Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллекта
Результаты этапа: Часть 1. Заключение. В поиске новых эффективных решений для целей медицинской реабилитации двигательных нарушений настоящее исследование было посвящено изучению влияния процесса наблюдения за простыми движениями пальцев виртуальной руки на активность коры мозга в связи. Целью этой части исследования было выявление закономерностей процессов активации сенсомоторных отделов коры при наблюдении движений в различных условиях. В трех экспериментальных сериях был проведен анализ динамики амплитудно-частотных характеристик сенсомоторных ритмов ЭЭГ и уровня кортикоспинальной возбудимости в условиях пассивного наблюдения движений, подготовки и ожидания наблюдения движений, а также при активном наблюдении движений, когда оно демонстрировалось испытуемому как результат когнитивных усилий, то есть в качестве сигнала обратной связи в контуре ИМК на основе волны Р300. Результаты выполненных серий экспериментальных тестирований должны были позволить определить закономерности процессов активации кортикальных центров двигательной системы мозга при наблюдении за движениями со стороны, а также выявить влияние контекста, создаваемого задачей ИМК-управления, на процесс восприятия наблюдаемых движений, которые в рамках этой задачи являлись стимулами обратной связи. В первой серии экспериментов было показано, что даже пассивное наблюдение за простыми нетранзитивными движениями приводит к развитию десинхронизации сенсомоторной ЭЭГ-активности в альфа- и бета-диапазонах частот, однако, каких-либо изменений кортикоспинальной возбудимости выявлено не было. Более того, как показали результаты дальнейших экспериментов, кортикоспинальная возбудимость при наблюдении движений значимо снижается уже к первой секунде движения, наблюдаемого пассивным образом. Восприятие же движений, инициируемых усилиями самого испытуемого в контуре ИМК-Р300, было ассоциациированно с процессами оценки результативности собственного поведения по управлению ИМК-Р300. Эти процессы нашли свое отражение компонентах ПСС, связанных с ошибочной обратной связью (потенциал Pe), а также, вероятно, стали причиной различий в динамике амплитуды сенсомоторной ЭЭГ-активности при восприятии корректных и ошибочных, но визуально полностью одинаковых движений. Таким образом, контекст ИМК-обратной связи повлиял на активацию сенсомоторных контуров мозга при наблюдении за движениями пальцев виртуальной кисти. Особенно чувствительным к наблюдению некорректных движений оказался компонент бета-синхронизации, реагировавший повышением амплитуды в ответ на ошибочное срабатывание ИМК. Также при таком активном наблюдении движений в рамках работы с нейроинтерфейсом было обнаружено повышение уровня кортикоспинальной возбудимости. Повышение возбудимости было заругистрирвоано и в период ожидания обратной связи. Этот эффект, вероятно, определяется прогностическими процессами, которые являются также важной частью системы мониторинга ошибок. Ожидание возможных результатов поведения в исследуемой парадигме могло быть связано с представлением целевого движения виртуального пальца. Формирование такого зрительного образа необходимо для осуществления дальнейших процессов сравнения реального и ожидаемого результатов. В то же время ожидание движения в пассивной парадигме (вне контура нейроинтерфейса, когда движения демонстрировались испытуемому в отрыве от задачи ИМК-управления) привело к снижению уровня возбудимости кортикоспинального тракта, что проявилось в уменьшении амплитуды МВП еще до начала демонстрации движения пальца, в период подготовки к наблюдению за ним. Важным критерием терапевтического потенциала новой техники двигательной реабилитации для пациентов с тяжелыми двигательными нарушениями является наличие ее активирующего влияния на сенсомоторные контуры мозга, что в свою очередь может служить свидетельством запуска процессов нейрональной пластичности. В настоящем исследовании парадигма с наблюдением за движениями, инициируемыми непосредственно пользователем в контуре ИМК на основе волны Р300 показала свою эффективность в задачах повышения возбудимости сенсомоторных отделов коры мозга. Было обнаружено, что наблюдение испытуемыми таких движений, демонстрируемых в качестве обратной связи в контуре ИМК-Р300, приводит к выраженным изменениям амплитуды сенсомоторных ритмов ЭЭГ, а также вызывает повышение уровня кортикоспинальной возбудимости. Таким образом, полученные в настоящей работе результаты, открывают новые перспективы для внедрения технологии ИМК-Р300 в практику нейрореабилитации, позволяя предложить исследованную ИМК-парадигму наблюдения за движениями в качестве тренажерной технологии для задач двигательного восстановления после нарушения функций нейронных контуров сенсомоторных отделов коры. а также могут быть использованы для создания протоколов реабилитации с использованием терапии с наблюдением за движениями.   Часть 2. Заключение. Результаты, полученные в рамках данного исследования, создают основу для разработки нового поколения нейроинтерфейсов, которые будут принципиально отличаться наличием систем искусственного интеллекта, обеспечивающих подстроку алгоритмов к индивидуальным психофизиологическим особенностям пользователей. Такая система позволит уменьшить объем данных, требуемый для выбора каждой команды, а также увеличить число потенциальных уверенных пользователей технологии интерфейсов мозг-компьютер. Уменьшенное за счет этого время отклика ИМК также будет способствовать более интуитивному процессу обучения работы в интерфейсе, для которого важно быстрое получение обратной связи по результатам мыслительной деятельности субъекта. Последний аспект является крайне актуальным для освоения технологии проблемными группами пользователей, в том числе в клинике. Часть 3. Заключение. В результате разработки регламента специального психофизиологического тестирования, включающего многократное предъявление на экране слов для их прочтения «про себя» и одновременную запись ЭЭГ, было выполнено 115 таких сессий с участием 115 испытуемых в регламенте с многократном предъявлении простых слов на экране компьютера в трех экспериментальных условиях: произнесением этих слов вслух, проговариванием про себя, наблюдением надписи без проговаривания. Все записи ЭЭГ были тщательно снабжены метками моментов предъявления слов и их специфики, а также метками межстимульных интервалов. Таким образом, задача этой части работы была выполнена в виде подготовки пакета размеченных записей ЭЭГ для последующего компьютерного анализа. Сформулированы также предложения по развитию последующих исследований, направленных на достижение целей проекта.
2 1 января 2022 г.-31 декабря 2022 г. Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллекта
Результаты этапа: Итоги этапа № 2 по НИР «Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллекта. Подведем итоги этапа № 2 в соответствии с планировавшимися результатами. Ожидаемый результат 1. Получены новые данные об особенностях вариативности ЭЭГ-реакций, связанных с вниманием пользователя к командным стимулам в ИМК-P300, и показана эффективность учета таких вариаций для более адекватной оценки реакций внимания к стимулам и их классификации в интерфейсе мозг-компьютер. Изучены эффекты зависимости вариативности реакций ВП от различных параметров стимульной среды и режимов взаимодействия пользователя с интерфейсом мозг-компьютер. Итог 1. Выполнено экспериментальное исследование вариативности амплитуды компонентов потенциалов связанных с событием (ПСС), возникающих у человека-оператора интерфейса мозг-компьютер на основе волны П300 при подсветках экранных символов. Предполагалось, что эта вариабельность является отражением природной вариации фокуса внимания к экранным стимулам и текущей изменчивости ЭЭГ, на фоне которой выделяются компоненты П300. Исследование было мотивировано гипотезой о том, что учет этой естественной вариативности вариативности П300, в частности, по латентности пиковой амплитуды, может существенно повысить точность классификации ПСС, по которым делается автоматический вывод о принадлежности той или иной реакции ЭЭГ к ответу на значимый экранный стимул. Была разработана и протестирована методика анализа единичных мозговых реакций, позволяющая изучать эффекты вариативности ПСС, в результате чего были выявлены некоторые особенности данных эффектов в зависимости от параметров стимульной среды ИМК-P300 и режимов взаимодействия пользователя с интерфейсом. После вычисления усредненных ПСС с поправкой на сдвиги латентности пиков в связи с вариативностью сигнала, прежде всего, было показано, что форма скорректированных ПСС существенно отличается от ПСС без поправок на колебания латентности. В офф-лайн анализе данных последовательных ПСС при работе испытуемого в контуре ИМК П300 при введении алгоритма коррекции на вариативность была достигнута существенно более высокая (на 10-20%) точность детектирования значимых для испытуемого символов на экране. Разработанный подход позволяет более адекватно оценивать реакции внимания пользователя к командным стимулам в ИМК, что дополняет психофизиологический инструментарий при изучении внимания человека с одной стороны, и создает основу для создания более совершенных в практическом аспекте нейрокомпьютерных интерфейсов – с другой стороны. Ожидаемый результат 2. Разработан и апробирован в комплекс методических подходов для модификации алгоритмов предобработки и классификации сигнала, учитывающий вариативность вызванных ЭЭГ-реакций - основа для новых поколений интерфейсов мозг-компьютер. Итог 2. Практичным результатом исследования по п. 1 (Итог 1) стала разработка и создание алгоритмов предобработки и классификации ПСС при выборе команд в ИМК, которые позволили учитывать эффекты вариативности компонентов ПСС. Это стало возможным благодаря настроенной и протестированной в реальном эксперименте в контуре ИМК П300 модификации методики анализа единичных ЭЭГ-реакций при наблюдении испытуемым за подсветками экранных символов. Эти модификации заключались в том, что при формировании признаков для классификатора единичные эпохи подвергались корректировке латентности на основе отдельных пиков ПСС, определяемых независимо в каждой эпохе и каждом канале ЭЭГ. Такой алгоритм позволил получить существенное повышение точности классификации в режиме оффлайн. При этом наибольший эффект повышения точности классификации наблюдался при наименьшем числе повторных подсветок стимулов. Практическая ценность полученных новых алгоритмов для ИМК П300 заключается в возможности существенной оптимизации имеющихся ИМК комплексов на волне П300, и для разработки в перспективе адаптивных ИМК-систем, которые смогут подстраиваться под индивидуальные психофизиологические особенности пользователя, значимость которых может быть особенно высокой при использовании в клинике. Ожидаемый результат 3. Выполнено исследование паттернов сенсомоторных ритмов с корегистрацией многоканальной ЭЭГ и МЭГ при представлении движений и выполнении задач на эксплицитное и имплицитное представление. Проверена гипотеза о наличии независимых сенсомоторных сетей, ответственных за десинхронизацию и синхронизацию бета-осцилляций. ПРИМЕЧАНИЕ: Поскольку оборудование МЭГ который оказалось в связи продолжавшимися ограничениями по ковиду и некоторым другим обстоятельствам системного характера, вместо тестирования с МЭГ выполнено исследование с методикой транскраниальной магнитной стимуляцией для тестирования кортико-спинальной возбудимости на фоне наблюдения за движениями. Итог 3. Проблема, на решение которой было направлено исследование № 3 состояла в том, чтобы приблизиться к пониманию особенностей работы нейронных сетей, определяющих мю- и бета- ритмику ЭЭГ при возникновении у человека мысленных образов движения кисти в процессе за наблюдением этого движения на экране компьютера. Основным вопросом было, что именно откликается в динамике показателей мю- и бета-ритмике ЭЭГ: собственно движение пальцев кисти, или не только это, но и то, насколько биологически целесообразным является это движение. В работе тестировались естественное сгибание пальца и неестественное – выгибание в сторону тыльной поверхности ладони. В настоящей работе было обнаружено, что пассивное наблюдение простых движений пальца виртуальной руки на экране компьютера приводит к десинхронизации сенсомоторных ритмов ЭЭГ, которая развивалась синхронно с динамикой амплитуды сгибания пальца. Кроме того, такие показатели реакции ЭЭГ как десинхронизация мю-ритма и N400 в центрально-теменных отведениях были чувствительны к анатомической неконгруэнтности наблюдаемых движений, в то время как амплитуда бета-десинхронизации не зависела от биологической действия. Таким образом, наши данные указывают на функциональную специфичность различных корковых механизмов, отвечающих за активное наблюдение, и лежащих в основе зеркального отражения различных признаков наблюдаемого действия. Эти результаты могут быть использованы для расширения концептуальной основы происхождения компонента N400 таким образом, чтобы учитывать не только наблюдение биологических несоответствий конкретного действия, но и его общее соответствие сенсомоторному опыту участника. Соответственно, N400 может быть важным маркером активности систем ЗК при распознавании действия в дальнейших исследованиях, в том числе и с использованием этих ЭЭГ-маркеров в контурах ИМК. По итогам работы в 2022 году опубликованы 2 статьи, еще 2 статьи готовятся к публикации, а также принято участие в 3 конференциях. Статьи: Ганин И.П., Каплан А.Я. Изучение эффектов вариативности потенциалов мозга человека в интерфейсе мозг–компьютер на волне P300. Вестник Российского государственного медицинского университета. 2022; 3: 78-85 Syrov N., Bredikhin D., Yakovlev L., Miroshnikov A., Kaplan A. Mu-desynchronization, N400 and corticospinal excitability during observation of natural and anatomically unnatural finger movements. // Frontiers in Human Neuroscience, Sec. Motor Neuroscience 2022. 02 September - том 16 – DOI org/10.3389/fnhum.2022.973229).
3 1 января 2023 г.-31 декабря 2023 г. Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллекта
Результаты этапа: Итог 1. Проведено исследование влияния временно-частотных параметров стимуляции в ИМК-P300 на особенности ПСС и результативность работы интерфейса для выяснения эффективности адаптивной подстройки параметров под индивидуальных пользователей. В исследовании на 20 испытуемых было показано, что компоненты ПСС в целевых эпохах могут испытывать влияние реакций в ответ на другие целевые стимулы, если те идут в непосредственной близости перед первыми. Наибольшие эффекты, как и в случае с вариативностью и другими результатами исследования, наблюдались при наименьшем числе повторов стимулов (то есть высокой скорости выбора команд в ИМК). Последнее говорит о важности адаптивной подстройки частотных параметров стимуляции именно в условиях, когда требуется обеспечить надежную работу интерфейса при коротком времени получения обратной связи пользователем. Итог 2. Проведено нейрофизиологическое исследование, в ходе которого был предложен и протестирован эффективный метод изучения особенностей мозговых реакций человека при работе в контуре интерфейса мозг-компьютер (ИМК). Предложенный нами метод на основе выделения пространственных компонентов N1 и P300 позволил в исследовании на 19 испытуемых выявить ряд факторов, влияющих на свойства ПСС, возникающих при работе пользователя в интерфейсе. Полученные результаты позволяют не только успешно использовать предложенный метод анализа вариативности ПСС в нейрофизиологических исследованиях, но и разрабатывать эффективные модификации стимульных сред для ИМК-P300, которые бы приводили к более стабильным реакциям внимания (в виде компонентов ПСС) и, как следствие, повышению точности распознавания команд в нейроинтерфейсе. Подобный метод индивидуальной адаптивной подстройки при регистрации реакций внимания к внешним стимулам-командам в ИМК обеспечил прирост точности классификации в 5-7% по сравнению с каноничными методами: средние значения точности классификации команд в нашей работе составили 82-86% (в зависимости от режима) всего лишь при однократном (без повтора) предъявлении стимула и 90-97% при двукратном предъявлении стимула. 3. Выявлены особенности динамики взора испытуемого в плоскости монитора при работе в контуре ИМК-П300. Было проведено исследование сопряженной динамики характеристик визуального пространственного внимания, направления взора и компонента зрительного потенциала П300 потенциала при работе испытуемых в контуре интерфейса мозг-компьютер (ИМК) на волне П300. В исследовании приняли участие 24 здоровых добровольца (7 мужчин), у которых регистрировали электроэнцефалограмму и движения глаз в трех различных экспериментальных условиях: явное внимание, скрытое внимание и фиксация взгляда. Результаты показали, что в условиях скрытого внимания производительность испытуемых при наборе букв в ИМК П300 резко снижалась: средняя точность составила 5% по сравнению с 90% при явном внимании. Фиксация взгляда на экранной метке без распределения внимания дала точность 80%, несмотря на более высокую дисперсию взгляда и меньшую среднюю продолжительность взгляда при фиксациях на целевых символах. Анализ связанных с событием потенциалов показал, что условие скрытого внимания приводит к уменьшению компонентов N1 и P2, а также к увеличению латентности и уменьшению амплитуды компонента P3. В прикладном отношении полученные результаты подчеркивают, что при создании коммуникационных нейроинтерфейсов на волне П300 для повышения их качества и производительности надо учитывать важность фиксации взгляда испытуемого в контуре ИМК П300, поскольку всякое отклонение взора от целевых стимулов приводит к росту ошибок при наборе букв мысленными усилиями. 4. Выявлены сопряженные с динамикой взора изменения в ЭЭГ при работе испытуемого в контуре ИМК-П300 Для изучения компонентной структуры вызванного зрительного потенциала в ЭЭГ и постановки эксперимента в условиях открытого и скрытого зрительного внимания была разработана особая визуальная стимульная среда в «oddball» парадигме с тремя видами стимулов: стандартный стимул, целевой и стимул-дистрактор. В исследовании с участием 29 испытуемых добровольцев обнаружено, что предъявление стандартного стимула приводит к появлению компонента П1 меньшей амплитуды, чем целевого стимула или стимула-дистрактора. С помощью метода электромагнитной томографии с локализацией источников формирования поверхностной ЭЭГ на фоне работы испытуемых в контуре ИМК П300 было показано, что в условиях скрытого зрительного внимания наблюдается более сильная активация фронтальной доли (средняя лобная извилина), а в ситуации открытого внимания – затылочной доли (язычная извилина – первичные зрительные зоны). Фронтальная активация в случае скрытого внимания в настоящее время не имеет однозначного объяснения. Вполне возможно, что в этом эффекты задействованы глазодвигательные механизмы, т.к. фокусирование скрытого внимания на объекте требует подавления саккад, за что, главным образом, отвечает область переднего глазного поля лобной доли. Возможно, отголоски этого процесса также влияют на видимое распределение плотности токов в коре больших полушарий головного мозга. Сделано предположение о том, что в условиях открытого зрительного внимания в составе потенциала П300 преобладает субкомпонент П3б, а в условиях скрытого внимания – субкомпонент, подобный П3б и П3 новизны. 5.Сделаны практические рекомендации по созданию коммуникационной технологии ИМК-П300 нового поколения, отличающейся оптимизацией параметров временно-частотных (на основе анализа ЭЭГ) и пространственных характеристик (на основе айтрекинга) символьной стимуляции. Результаты всех этапов исследований, выполненных в 2023 году, позволяют сделать рекомендации по созданию клинически ориентированных нейроинтерфейсов на волне П300 для замещения коммуникации у нуждающихся в этом пациентах. 1. Для работы в контуре ИМК П300 пациенты предварительно должны выполнить тренировочные сеансы этой работы под контролем за направлением взора, для формирования навыка максимально возможной фиксации взора на целевых символах. 2. Предъявление стимульного (символьного) материала в интерфейсе на волне П300 должно быть организовано таким образом, чтобы появление целевых символов в их общем ряду было не случайным, а с акцентом на наибольшее временное расстояние между этими стимулами. 3. Алгоритмы выделения значимых для срабатывания ИМК П300 компонентов зрительного вызванного потенциала в ЭЭГ должны быть построены с учетом вариации латентностей пиков этих потенциалов. Предполагаемое повышение эффективности работы пациентов в контуре ИМК П300 по набору текстов с учетом указанных рекомендаций может достигнуть 15-20%, что может оказаться критически важным для поддержания мотивации и снижения монотонии у пациентов при длительной работе в контуре ИМК П300.
4 1 января 2024 г.-31 декабря 2024 г. Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллекта
Результаты этапа:
5 1 января 2025 г.-31 декабря 2025 г. Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллекта
Результаты этапа:
6 1 января 2026 г.-31 декабря 2026 г. Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллекта
Результаты этапа:

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".