Системная нейровизуализация когнитивного функционированияНИР

Systemic neurovisualization of cognitive functioning

Источник финансирования НИР

грант РНФ

Этапы НИР

# Сроки Название
1 27 января 2016 г.-31 декабря 2016 г. Системная нейровизуализация когнитивного функционирования
Результаты этапа: Подготовка и отладка набора когнитивных задач В 2016 году, как и планировалось в пункте 1, был осуществлен предварительный анализ имеющегося набора когнитивных задач (необходимых для исследования механизмов восприятия и мультимодальной интеграции, сознания, эмоций и мотиваций, рабочей и долговременной памяти, формирования понятий) с целью его оптимизации для проведения экспериментов с помощью функциональной магнитно-резонансной томографии (фМРТ) и энцефалографии (ЭЭГ). На основе пилотных экспериментов (как и планировалось в пункте 2) был опробован формируемый набор когнитивных задач и получены первичные данные для отладки разрабатываемых методов анализа. С учетом результатов пилотных экспериментов, как и планировалось (пункт 3), был уточнен и модифицирован набор когнитивных задач с целью найти оптимальные пропорции, с одной стороны, трудоемкости для испытуемого их выполнения, а, с другой стороны, широты охвата данными пробами всего спектра интересующих нас когнитивных функций. В результате задачи были формализованы в виде программы предъявления в системе Presentation. Ниже перечислены конкретные методики с объяснением их специфики для фМРТ и ЭЭГ. Исследование механизма взаимовлияния значения и эмоций (личностного смысла) в системе сознания на примере означивания эмоциональных стимулов. В системной организации человеческого сознания выделяются три образующие: значение, личностный смысл и чувственная ткань. При этом значение играет наиважнейшую роль, придавая чувственному образу новое качество – означенность (Леонтьев, 1975). Однако личностный смысл – пристрастное отношение субъекта к миру, является еще более базовым образованием. Формой его проявления выступает эмоциональная окраска воспринимаемого объекта. Хорошо известно, что одно и то же слово, произнесенное с разным эмоциональным выражением, будет иметь разное значение для слушателя, т.е. значение знака может модулироваться эмоцией. Но возможно ли противоположное влияние – изменение эмоциональной оценки некоторого объекта через его означивание, если оно не затрагивает ситуацию и не изменяет отражение этого объекта? Может ли измениться оценка какого-нибудь эмоционального проявления после придания ему значения? Данное исследование основывается на использовании при формировании искусственных понятий специальных стимулов, изначально не несущих никакого значения для испытуемого, но обладающих определенным эмоциональным содержанием. Для этого использовались звуки, которые издавались кошками в различных ситуациях и которые были субъективно специфицированы в предварительных экспериментах по многомерному шкалированию, т.е. было количественно установлено, какую именно эмоцию и по каким качествам (построена 4-мерная сферическая модель эмоций) выражал каждый звук (всего 18 стимулов). Основная идея эксперимента заключалась в том, чтобы сравнить посредством прямого шкалирования изменение эмоционального содержания этих неречевых звуков до и после специального процесса обучения, в ходе которого некоторые из этих звуков были ассоциированы со словами русского языка. Задача работы состоит в том, чтобы выявить изменение активности мозговых структур при означивании эмоционального стимула (придание абстрактному звуковому сигналу семантического значения). Эксперимент состоит из четырех частей: «Оценка», «Обучение», «Проверка», «Оценка после обучения», во время первой и последней части регистрируется активность мозга с помощью методов ЭЭГ и фМРТ. В части «Оценка» испытуемый оценивает предъявляемые звуковые стимулы по девятибалльной шкале по следующим критериям: знак эмоции, удивление, притяжение, страх. Далее следуют серии «Обучение» и «Проверка», в ходе которых испытуемый запоминает 8 новых семантических значений («Да», «Нет», «Веселый», «Темный», «Длинный», «Простой», «Теплый», «Медленный»). Операция повторяется до полного запоминания всех означенных стимулом. «Оценка после обучения» аналогична первой части. Первая часть («Оценка») проводилась сначала с ЭЭГ, а затем в сокращенном варианте в томографе. После этого проводятся части "Обучение", "Проверка" и “Оценка после обучения" проводятся сначала с ЭЭГ, а затем во втором сеансе с фМРТ. Исследование психофизиологических механизмов эффекта «верчения на кончике языка» (tip-of-the-tongue phenomenon или TOT-феномен). Основной задачей этого исследования является изучение физиологических механизмов и уточнение структур мозга, вовлеченных в феномен ощущения «верчения на кончике языка». Этот феномен является важным с точки зрения исследования общих механизмов оперативной и долгосрочной памяти, репрезентации целостных образов памяти в сознании. Для исследования данного эффекта была разработана следующая методика. В качестве стимульного материала использовались портретные фотографии знаменитых голливудских и британских актеров. Согласно инструкции, участники эксперимента должны были нажимать на одну из трех возможных кнопок на клавиатуре в зависимости от того, насколько хорошо они знают актера, изображенного на фотографии. Предлагалось три варианта ответа: 1) Я не знаю имени/фамилии человека, изображенного на фотографии; 2) Я знаю имя/фамилию человека на фотографии и могу их назвать; 3) Я знаю (или знал раньше) имя/фамилию этого человека, но в данный момент не могу их вспомнить. ТОТ-состоянию соответствует третий вариант ответа. Для эксперимента были отобраны только те стимулы, которые вызывали ТОТ (вариант ответа №3) наиболее часто. Исследование зрительного узнавания в условиях непроизвольного запоминания. Задача исследования имплицитной (непроизвольной) памяти состояла в изучении психофизиологических механизмов зрительного узнавания при непроизвольном запоминании. Для этого была разработана следующая методика, состоящая из двух серий. В первой испытуемому последовательно предъявлялись изображения объектов, которые требовалось классифицировать на одушевленные и неодушевленные. Эта деятельность отвлекала его от запоминания, моделируя ситуацию непроизвольного запоминания. Во второй серии, которая проводится через 48 часов, в случайном порядке предъявляются как изображения из первой серии, так и новые. Задача испытуемого заключается в том, чтобы узнать (отметить) те стимулы, которые он видел в предыдущий раз, независимо от того, относились ли они к одушевленным или неодушевленным. Исследование межмодальной интеграции при формировании целостного образа. В рамках данного эксперимента ставилась задача изучения психофизиологических механизмов интеграции слухового и зрительного стимула в целостный образ. Схема эксперимента предполагает проведение двух контрольных серий, в ходе которых испытуемому сначала предъявляются изображения, а затем звуки. Далее следует обучающая серия, в которой звуковая и слуховая стимуляции предъявляются одновременно. После чего идут две заключающие серии: 4) Испытуемому последовательно предъявляется сначала изображение, а затем звуковой сигнал. При этом ему предлагается дать ответ, соответствует ли предъявленное изображение услышанному звуку. Ответ давался с помощью компьютерной мыши. Предполагалось, что в этом случае испытуемому потребуется реконструировать в памяти целостный образ по его визуальной части, т.е. представить недостающий слуховой образ. 5) Испытуемому сначала предъявляется звуковой сигнал, а затем изображение, и предлагается дать ответ, соответствует ли услышанный звук изображению. Ответ давался с помощью компьютерной мыши. Предполагалось, что в этом случае испытуемому также потребуется реконструировать в памяти целостный образ, но уже по его аудиальной части, т.е. представить недостающий зрительный образ. Конкретный состав стимулов в данном эксперименте имеет существенное значение, поскольку, с одной стороны, звуковые и визуальные стимулы должны естественно (правдоподобно) образовывать целостный объект, а, с другой стороны, нельзя использовать знакомые испытуемым целостные объекты, выделяя их звуковую и визуальную составляющие, поскольку тогда предыдущий индивидуальный опыт будет влиять на эффективность формирования новых, искусственных ассоциаций. Поэтому была проведена специальная работа и выбраны такие живые объекты, о которых все испытуемые, с одной стороны, имеют некоторое представление и чувствуют естественность соединения звуковой и визуальной частей в единое целое, но, с другой стороны, не имеют существенного опыта общения с данными животными, у них не сформированы конкретные признаки закономерного сочетания этих частей. В качестве такого материала были выбраны такие все знакомые домашние животные, как овцы, но с которыми наши испытуемые, проживающие в г.Москве не имели существенного опыта общения. Таким образом, в ходе подготовки стимульного материала были подобраны 21 изображение морд овец, которые были обработаны графическим редактором с целью приведения изображения к стандартному размеру и исключению фона. Были отобраны также 21 образец звуков, которые издавали различные овцы в разных ситуациях. Далее эти изображения и звуки были использованы в предварительных психофизических экспериментах по многомерному шкалированию, в результате чего были отобраны 7 изображений и 7 образцов звуков, которые наиболее удачно характеризовали все нюансы данного набора и наилучшем образом соответствовали друг другу. Из-за необходимости проведения эксперимента как с использованием ЭЭГ установки, так и томографа, располагающихся в разных местах, существенное значение имеет последовательность проведения экспериментальных серий. Так, проведение 3, 4 и 5 серии эксперимента допустимы только после прохождения испытуемым первых двух контрольных серий и на установке ЭЭГ, и на МРТ установке. Таким образом, эксперимент проводится в четыре разных дня: серии 1 и 2 на ЭЭГ установке; серии 1 и 2 на МРТ установке; серии 3, 4 и 5 на ЭЭГ установке; серии 3, 4 и 5 на МРТ установке. Исследование механизма семантики цвета и эмоций. В контексте исследования механизмов восприятия, мультимодальной интеграции, сознания, эмоций особое место занимает взаимосвязь восприятия цвета (достаточно низкоуровневого процесса, отражаемого в сознании в двух вариантах – непосредственно и в качестве понятий – названий цветов) и эмоций, пристрастного отношения, также представленного в сознании в качестве понятий – названий эмоций. В качестве контроля интерес представляют и черно-белые «цвета» и порождающие их ахроматические стимулы, изменяющиеся только по яркости. Данное исследование было разделено на психофизический сектор и психофизиологический. При исследовании психофизики в качестве стимулов были использованы слова названия базовых цветов (10 цветов) и базовых эмоций (10 эмоций). Стимулы предъявлялись один за другим на экране компьютера в случайном порядке. Испытуемый должен был оценить разницу (используя любой собственный критерий) между стимулами в баллах от 1 до 9. В психофизиологическом секторе эксперимента в качестве стимулов выступали первые четыре буквы названий цветов и эмоций из психофизического исследования (чтобы исключить эффект длины слова), а также маска из четырех крестиков. Маска вставлялась между двумя стимулами, так что в итоге записывались вызванные потенциалы не на замену, а для каждого стимула отдельно. Испытуемый должен был после предъявления стимула дать ответ о его категории (цвет или эмоция). Это было сделано для того, чтобы актуализировать цвето-эмоциональные ассоциации. Аналогичные серии разработаны и для фМРТ исследования: в первой серии предъявляются слова, означающие основные эмоции. Испытуемому необходимо оценивать различия между значениями слов – предъявляемому в настоящий момент и предъявленному непосредственно перед этим. Во второй серии предъявлялись слова – названия цветов с такой же задачей сравнения их значений. В третьей серии предъявлялись слова из смешанного набора, где были и слова, обозначающие эмоции, и слова, обозначающие цвет. В качестве контроля разработана также четвертая серия, в которой предъявлялись монохроматические стимулы различной яркости в виде засветки всего экрана, испытуемому также нужно было сравнивать по различию в яркости предъявляемый стимул с предшествующим, нажимая определенную клавишу джойстика, если яркость увеличивается или уменьшается. Таким образом, данный набор задач охватывает процессы простого восприятия, удержание образов в оперативной памяти, оперирование понятиями и процессы семантической памяти на простые объекты (цвет) и эмоции, а также на цвето-эмоциональные ассоциации. Исследование психофизиологических механизмов когнитивного контроля. Данный блок задач направлен на исследование механизмов когнитивного контроля (сознательного контроля действий), в частности одной из его функций – функции «подавления» на материале различной сложности. Испытуемые выполняют ряд тестов в парадигме Go/NoGo, когда необходимо решать сразу две задачи: 1) осуществить выбор из набора альтернатив определенного действия и 2) на основании дополнительных условий осуществить, либо не осуществить выбранное действие. Использовались следующие тестовые задачи: задача «Стоп-сигнал», «Бабочка» в разных вариантах, а также задача Струпа в классическом и модифицированном вариантах. В первой задаче «Бабочка 1» последовательно предъявлялись изображение бабочки, слева или справа от которой появляются зеленые или красные стимулы (поочередно, квазислучайная последовательность); испытуемый должен давать различные ответы в зависимости от местоположения зеленого стимула, а красные стимулы — игнорировать. Вторая задача «Бабочка 2» отличалась от первой тем, что целевые стимулы были интегрированы в фоновое изображение бабочки. Задача «Стоп-сигнал» содержала последовательное предъявление гласных и согласных букв зеленого и красного цвета; испытуемый должен давать различные ответы в зависимости от того, является ли зеленая буква гласной или согласной, но при этом красные буквы нужно было игнорировать. Задача Струпа в классическом варианте: последовательное предъявление слов “зеленый” или “красный”, написанных шрифтом зеленого или красного цвета; испытуемый должен давать различные ответы в зависимости от того, зеленым или красным шрифтом написано слово (при этом смысл слова игнорируется). Задача Струпа в модифицированном варианте: последовательное предъявление слов “зеленый” или “красный”, написанных шрифтом зеленого или красного цвета; испытуемый должен давать различные ответы в зависимости от того, какой цвет семантически обозначают слова, написанные зеленым шрифтом, но слова, написанные красным шрифтом, нужно игнорировать (не давать ответ). Исследование зрительное восприятия эмоционального выражения симметричного и асимметричного лица. Восприятие эмоций важная часть адаптивного поведения и социального взаимодействия. При этом большое значение имеет взаимосвязь лицевой экспрессии и межполушарной асимметрии. Между тем, остается не до конца ясным, обусловлены ли особенности восприятия эмоций асимметрией ее выражения (в связи со спецификой моторного управления, приводящего к асимметрии выражения эмоции в мимике человека), т.е. «асимметрией стимула», или она определяется межполушарной асимметрией воспринимающего субъекта, т.е. «асимметрией воспринимающего мозга»? Для данной задачи была разработана следующая методика. Испытуемым предъявляется стимульный материал, состоящий из стандартизированных изображений лица человека на черном фоне, сгенерированных программой FaceGen с различным, количественно определенным по силе, выражением шести базовых эмоций (гнев, отвращение, страх, грусть, радость, удивление). При этом каждый стимул представляет собой как симметричные, так и ассиметричные изображения лиц, в которых одна половина лица отличается от другой по силе выражаемой эмоции. Испытуемым предлагается оценивать степень выраженности эмоции (ее интенсивность) баллом от 1 до 9 всего лица в целом. Исследование мозговых механизмов оперативной памяти и вероятностного прогнозирования. В рамках данной задачи была разработана схема эксперимента, состоящая из нескольких серий. Первая серия – методика 2-back (цифровая), в ходе которой предъявляются цифры 1, 2, 3. После того, как цифра погаснет, испытуемый должен нажать левую клавишу мыши, если данная цифра совпала с той, что была 2 цифры назад, либо нажать правую клавишу мыши. Данная серия нагружает зрительную и вербальную оперативную память. Вторая серия – методика 2-back (невербальная). Предъявляются точечные изображения геометрических фигур. Испытуемый должен нажать левую клавишу мыши, если данная фигура совпала с той, что была 2 фигуры назад, либо нажать правую клавишу мыши. Данная серия также нагружает зрительную и, возможно в меньшей степени, вербальную оперативную память. Третья серия – методика «счетчики». Блоками предъявляются два типа фигур (круги и треугольники), порядка 20 штук по 2 секунды, от испытуемого требуется подсчитывать число тех и других фигур и отвечать совпадает ли подсчитанное количество с предлагаемым вариантом. Данная серия нагружает зрительную (простую) и вербальную оперативную память. Четвертая серия – счетчики на лица, в которой требуется подсчитывать количество «злых» и «нормальных» лиц. Данная серия нагружает зрительную (на лица), эмоциональную и вербальную оперативную память. Пятая серия актуализирует процесс выдвижения и проверки гипотез (вероятностное прогнозирование). Предъявляются цифры 1, 2, 3. Когда цифра погаснет, испытуемый должен нажать клавишу с той цифрой, которая, по его мнению, должна будет следовать за предъявляемым стимулом (последовательность имеет трудно выявляемую закономерность). Специальная задача на оценку степени цереброваскулярной реактивности. В рамках данной фМРТ серии испытуемый выполняет задачу на гипервентиляцию легких. В соответствии с инструкцией, выводимой на экран, ему нужно периодически дышать либо обычно, либо глубоко и часто. В результате предполагается, что при хорошем состоянии сосудов мозга (нормальной цереброваскулярной реактивности) общее обогащение крови кислородом при активном дыхании по сравнению с нормальным будет скомпенсировано сужением сосудов пропорционально во всех областях мозга, поскольку другой когнитивной задачи нет, и мозг работает в одинаковом режиме в моменты нормального и усиленного дыхания. Но в случае нарушений цереброваскулярной реактивности в фМРТ эксперименте могут обнаружиться различия BOLD-сигнала в соответствующих областях. Также, даже в норме регуляция осуществляется наиболее эффективно только в небольших сосудах, а в больших сосудах и ликворе мозга интенсивность BOLD-сигнала может изменяться, что и будет выявлено в данной экспериментальной серии. Эти результаты могут быть использованы в рамках вновь разрабатываемого способа системной визуализации нейрокогнитивного функционирования для целей сепарации физиологического шума, связанного с дыханием и сердечным ритмом от изменений BOLD-сигнала в связи с собственно когнитивной деятельностью. Теоретическое обоснование предлагаемого алгоритма анализа данных и разработка соответствующих программных средств. В 2016 году осуществлено (как и планировалось, пункт 4) теоретическое обоснование предлагаемых алгоритмов анализа данных и построения векторных моделей. Подана заявка на изобретение "Способ комплексной визулизации мозговой активности по данным фМРТ " (автор: Вартанов А.В.). Новый метод комплексной визуализации мозговой активности по данным фМРТ позволяет соединить в единой системе (нейровизуализационной модели) данные, отражающие выполнение человеком ряда когнитивных задач, формирующих различные функциональные мозговые системы. Нейровизуализационная модель основывается на факторном анализе многомерного массива фМРТ данных конкретного испытуемого, с выделением базовых составляющих изменения активности мозга при решении человеком набора когнитивных задач. Эти базовые составляющие (базисные вектора многомерной линейной модели) можно рассматривать как элементарные функциональные мозговые системы, которые должны соответствовать элементарным когнитивным процессам, а их совокупная активация (в определенных пропорциях) будет определять специфику когнитивного функционирования данного человека при решении той или иной задачи. Представление экспериментальных данных в таком виде позволяет охарактеризовать одновременно как мозговую локализацию каждой из этих систем в отдельности, так и интерпретировать их с точки зрения участия в когнитивном функционировании. Основная идея предлагаемого подхода заключается в том, чтобы использовать алгоритм факторного анализа большого, специальным образом организованного и нормальизованного массива фМРТ данных, которые объединяют показатели мозговой активности при выполнении человеком системы когнитивных задач для построения векторной многомерной модели. В результате выявляются взаимосвязи изменения активности некоторого конкретного вокселя (локуса) мозга не только с изменением нагрузи в соответствующих когнитивных тестах (например, при блочной экспериментальной парадигме), но и с активностью других вокселей (локусов) мозга. Предлагается для объединенной матрицы данных использовать Q-технику факторного анализа, когда выделяются факторы, описывающие корреляцию BOLD-сигнала не по времени (сканам), а по пространственному распределению (в отличие от обычной R-техники входная матрица при этом транспонируется). Тогда размерность получаемой корреляционной матрицы достаточно мала, равна числу временных срезов (по всем тестам совместно), но пространственную характеристику выделяемых факторов можно восстановить, вычислив значения факторов. В этом отношении получаемое решение можно прямо сопоставить с компонентами, выделяемыми методов ICA (анализлм независимых компонент), который широко используется, в том числе и для анализа отдельных фМРТ данных (для описания связей между разными вокселями мозга), с целью удаления артефактов, а также для выявления «resting state» систем. Однако в отличие от ICA, будет получена ортогональная модель, размерность которой может быть оценена статистически и применена сразу ко всем задачам. Другим важным преимуществом такого метода по сравнению с ICA является возможность вращения системы координат для достижения более предпочтительного решения. В этом отношении могут быть использованы эффективные приемы, применяемые в некоторых методах очистки фМРТ сигнала от физиологического шума: вращение на основании заранее известного пространственного паттерна (Perlbarg et al., 2007) и/или анализа пространственно-временных качеств (Tohka et al., 2008; De Martino et al., 2007). Это позволило бы (при включении в экспериментальные данные некоторых особых тестов) в одном алгоритме решить сразу несколько взаимосвязанных задач – выделить факторы, описывающие физиологический шум и факторы, описывающие выполнение человеком определенных задач. Но для этого необходимо особым образом подготовить исходные данные. Если прямо вычислять коэффициенты корреляции изменения сигнала по пространству мозга (трехмерный массив МРТ-данных всегда можно представить в виде линейной последовательности) между разными сканами (срезами по времени), все они буду очень большими, поскольку различия интенсивности сигнала для разных областей мозга существенно больше, чем различия в изменении BOLD-сигнала для одной и той же области мозга. Однако это можно скорректировать посредством вычитания из исходного сигнала по каждому отдельному вокселю среднего арифметического по всему исследуемому диапазону временных срезов, как это было бы сделано автоматически при вычислении корреляций между вокселями при использовании стандартного факторного анализа (R-техники). Кроме того обычно алгоритмы выделения составляющих (в частности, ICA) применяются в пределах одной экспериментальной сессии, сопоставление полученных результатов для разных когнитивных задач происходит уже после выделения нужных компонент другими методами – с использованием атласов и статистики в выделенных областях интересов. В данном же методе предлагается объединить в единый массив все первичные фМРТ данные, полученные в ходе выполнения человеком специально подготовленного набора различных когнитивных задач. Это становиться возможным как раз благодаря предлагаемой технологии – поскольку все задачи решаются одним и тем же человеком, то и все анатомические характеристики его мозга остаются относительно постоянными для различных экспериментальных серий (пространственная размерность данных одинакова). Поэтому временные срезы (сканы) при выполнении человеком разных задач в разных сериях (включая и периоды «покоя») с использованием простого блочного дизайна могут быть прямо объединены в один массив данных. Тогда матрица корреляций будет содержать не только информацию о взаимосвязанных изменениях BOLD-сигнала внутри одной задачи, но и между всем набором задач. При этом, конечно, размерность данных может существенно возрасти, но все равно разрабатываемый алгоритм сможет осуществить его анализ достаточно быстро. Таким образом, специфика предлагаемого метода системной визуализации когнитивных процессов основывается: 1) на получении данных фМРТ для нескольких (не менее трех) различных экспериментальных серий при выполнении испытуемым соответствующих когнитивных задач в стандартной блоковой парадигме исследования (при которой чередуются периоды тестирования и покоя); 2) на использовании для получения фМРТ данных специального набора когнитивных задач, включая некоторые особые тесты, например, задачу гипервентиляции легких, для целей автоматического определения факторов, связанных с физиологическими процессами, которые в контексте данного метода являются шумом; 3) на объединении первичных фМРТ данных разных экспериментальных серий в общую двумерную пространственно-временную матрицу первичных данных; 4) на специальной нормализации исходных данных, в частности, путем вычитания из исходного сигнала по каждому отдельному вокселю среднего арифметического либо по всему исследуемому диапазону временных срезов, либо по каждой отдельной серии; 5) на применении Q-техники факторного анализа с оценкой необходимой размерности полученного нормализованного массива данных; 6) на применении как стандартных приемов, нацеленных на поиск простой структуры данных, например, метод варимакс (varimax), так и специальных способов вращения полученного факторного решения: вращение на основании заранее известного пространственного паттерна и/или анализа пространственно-временных качеств; 7) на возможности содержательной интерпретации получаемой векторной модели, которая формально характеризует одновременно два аспекта: а) функциональные мозговые системы, формирующиеся при решении человеком данного набора когнитивных задач по пространственной локализации, отражаемой в вычисляемых значениях выделенных факторов и б) составляющие когнитивных процессов на основе величин факторных нагрузок по соответствующим экспериментальным сериям, поскольку будет возможно формально оценить вклад каждой из выделенных составляющих (факторов) в выполнение той или иной задачи. В результате метод позволяет получить векторную модель, которая формально характеризует (по пространственной локализации, отражаемой в вычисляемых значениях выделенных факторов) функциональные мозговые системы, формирующиеся при решении человеком данных когнитивных задач. Выделяемые факторы на основе величин их нагрузок для соответствующих экспериментальных серий (для задач, идентифицированным по номерам сканов) могут быть содержательно интерпретированы как составляющие когнитивных процессов, поскольку будет возможно формально оценить вклад каждой из выделенных составляющих (факторов) в выполнение той или иной задачи. Для реализации данного метода была разработана специальная "Программа для ЭВМ “Fact_fMRI” для комплексного факторного анализа нескольких массивов индивидуальных данных функциональной МРТ" (автор: Вартанов А.В.). Текст программы 02.11.2016 направлен на государственную регистрацию. Программа реализует метод системной нейровизуализации когнитивного функционирования по комплексу индивидуальных данных фМРТ. В качестве исходных данных программа считывает файлы (количество и имена которых задаются в специальном текстовом файле) с первичными данными функциональной магнитно-резонансной томографии головного мозга (фМРТ), полученных для нескольких различных тестовых нагрузок, задействующих комплекс различных когнитивных процессов. Предварительно исходные файлы должны быть очищены от артефактов и приведены к стандартному виду в соответствии с атласом мозга обычными средствами (пакеты FSL или SPM) с сохранением в стандарте Analyze и последующим перекодированием с помощью специальной программы AN_mri.exe (автор: Вартанов А.В.) в файлы .MRT. Далее формируется общий массив данных и производится нормировка данных по каждому вокселю изображения в соответствующем когнитивном тесте (для соответствующей серии изображений) с оценкой дисперсий и формированием критерия отсечения вокселей со слишком малой или чрезмерно большой дисперсией. Далее вычисляется матрица корреляций (по значимым вокселям), размерность которой определяется суммарным числом временных сканов во всех тестах. Затем осуществляется вычисление главных компонент и выводиться информация о долях дисперсии, описываемой каждым фактором. После экспертной оценки размерности и выбора способа вращения (вводится пользователем) проводится соответствующее вращение факторов, в выходные файлы (текстовый и в стандарте .csv) выводятся факторные нагрузки, а в соответствующие файлы, количество которых равно числу выделенных факторов, сохраняются измеренные значения в виде, пригодном для последующей их визуализации с наложением на структуру мозга. Данная программа будет применяться к получаемым фМРТ данным, а результаты предполагается сопоставить с результатами, получаемыми применением стандартных средств FSL или SPM12. В 2016 году фМРТ эксперименты только начинаются (проведены первые пробные эксперименты с несколькими испытуемыми) и будут продолжены в следующем году, тогда же будут представлены и соответствующие научные результаты. В 2016 году осуществлена также доработка программных средств для анализа ЭЭГ данных. Так была доработана "Программа для ЭВМ “MFS” (MultiFactorSelection), реализующая метод разделения электроэнцефалограммы на две составляющие", соответствующую дипольной модели и не соответствующую ей, что является (с точки зрения задачи локализации источников электрической активности) способом очистки ЭЭГ от шума. Текст программы получил государственную регистрацию (автор: Вартанов А.В. Номер государственной регистрации: 2016618769, дата регистрации: 5 августа 2016 г.). В качестве входного программа считывает файл (имя указывается в командной строке) с многоканальной ЭЭГ (или ВП) в стандарте EDF (или EDF+ для пакета BrainWin). Далее вычисляется матрица корреляции, размерность которой соответствует числу активных электродов. С помощью метода главных компонент вычисляются матрицы факторных нагрузок и значений факторов, а затем оценивается число общих факторов или задается априорно, как равное 2 в связи с тем, что существующие пакеты дипольной локализации (в частности программа BrainLoc) используют только модели с двумя или одним подвижными диполями. При этом рассчитывается процент дисперсии, которая описывает выделенные общие факторы и все оставшиеся факторы. Далее осуществляется обратная процедура расчета двух составляющих ЭЭГ как произведения двух частей матрицы факторных нагрузок на матрицу значений факторов. Обе составляющие записываются в два разных файла (с добавлением к имени исходного файла букв S – сигнал и N-шум, соответственно). Первая составляющая рассчитывается суммарно для двух первых факторов (если не указано иное) с де нормировкой, а вторая – суммарно для всех оставшихся факторов также с де нормировкой на основании первичных значений средних и стандартных отклонений сигнала по каждому из отведений ЭЭГ. В результате сумма этих вычисленных составляющих в точности совпадает с исходной ЭЭГ. При этом восстановленные таким образом составляющие не зависят от вращения факторов, что важно учитывать при интерпретации каждого из полученных факторов в отдельности, но от чего намеренно отказывается предлагаемый алгоритм. В результате первая составляющая ЭЭГ (построенная по общим факторам) будет хорошо соответствовать дипольной модели, применяемой в дальнейшем для расчета локализации мозговой активности (при этом существенно повышается точность и надежность этих расчетов), тогда как другая составляющая (построенная для характерных факторов) может быть исследована другими методами, например картированием активности по поверхности мозга. Таким образом, предлагаемый алгоритм и реализующая его программа для ЭВМ является эффективным средством (апробировано как на модельных, так и на реальных данных) специальной очистки ЭЭГ (и ВП) данных для последующего применения различных процедур пространственной локализации мозговой электрической активности. Данная программа активно использовалась для анализа экспериментальных ЭЭГ данных, полученных в ходе выполнения проекта и будет необходима для разработки общей модели ЭЭГ и фМРТ данных. Для анализа ЭЭГ данных была доработана также "Программа для ЭВМ “ACMFD” (Autocorrelation & Multifactor decomposition) для факторной сортировки и выделения вызванных потенциалов" (автор: Вартанов А.В. Номер государственной регистрации: 2016619087. Дата получения: 12 августа 2016 г.). В качестве исходных данных программа считывает файлы (имена которых перечисляются в специальном текстовом файле) с фрагментами одинаковой длины многоканальной ЭЭГ (т.е. одиночными ВП) в стандарте EDF (или EDF+ для пакета BrainWin). Далее формируется массив данных с учетом фазовых сдвигов (число и величина лагов по временным срезам задается в мсек). По этим данным вычисляется матрица корреляций, размерность которой соответствует числу исследуемых фрагментов ЭЭГ (одиночных ВП), умноженных на количество сдвигов по латенции. Коэффициенты корреляции вычисляются по всем отведениям и всей длине (уменьшенной на величину максимального сдвига) фрагмента ЭЭГ (ВП). Таким образом, полученная матрица содержит информацию как об автокорреляциях каждого фрагмента с самим собой, так и корреляции разных фрагментов (одиночных ВП) между собой и с учетом всех сдвигов. Далее осуществляется факторный анализ данной матрицы с оценкой размерности (по графику собственных значений и проценту общей дисперсии, описываемой факторами) – итоговая размерность вводится пользователем, а также осуществляется вращение факторов с помощью разных способов поиска простой структуры, которые выбирает пользователь. В результате сохраняются факторные нагрузки (до и после вращения) и значения факторов в текстовом виде, а также в виде де нормализованных (приведенных к исходной дисперсии) ЭЭГ-файлов EDF (или EDF+ в зависимости вида от исходных файлов) – каждый выделенный фактор сохраняется в отдельном файле и может быть далее обработан другими методами анализа, в частности с целью локализации мозговой активности. Таким образом, предлагаемый метод и реализующая его программа для ЭВМ является эффективным средством (апробировано как на модельных, так и на реальных данных) анализа одиночных ВП (работает при небольшом числе повторного предъявления стимула) с целью выделения сигнала (точнее набора нескольких сигналов, каждый из которых соответствует своему фактору), который может интерпретироваться как определенный тип (вариант системы) мозговой активности при выполнении человеком соответствующей задачи. При этом в отличие от простого усреднения фрагментов (одиночных ВП), наличие фазовых сдвигов позволяет выделять не только процессы непосредственно связанные с событием, но и индуцированные ответы, также закономерно наблюдаемые, которые являются продуктом более сложного анализа и зависят от готовности системы и момента возникновения события. Предлагаемый метод открывает возможность сортировки всех исходных фрагментов ЭЭГ (одиночных ВП) по критерию соответствия тому или иному фактору (остальное считается шумом, одновременно присутствующим в одиночной реализации ВП), а также расчета на основе построенной факторной модели «идеальных» ВП для каждого из факторов. Предлагаемый метод можно применять как к индивидуальным данным – одиночным реализациям воздействия одного и того же события, так и разных событий, а также к групповым данным, представленным уже предварительно усредненными ВП. Данная программа использовалась для анализа экспериментальных ЭЭГ данных, полученных в ходе выполнения проекта. Данный алгоритм (при соответствующей доработке) может быть применен и к анализу фМРТ данных. Проведение пилотных экспериментов и получение первичных данных В 2016 году, как и планировалось, пункт 5, начаты эксперименты с ЭЭГ и фМРТ регистрацией с подобранным набором когнитивных задач и получены первичные результаты. В том числе были проведены следующие эксперименты с ЭЭГ, результаты которых имеют самостоятельное значение: Исследование механизма взаимовлияния значения и эмоций (личностного смысла) в системе сознания на примере означивания эмоциональных стимулов. Было проведено предварительное пилотное исследование с записью ЭЭГ: 19 испытуемых прошли первую часть эксперимента (до обучения), один – вторую. Наиболее сильные изменения произошли по шкалам «Удивление» и «Знак»; показано, что изменение эмоциональной оценки стимула при его означивании затрагивает изменение в компоненте P300 в отведениях C4, F4. Ранее было проведено пилотное психофизическое исследование с обучением, результатом которого стало подтверждение гипотезы об изменении эмоционального восприятия означиваемого стимула. На 11 испытуемых при сокращенном наборе означиваемых слов (использовалось только четыре слова – «да», «нет», «хорошо» и «плохо») была показана возможность изменения эмоционального восприятия означиваемого стимула: и по каждому испытуемому в отдельности, и по всей группе испытуемых совместно показано, что обуславливание приводит к значимому (по доверительным 95% интервалам) изменению средних оценок эмоционального восприятия в направлении, соответствующем присвоенному значению. Наиболее сильные изменения произошли по шкалам «Удивление» и «Знак» для слов «хорошо» и «плохо». Существенно изменили свое исходное эмоциональное содержание также стимулы, означиваемые словами с меньшей эмоциональной нагрузкой, а также некоторые неозначенные стимулы, хотя были и не изменившиеся стимулы. На основании этих пилотных экспериментов в отчетном году был модифицирован набор слов для означивания для экспериментов с основной группой испытуемых. Исследование зрительного узнавания в условиях непроизвольного запоминания. Проведены эксперименты с участием 18 испытуемых, также осуществлена предварительная обработка полученных результатов. На основании полученных данных можно выдвинуть гипотезу о существовании двух функциональных систем в опознающей памяти: одна отвечает за узнавание старых стимулов, а другая связана с опознаванием стимулов как новых. Работу первой системы обеспечивает цингулярная кора, в то время как вторая система обеспечивается совместной работой скорлупы и гиппокампа. Можно предположить, что в этой системе гиппокамп связан с извлечением воспоминаний из эпизодической памяти, а скорлупа оказывает на него модулирующее влияние. Результаты представлены в следующих публикации: Two systems of recognition memory in human brain / S. A. Kozlovskiy, A. K. Neklyudova, A. V. Vartanov et al. // Psychophysiology. — 2016. — Vol. 53, no. S1. — P. 93–93. В дальнейшем планируется более детальное изучение этих двух систем, в том числе с помощью метода фМРТ. Исследование психофизиологических механизмов эффекта «верчения на кончике языка» (tip-of-the-tongue phenomenon, TOT-феномен). Проведены эксперименты с участием 34 испытуемых, а также осуществлена обработка полученных результатов: 1. На ранних этапах процессы восприятия незнакомого лица, вспоминания имени по лицу и протекания ТОТ-состояния не различаются. Процесс вспоминания имени по лицу начинается не ранее, чем через 450 мс после предъявления стимула; 2. Было отмечено снижение активности полюсов лобных долей, полюса левой височной доли и коры левой островковой доли в ситуации ТОТ-феномена по сравнению с ситуациями восприятия незнакомого лица и вспоминания имени по лицу. 3. Было отмечено снижение активации передней части поясной извилины в ТОТ-состоянии по сравнению с ситуациями восприятия незнакомого лица и вспоминания имени по лицу. 4. На последних этапах (на латенции 450 – 500 мс после предъявления стимула) наблюдалось повышение активности передней и задней частей поясной извилины в ТОТ-состоянии. В ситуациях восприятия незнакомого лица и вспоминания имени по лицу повышения активности этих областей не наблюдалось. Полученные результаты представлены в следующих публикациях: 1. / S. A. Kozlovskiy, S. D. Shirenova, A. V. Vartanov et al. Retrieval from long-term memory: Dipole sources localization study // International Journal of Psychophysiology. — 2016. — Vol. 108. — P. 98–98; 2. Козловский С. А., Ширенова С. Д., Вартанов А. В. Психофизиологические механизмы ассоциативной прозопагнозии // Вестник клинической нейрофизиологии. — 2016. — С. 58–59. В дальнейшем планируется более детальное исследование данного феномена, в том числе с помощью метода фМРТ. Исследование межмодальной интеграции при формировании целостного образа. На 13 испытуемых проведено пилотное ЭЭГ исследование. В результате при сопоставительном анализе двух зрительных, двух аудиальных ВП, а также ВП на интегральный стимул, удалось выявить следующие закономерности по отведениям O1 и O2: 1) на латенции 100 мс при предъявлении только аудиального стимула после формирования целостного образа обнаружился небольшой (-2 мкВ) негативный компонент, которого не было на этот же стимул до обучения. При этом на предъявления отдельного изображения и целостного аудио-визуального стимула амплитуда пика на этой латенции была практически одинакова (-7мкВ), тогда как на этот же стимул, представлявший визуальную часть целостного стимула его амплитуда была несколько меньше (-5 мкВ). На латенции 150 мс при предъявлении целостного стимула амплитуда ВП больше на 2 мВ по сравнению с серией, где испытуемому предъявлялись контрольные зрительные стимулы, не связанные ассоциациями со стимулами аудиальной модальности. При этом, в серии, где требовалось представить звук по изображению, амплитуда ВП уменьшилась на такую же величину. Реакция зрительной коры на отдельный звуковой стимул была близка к нулю, но в задаче, когда возникала необходимость достроить изображения по звуку, на этой же латенции обнаружился еще один компонент величиной -2 Мв. Это свидетельствует о влиянии факта представления изображения на активность зрительной коры в отсутствии зрительного стимула. Результаты представлены в следующих публикациях: 1. Костанян Д. Г., Вартанов А. В. Мозговая коммуникация аудиальной и визуальной составляющих при формирование полимодального образа // Вестник клинической нейрофизиологии. — 2016. — С. 60–61 Исследование механизма семантики цвета и эмоций. В данном исследовании приняло участие 34 человека. Были проанализированы 19*6 (19 электродов, 6 временных эпох по 100 мс) матриц корреляций 20*20 между всеми стимулами, и две подматрицы 10*10 различий между названиями цветов и эмоций. В результате были обнаружены специфические отведения и латенции, в которых происходит обработка информации о семантических различиях между стимулами. Результаты представлены в следующих публикациях: 1. A. A. Kiselnikov, A. A. Sergeev, D. A. Vinitsky et al. Psychophysiological model of color-emotion semantic interaction is four-dimensional and spherical // Psychophysiology. — 2016. — Vol. 53, no. S1. — P. 72–72. 2. S. A. Kozlovskiy, A. A. Kiselnikov, A. A. Sergeev et al. Vector psychophysiological approach to constructing combined color-emotional semantic space // International Journal of Psychophysiology. — 2016. — Vol. 108. — P. 104–104. Исследование психофизиологических механизмов когнитивного контроля Проведена пилотная серия ЭЭГ-экспериментов с участием 30 испытуемых. В результате обнаружены значимые различия в амплитуде вызванных потенциалов в условии NoGo. Амплитуда N200 на латентности 250 мс выше у левоглазых участников в отведении F3 в простой задаче (t-value от 2.00690 до 5.43855 для каждой латентности, p<0.05). P300 в сложной задаче на латентности 257-285 мс имеет большую амплитуду в группе правоглазых в отведении T6 (t-value от 2.07029 до 2.85463, p<0.05). В группе праворуких участников амплитуда P300 на латентности 260-331 мс выше в сложной задаче в отведениях P4, P3, Pz, C3; при этом в группе леворуких участников выше амплитуда субкомпонента N2pc на той же латентности (t-value от 2.00753 до 3.17732, p<0.05). Таким образом, вклад фронтальных и других областей мозга в функцию подавления нерелевантного ответа связан с перцептивной сложностью задачи. Увеличение амплитуды N200 у левоглазых участников в левом фронтальном отведении F3 в перцептивно простой задаче свидетельствует о раннем вкладе когнитивного контроля в этой задаче. Р300 появляется в более сложной перцептивной задаче, что может быть связано с повышением ресурсов когнитивного контроля в условиях дифференцировки более сложного стимула. Появление Р300 в группе правоглазых участников по сравнению с левоглазыми свидетельствует о разных механизмах контроля у лиц с различными типами сенсорной асимметрии. Увеличение амплитуды Р300 у праворуких в париетальных и центральном отведениях может свидетельствовать об активации непроизвольного внимания. Увеличение амплитуды N2pc в аналогичных отведениях может свидетельствовать о большей активации пространственного селективного внимания. Также проведено предварительное исследование фМРТ с участием 32 испытуемых. Описаны хронометрические и физиологические показатели осуществления когнитивного контроля, на основе этого осуществлен анализ операций, вовлеченных в когнитивный контроль. Результаты представлены в публикациях: 1. Marakshina J.A., Vartanov A.V., KiselnikovA.A., Kozlovskiy S.A., Pyasik M.M., Glozman J.M. The role of brain function lateralization in a cognitive control task with conflict-induced conditions. // Psychophysiology. – 2015. - № 52 (suppl. 1). – P. 111. 2. Kozlovskiy Stanislav A., Marakshina Julia A., Vartanov Alexander V., Kiselnikov Andrey A. ERP Study of the Influence of Handedness and Eyedness on the Response Inhibition in a Go/NoGo Task //International Journal of Psychophysiology. – 2016. - № 108. – P. 104. 3. Marakshina J.A., Buldakova N.S., Vartanov A.V., Isakova J.A., Popov V.V., Baev A.A., Kiselnikov A.A., Kozlovskiy S.A. Comparative analysis of the Stop-signal and Go/NoGo task performance: a fMRI study // Psychophysiology. – 2016. - № 53 (suppl. 1). – P. 33. Исследование зрительное восприятия эмоционального выражения асимметричного лица Пилотные ЭЭГ эксперименты с симметричными и асимметричными изображениями искусственно сгенерированного лица были проведены на 15 испытуемых (все женщины в возрасте от 18 лет до 25). В результате было показано, что для разных базовых эмоций обнаруживаются три типа шкал. Показано, что разницы в оценке выраженности эмоций между праворукими, леворукими, правоглазыми и левоглазыми испытуемыми нет. Анализ времени реакции показывает общую тенденцию оценки асимметричных лиц по сравнению с симметричными как более естественную и легкую задачу, которая выполнялась быстрее. Существенной разницы во времени реакции между исследуемыми группами испытуемых не выявлено. Также было выявлено, что ВП на асимметричные и симметричные лица у левшей различаются на 80мс после подачи стимула для эмоции радости. Результаты представлены в следующих публикациях: Галанина А.Н., Вартанов А.В. Зрительное восприятие эмоционального выражения асимметричного лица // АНАНЬЕВСКИЕ ЧТЕНИЯ - 2016. ПСИХОЛОГИЯ - ВЧЕРА, СЕГОДНЯ, ЗАВТРА», СПб.: Изд-во С.Петерб. ун-та, 2016. Исследование мозговых механизмов оперативной памяти и вероятностного прогнозирования Были проведены эксперименты с участием 28 испытуемых. С помощью факторного анализа сопоставлялась динамика изменения средней (по испытуемым) частоты попадания диполей в мозговые структуры, где выявлялись различия по всем задачам (задаче на память 1-back, восприятие и прогнозирование) при одних и тех же стимулах. В результате было выделено 3 фактора. Оказалось, что распределение факторных нагрузок полностью соответствовало экспериментальным задачам, что и позволило интерпретировать эти факторы как соответствующие функциональные системы. Вычисление значений факторов позволило определить мозговую локализацию соответствующих систем. Так система вероятностного прогнозирования (фактор 1) состоит в основном из следующих синхронно работающих структур, перечисленных в порядке своего вклада в систему: правую переднюю лобную извилину, левую верхнюю височную извилину, левую парагиппокампальную извилину, правую заднюю цингулярную кору, правую парагиппокампальную извилину, левое поле 47 по Бродману, левую скорлупу, левую миндалину, а также левый мозжечок. Наибольшая активация этой системы наблюдалась спустя 200-300 мс после предъявления стимула. По-видимому, система оценивала эффективность предыдущего прогноза и коррекцию следующей гипотезы, что согласуется с имеющимися данными о наличии базовой модели принятия решений, состоящей из двух взаимодействующих схем: оценки возможных альтернатив и выбора из них оптимального варианта. В других задачах активность этой системы в четыре раза меньше и выражена только на более ранней латенции (50-150). Результаты представлены в следующих публикациях: S. A. Kozlovskiy, N. S. Buldakova, A.V. Vartanov et al. Functional brain system during probabilistic forecasting // International Journal of Psychophysiology. — 2016. — Vol. 108. — P. 162–162
2 1 января 2017 г.-31 декабря 2017 г. Системная нейровизуализация когнитивного функционирования
Результаты этапа: 1. Проведение экспериментов с фМРТ и ЭЭГ регистрацией по всем разработанным задачам В 2017 году, как и планировалось в пункте 1, были продолжены эксперименты с фМРТ и ЭЭГ регистрацией по всем разработанным задачам с целью получить новые полные индивидуальные данные, пригодные для анализа разрабатываемым методом системной нейровизуализации. Для этого была проведена основная часть ЭЭГ и фМРТ экспериментов на одних и тех же испытуемых по всем ранее разработанным и выше описанным блокам задач, всего полностью обследовано 40 испытуемых, а еще 45 человек обследованы частично (по некоторым задачам), поскольку, по разным причинам выбыли из эксперимента. ЭЭГ исследования проводились с каждым испытуемым отдельно по каждому блоку задач (занимающих порядка 20-50 минут) в разные дни, а для некоторых блоков задач, требующих повторного обследования  в два дня. Таким образом, с каждым испытуемым проведено всего порядка 10 экспериментальных дней. Исследования с фМРТ регистрацией проводились в два разных дня (длительностью около 1 часа каждое исследование). Задачи фМРТ исследования включали 25 тестовых проб в блочной парадигме предъявления, результаты которых анализировались новым методом системной нейровизуализации когнитивного функционирования. В таблице 1 приведено краткое описание этих тестовых проб в порядке их анализа, а не регистрации, которая осуществлялась по методикам, описанным ранее (в отчете предыдущего периода). Пробы были аналогичны тем, что применялись для ЭЭГ исследования. Это позволило получить новые данные о механизмах когнитивного функционирования, которые имеют самостоятельное значение и осуществить отладку новых способов и соответствующих программных средств анализа фМРТ и ЭЭГ данных. Полученные фМРТ данные по ряду задач были первоначально обработаны стандартным методом в пакете FSL и SPM. Процедура обработки включала несколько этапов: Этап 1. Конвертация файлов из DICOM (IMA) в NIFTI Этап 2. First-level analysis  применялся алгоритм FEAT для поворота и нормализации сырых фМРТ данных к стандартному атласу MNI. Этап 3. Stats  статистическая обработка индивидуальных данных в соответствии с заданной линейной моделью изменения условий стимуляции по каждой из задач в отдельности. Для отладки нового метода системной нейровизуализации использовались данные некоторых испытуемых, полученные после этапа 2 обработки стандартными средствами. Это позволило избежать проблем, связанных с артефактами, возникающими из-за движений испытуемого в томографе, а также позволит в дальнейшем сравнивать результаты разных испытуемых, поскольку они приведены к стандартному виду и максимально соответствуют атласу, что делает возможным более корректную идентификацию мозговых структур, обеспечивающих исследуемые когнитивные функции. Кроме того в результате МРТ исследования для каждого испытуемого получены структурные томограммы высокого качества, а также данные трактографии. Эти данные будут использоваться не только в качестве вспомогательных для визуализации и интерпретации фМРТ результатов, но и для развития предложенного способа системной визуализации применительно к индивидуальным особенностям строения мозга человека. 2. Продолжена разработка новых средств анализа ЭЭГ данных В 2017 году осуществлена (как и планировалось, пункт 2) модификация и апробация специальных средств анализа индивидуальных ЭЭГ данных (с использованием дипольной локализации), с целью построения нейровизуализационной модели, которую можно было бы прямо сопоставить с моделью, получаемой по фМРТ данным. Для этого осуществлена разработка программных средств (в виде набора отдельных модулей), которые позволяют: 1) Определить интегральную активность ряда структур мозга (в соответствии с атласом Талейраха) по частоте появления в них эквивалентных электрических диполей на некотором интервале времени (в скользящем окне). 2) Производить специальную нормировку получаемых данных с учетом большого числа нулевых значений в связи с тем, что мозговых структур, выделяемых по атласу Талейраха, достаточно много (около 300), а дипольная локализация осуществляется только в модели с двумя подвижными (независимыми) источниками. 3) Выявлять взаимосвязи изменения активности мозговых структур по времени и осуществлять факторный анализ этих зависимостей с построением линейной модели, сопоставимой с нейровизуализационной моделью для фМРТ данных. С этой целью разработаны программы: 1. TalClustN (автор: Вартанов А.В.) – переводит координаты каждого диполя, рассчитанного программой BraiLoc и сохраненного в отдельный текстовый файл, в координаты атласа Талейраха и относит (индексирует) его к определенной структуре, в соответствии с двумя вариантами классификаций данного атласа. Программа обрабатывает сразу набор файлов и сводит всю информацию по всем обрабатываемым файлам (применяемым стимулам и испытуемым) в единый массив данных. В качестве вспомогательного данная программа использует специально созданный массив значений, описывающих весь список мозговых структур данного атласа с их границами. Поскольку данная программа является вспомогательной и не содержит новизны, она не представлялась для государственной регистрации программных средств. 2. Программы (автор: Вартанов А.В.) HLoc4_1, HLoc4_1n, HLoc4_2, HLoc4_2n, HLoc5_1, HLoc5_1n необходимы для кластеризации и построения частотных таблицы появления диполя в скользящем окне 100 мс (рассматриваются 10 перекрывающихся интервалов со сдвигом в 50 мс после стимула с центрами 0, 50, 100, 150, 200, 250, 300, 350, 400 и 450 мс) отдельно по каждой мозговой структуре, каждому испытуемому, стимулу (ВП) и условию. Варианты программ с цифрами 1 или 2 в конце соответствуют двум вариантам выделения мозговых структур в атласе Талейраха  по бороздам (1) или полям Бродмана (2). Обозначение n в имени программы или его отсутствие соответствует вариантам нормировки при расчете интегрального показателя активности структур – числа диполей, обнаруженных за данный интервал времени в отношении к максимально возможному числу диполей в данном ВП. Версии программы с индексом 5 (в отличие от 4) дополнительно учитывают активность мозга в фоне, для чего к общему массиву данных ВП добавляется фрагмент фона и рассчитывается относительная статистика появления числа диполей на данном интервале ВП путем вычитания среднего числа диполей, появляющихся в данной мозговой структуре в фоне. Также разрабатывались версии программы для учета в интегральном показателе мозговой активности не только факта появления диполя в данной структуре на данном отрезке времени, но и величины соответствующих им дипольных моментов. На выходе для одних и тех же данных создаются 4 частотных таблицы, где данные упорядочены различными способами  по испытуемым и условиям в среднем для всех интервалов, по структурам для всех условий и временных интервалов, по временным интервалам для всех мозговых структур и условий и т.п. Эти результаты сохраняются в виде стандартных файлов CSV, понимаемых Exсel и другими статистическими пакетами. Поскольку полученные частотные таблицы легко импортируются в известные статистические пакеты, к ним далее может быть применен факторный анализ и другие статистические методы. При этом одной из особенностей разработанных программ кластеризации является возможность выводить в итоговую таблицу не все структуры, а только «значимые» с точки зрения некоторой пороговой частоты встречаемости диполей в данной структуре, общей для всех анализируемых условий и испытуемых. Это позволяет решить проблему «разреженности» получаемой матрицы данных и применять для построения моделей факторный анализ с помощью стандартных средств (имеющихся статистических пакетов). Данные вновь разработанные программные средства является вспомогательными, поэтому они не представлялась для государственной регистрации программных средств. 3. Также ранее были разработаны (автор: Вартанов А.В.) программы Clust, Clust2, ClustN, ClustV, HistLoc, HistLocR, HistLocRv, HistLocV, HLoc2V, HLoc3 для проведения обычного кластерного анализа распределения диполей с различными вариантами нормировки и способами вычисления интегральной оценки. Однако эти алгоритмы оказались не эффективными для целей исследования мозговой активности, поскольку базировались на простом геометрическом критерии объединения диполей в группу – только по абсолютной близости (наименьшему расстоянию) между точками, относимыми к одному кластеру, в результате чего вся совокупность относимых к одному кластеру точек образовывала в пространстве мозга сферу определенного радиуса. Но мозговые структуры (особенно области коры) выделяются совершенно по другим основаниям и очень далеки от идеальной сферы. Поэтому, выделяемые такими алгоритмами очаги активности, хотя формально и относились к одному кластеру, но захватывали несколько различных областей мозга, выделяемых анатомически. Это и привело к необходимости использования для задачи кластеризации другого способа – определять принадлежность диполей к кластеру по заранее выделенным (на основе анатомического атласа) границам мозговых структур. Это оказалось более эффективным для описания мозговой активности по данным дипольного анализа. Таким образом, разработанные на данном этапе программные средства анализа ЭЭГ (ВП) данных в совокупности с ранее описанными  программами “MFS (MultiFactorSelection)”, реализующей метод разделения электроэнцефалограммы на две составляющие и “ACMFD (Autocorrelation & Multifactor decomposition)” для факторной сортировки и выделения вызванных потенциалов  позволили существенно повысить эффективность и надежность выявления и локализации мозговой электрической активности. 3. Продолжение разработки новых средств анализа фМРТ данных В отчетном 2017 году была продолжена апробация и разработка новых средств анализа фМРТ данных. Для эффективного использования разработанного «Способа исследования мозговой активности по данным фМРТ» (заявка на патент РФ №2016149614 поданная 19.12.2016 года до настоящего времени находится на рассмотрении в ФИПС) и соответствующего программного средства «Программа для ЭВМ “Fact_fMRI” для комплексного факторного анализа нескольких массивов индивидуальных данных функциональной МРТ» (получила государственную регистрацию № 2017610076 09.01.2017 года) были дополнительно разработаны следующие вспомогательные программные средства: 1. AN_mri  для перевода первичных данных из стандарта ANALYZETM в форму mri (специальное внутреннее представление данных). 2. MRIPLOT3Z  для визуализации рассчитанных значений факторов путем наложения цветовых «пятен» на соответствующие места мозговых срезов (индивидуальных структурных МРТ-изображений или атласа). Поскольку данные средства носят вспомогательный характер, они не представлялись для государственной регистрации. В ходе апробации метода обнаружилась проблема определения критерия значимости выявляемых (визуализируемых) очагов мозговой активности. Поскольку алгоритм Fact_fMRI основан на парадигме факторного анализа, то получаемые с его помощью результаты – вычисляемые значения факторов (определяющих нейровизуализационную модель и соотносимых с мозговой локализацией) представлены в нормализованном виде, т.е. математическое ожидание получаемого распределения всегда равно 0, а стандартное отклонение равно 1. Поэтому теоретически сформулировать критерий (порог) «значимой выраженности» выявляемой активности представляется невозможным. При классическом подходе к аналогичной по содержанию задаче обычно используют либо статистический критерий значимости различий математических ожиданий двух выборок (по Т-критерию Стьюдента, например) или значимое отличие от 0 коэффициента корреляции между изменением интенсивности соответствующего вокселя фМРТ с чередованием условий задания в блочной парадигме. Однако в факторной модели понятие статистической значимости применимо только к выделению самих факторов, тогда как их значение можно лишь сопоставить со степенью относительной выраженности влияния данного конкретного (одного) фактора. Поэтому любое значение порога отсечения «значимой» активности может базироваться только на величине относительной доли от общего количества точек изображения – можно взять 5% наиболее выраженных точек, а можно и 30%. При этом никаких содержательных оснований такой способ определения порога не предполагает, поскольку нормированные данные всегда будут содержать нужных процент случаев. Решение данной проблемы предполагается найти на следующем этапе выполнения проекта путем эмпирического сопоставления результатов анализа полученного массива данных предлагаемым новым способом (для системы задач) и традиционным способом анализа по каждой экспериментальной задаче отдельно. Предполагается, что после выявления факторов и вычисления факторных нагрузок для каждого конкретного испытуемого можно будет найти «критические» задачи, наилучшим образом отражающие соответствующие факторы, и найти классическим методом отдельно для этих задач значимые очаги активности. Это даст возможность подобрать критерий отсечения значений факторов в новом методе таким образом, чтобы визуализация активности как можно лучше совпадала с ними. Статистика по всем испытуемым таких подобранных коэффициентов (для различных факторов и соответствующих им задач) позволит эмпирически подобрать необходимый критерий отсечения значимых (на заданном уровне) локусов активности. Тем не менее, эффективность нового метода системной визуализации когнитивного функционирования Fact_fMRI применительно к индивидуальным данным можно проиллюстрировать на следующем примере. В качестве исходных данных были взяты результаты фМРТ эксперимента испытуемого Laz: 25 заданий по 73 скана в блочной парадигме дает 1825 переменных; размерность получаемого изображения x=96 (19.2 см), y=96 (19.2) см, z=65 (13.0 см), полная размерность Z=599040. В результате предварительного анализа дисперсии BOLD-сигнала фМРТ автоматически отсечено вокселей с малой дисперсией = 595399 (они попадают, например, в области вне мозга), число значимых вокселей, оставленных для дальнейшего анализа = 3641. На основании графика распределения собственных значений и процента описываемой дисперсии определено, что число значимых факторов равно 4 (суммарная дисперсия для 4 факторов описывается на 33.78%) и осуществлено вращение по VARIMAX методу для поиска простой структуры. Распределение значений по времени (номеру сканов) для каждой экспериментальной задачи по каждому из выделенных факторов отдельно представлено на рис. 1-4. Видно, что чередование условий в блочной парадигме (5-ти кратное повторение фон-тест) для некоторых задач по некоторым факторам существенно больше, чем по другим. Для большей наглядности полученных результатов внутри каждой экспериментальной серии были вычислены стандартные отклонения, характеризующие степень изменения системного МРТ сигнала при изменении условий фон-тест. Это позволило обобщенно представить (рис. 5-7) нагрузки выделенных факторов и содержательно интерпретировать их. На основании представленных факторных нагрузок и содержания тестовых задач в первом приближении можно интерпретировать фактор 1 как функциональную систему для вероятностного прогнозирования (buld3) и управления вниманием (задачи 2-back); фактор 2 – как систему семантической памяти и когнитивного контроля (функции подавления); фактор 3 – как систему эмоциональной оценки; фактор 4 – как систему управления функциональным состоянием (задача гипервентиляции, сложность-простота, или «скучность» задачи). Конечно, данные результаты являются предварительными и приведены исключительно для демонстрации возможностей предлагаемого нового способа системной визуализации когнитивного функционирования. Данный способ может быть применен и для анализа групповых данных фМРТ с целью построения обобщенной по группе испытуемых нейровизуализационной модели. 4. Продолжение разработки новых средств анализа и разделения смешанных сигналов для фМРТ данных, получаемых в парадигме “event relation”. Проведен анализ возможности применения алгоритмов “ACMFD” и “FactMRI” для анализа фМРТ данных, получаемых в парадигме “event relation”. Показана принципиальная возможность и проведена пробная обработка таких данных (задача сжимать руку в кулак по голосовой команде) в программе “FactMRI”. Для этого потребовалось переформатировать исходные данные в блоки, соответствующие однократному применению стимула (задачи). Далее по такому блоку осуществляется нормировка постоянной составляющей фМРТ сигнала и осуществляется расчет корреляций между сканами как внутри блока, так и сканами разных блоков. Такой способ анализа позволяет выделять функциональную нейрокогнитивную систему, осуществляющую процесс реагирования на данный стимул (команду) и выполнения задачи. При этом не требуется многократного повторения стимула, хотя, как показала пробная обработка, обнаруживается существенная вариабельность протекания данного процесса при различных предъявлениях одного и того же стимула (задачи). Возможно также применение к данным такого рода и алгоритма “ACMFD”, однако в этом случае корреляция вычисляется не между сканами по всем вокселям мозга, а, наоборот, по каждому вокселю мозга по последовательности сканов. Поэтому образуется матрица корреляций очень большого размера, что представляет практическую проблему применения данного метода. Кроме того, эффективность применения алгоритма “ACMFD” для ЭЭГ-данных обусловлена прежде всего высоким временным разрешением регистрации электрических сигналов мозга, что делает полезным учет фазовых сдвигов сигнала для выявления индуцированных ответов мозга (автокорреляционный элемент алгоритма). Однако временное разрешение фМРТ и физиологических процессов, связанных с локальной сосудистой регуляцией мозга, существенно ниже, что делает бесполезным учет фазовых сдвигов. Поэтому признано преимущество применения разработанного алгоритма “FactMRI” для этих целей. Сведения о достигнутых конкретных научных результатах в отчетном году (до 5 стр.) 1. Получены новые экспериментальные фМРТ и ЭЭГ данные по ряду направлений в рамках заявленного нейровизуализационного и нейрофизиологического исследования когнитивных функций человека, в том числе механизмов восприятия и мультимодальной интеграции, сознания, эмоций и мотиваций, рабочей и долговременной памяти: 1) В исследовании механизма взаимовлияния значения и эмоций (личностного смысла) в системе сознания на примере означивания эмоциональных стимулов показано, что означивание стимулов приводит к изменению их эмоционального восприятия. При этом изменения произошли по всем исследованным эмоциональным шкалам (в соответствии с 4-х мерной сферической моделью эмоций). Обнаружено также, что произошли изменения эмоциональной оценки не только означенных стимулов, но и тех, что не были означены. Это свидетельствует о сложной, глобальной перестройке всей системы параметров восприятия данных стимулов. В результате ЭЭГ экспериментов были выявлены специфические пространственные и временные характеристики соответствующих значимых изменений. Выявлен компонент N400, который отвечает за семантику и смыслообразование, формирование нового понятия. Обнаружено, что процессы семантического синтеза более активны в височной зоне мозга и лобной доле больших полушарий (T4, F8). Процессы семантического синтеза менее активны в теменных и центральных областях мозга (Pz, Cz). При этом правое полушарие играет существенную роль в этом процессе. 2) Получены результаты исследования психофизиологических механизмов эффекта «верчения на кончике языка» (tip-of-the-tongue phenomenon или TOT-феномен), которые отражены в следующих публикациях по теме проекта: Козловский С.А., Ширенова С.Д. Особенности активности структур головного мозга в процессе узнавания и вспоминания. // XIII международный междисциплинарный конгресс «Нейронаука для медицины и психологии»: тезисы докладов. — Россия, Крым, 2017. — С. 215. Kozlovskiy S.A., Shirenova S.D., Neklyudova A.K., Vartanov A.V. Brain mechanisms of the Tip-of-the-Tongue state: An electroencephalography-based source localization study // Psychology in Russia: State of the Art. — 2017. — Vol. 10, № 3. — P. 218-230. Shirenova S., Kozlovskiy S., Vartanov A., Kiselnikov A. Tip-of-the-tongue phenomenon: an ERP study // Psychophysiology. — 2017. — Vol. 54, no. S1. — P. 130–130. В итоге было показано, что на ранних этапах процессы восприятия незнакомого лица, вспоминания имени по лицу и протекания ТОТ-состояния не различаются. Процесс вспоминания имени по лицу начинается не ранее, чем через 450 мс после предъявления стимула. Было обнаружено снижение активности полюсов лобных долей, полюса левой височной доли и коры левой островковой доли в ситуации ТОТ-феномена по сравнению с ситуациями восприятия незнакомого лица и вспоминания имени по лицу. Было обнаружено снижение активации передней части поясной извилины в ТОТ-состоянии по сравнению с ситуациями восприятия незнакомого лица и вспоминания имени по лицу. На последних этапах (на латенции 450 – 500 мс после предъявления стимула) наблюдалось повышение активности передней и задней частей поясной извилины в ТОТ-состоянии. В ситуациях восприятия незнакомого лица и вспоминания имени по лицу повышения активности этих областей не наблюдалось. 3) Получены результаты исследования зрительного узнавания в условиях непроизвольного зрительного запоминания, которые отражены в следующих публикациях по теме проекта: Козловский С.А., Неклюдова А.К. Динамика мозговой активности при зрительном узнавании // XIII международный междисциплинарный конгресс «Нейронаука для медицины и психологии»: тезисы докладов. — Россия, Крым, 2017. — С. 214-215. Козловский С.А., Неклюдова А.К., Вартанов А.В., Ширенова С.Д., Ушаков В.Л., Карташов С.И. Мозговая организация процесса отсроченного зрительного узнавания // Луриевский подход в мировой психологической науке: тезисы докладов. — Изд-во Урал. ун-та Екатеринбург, 2017. — С. 88–88. Neklyudova A., Kozlovskiy S., Vartanov A., Marakshina J., Kiselnikov A., Kartashov S., Ushakov V. Brain organisation of recognition memory: fMRI study // Psychophysiology. — 2017. — Vol. 54, no. S1. — P. 128–128. По результатам фМРТ была выявлена активация шести кластеров: Левая парагиппокампальная извилина; Левая скорлупа; Зрительный полюс (V1), левый и правый; Таламус, левый и правый; Левая прецентральная извилина; Передняя цингулярная извилина, левая и правая. Работу зрительного полюса, а также таламуса можно связать с работой зрительной системы. Левая прецентральная извилина активировалась в тот момент, когда испытуемый давал ответ своей ведущей (правой) рукой. Таким образом, три главные центра, которые были обнаружены с помощью дипольного анализа ЭЭГ (ВП) – парагиппокампальная извилина, передняя цингулярная кора и скорлупа  также были активны во время выполнения этого же задания с регистрацией фМРТ-сигнала. Полученные в ходе дипольного анализа результаты, прежде всего, свидетельствуют о роли цингулярной коры в процессе узнавания старых стимулов. Ее поздняя активность (400 мс после предъявления стимула) наблюдается при опознании предмета как знакомого. Активация этой структуры наблюдается также в эксперименте с фМРТ. 4) Получены результаты исследования межмодальной интеграции при формировании целостного образа. Они отражены в следующих публикациях по теме проекта: Костанян Д.Г., Вартанов А.В. Взаимодействие зрительной и аудиальной составляющей полимодального образа. // XIII международный междисциплинарный конгресс «Нейронаука для медицины и психологии»: тезисы докладов. — Россия, Крым, 2017. — С. 226. Vartanov A., Kostanyan D., Kiselnikov A., Kozlovskiy S., Neklyudova A., Shirenova S. The effects of polymodal integration on the pattern of brain activity // Psychophysiology. — 2017. — Vol. 54, no. S1. — P. 102–102. Локализация источников дипольной активности в ЭЭГ-экспериментах позволила выявить, что на ранних латенциях активируются преимущественно модально специфические области коры. Так на зрительный стимул как до, так и после обучения и формирования целостного образа, активировались затылочные области, а на слуховой  височные. После обучающих серий была обнаружена активация лобных долей, которая не наблюдалась в контрольных сериях. Предварительная обработка фМРТ показала активацию цингулярной извилины на изображение после обучения, притом, что данная структура не активировалась в контрольных сериях. 5) Получены результаты исследования механизмов семантики цвета и эмоций, а также сопоставительного исследования восприятия яркости по субъективным и объективным показателям, которые отражены в следующих публикациях по теме проекта: Kiselnikov A., Geguchadze T., Vartanov A., Kozlovskiy S., Marakshina J. Vector psychophysiological approach to study temporal microgenesis of consciousness // Psychophysiology. — 2017. — Vol. 54, no. S1. — P. 140–140. С помощью многомерного шкалирования субъективных данных была получена двумерная сферическая модель: 9 стимулов формируют полуокружность в психофизическом пространстве. Была выявлена также динамика отношений между ВП и балловыми оценками с помощью распределенной пространственно-временной структуры значимых корреляций между этими двумя переменными. Выраженные корреляции (> 0,8) были обнаружены в латентности 100-150 мс в задней области мозга (компонент Р120 в затылочных отведениях), затем корреляции наблюдались только в передней области, а потом опять в затылочной. Также по результатам экспериментов помощью многомерного шкалирования построено как субъективное, так и объективное (по ВП) многомерное цвето-эмоциональное семантическое пространство, в котором представлены все стимулы  и категории цвета, и категории эмоций, что открывает возможность выявления механизмов взаимодействия цвета и эмоций на семантическом уровне. 6) Получены результаты исследования психофизиологических механизмов когнитивного контроля, которые отражены в следующих публикациях по теме проекта: Marakshina J., Buldakova N., Vartanov A., Individual differences in response inhibition between right-handers and left-handers: an fMRI study. // Conference of the International Society for the Study of Individual Differences: abstracts. Polish Academy of Sciences, 2017. — P. 368-368. Marakshina J.A., Vartanov A.V., Neklyudova A.A., Kozlovskiy S.A., Kiselnikov A.A. Infuence of handedness on the response inhibition in Stroop task: ERP study // BMC Neuroscience. — 2017. — Vol. 18, № S1. — P. 130-130. Marakshina J., Neklyudova A., Vartanov A., Kozlovskiy S., Kiselnikov A. Role of the posterior cingulate cortex in response inhibition: fMRI study // Psychophysiology. — 2017. — Vol. 54, no. S1. — P. 71–71. В сравнительном исследовании электрофизиологической активации при выполнении классической и модифицированной задач Струпа (с дополнительным подавлением ответа) были выявлены значимые различия межу группами участников с ведущей правой и левой рукой в амплитуде вызванного потенциала в лобном отведении на поздней латентности (после 400 мс). В модифицированной задаче Струпа (т.е. при наличии подавления ответа) данный эффект зарегистрирован только при предъявлении конгруэнтных стимулов (слово «красный», написанное красным шрифтом) в лобных отведениях F4, F8, Fz, т.е. он связан, преимущественно, с правым полушарием мозга. По фМРТ экспериментам наибольшая активация в задаче Струпа обнаружилась в задней левой цингулярной извилине. Таким образом, показано, что задняя цингулярная кора играет решающую роль при подавлении альтернативных реакций, возникающих в ходе решения задач. В ходе сравнения задач Go/NoGo и Стоп-сигнал не было выявлено различий между активацией мозговых структур в этих задачах, что свидетельствует о сходных механизмах их выполнения. 7) Получены результаты исследования зрительного восприятия эмоционального выражения симметричного и асимметричного лица, которые отражены в следующих публикациях по теме проекта: Vartanov A., Galanina A., Kiselnikov A., Kozlovskiy S., Marakshina J., Shirenova S. Perception of emotional expressions in an asymmetrical face: a psychophysiological analysis// Psychophysiology. — 2017. — Vol. 54, no. S1. — P. 152-152. По данным психофизики обнаружено, что леворукие и праворукие испытуемые оценивают лицевую экспрессию одинаково. Асимметричные лица испытуемые переоценивают в большую сторону, преувеличивая выраженность эмоции радости, удивления, отвращения, страха и гнева (вне зависимости от стороны асимметрии) в сравнении с промежуточным симметричным лицом. Для эмоции грусти лицо, выражающее эмоцию сильнее справа, будет оцениваться испытуемым как более грустное по сравнению с промежуточным симметричным лицом и лицом, выражающим эмоцию грусти сильнее слева. В ЭЭГ исследовании получены значимые различия по выборкам праворуких и леворуких испытуемых в ВП (в отведении T5, т.е. слева) на лицо, выражающее эмоцию грусти сильнее слева. Для того же стимула в контрлатеральном полушарии Т6 различий не обнаружено. Данное различие проявляется именно в компоненте N270. Для эмоции радости получены те же результаты в отведениях Т5 и Т6. То же различие в компоненте N270 обнаружено для других лиц: симметричных и асимметричных, выражающих эмоцию сильнее справа. Такие результаты могут говорить о специфических для левого полушария процессах в восприятии эмоций, различающихся у правшей и левшей. Таким образом, можно заключить, что, не смотря на то, что результаты психофизики показали, что леворукие и праворукие испытуемые оценивают выраженность эмоций одинаково, есть различия в мозговых механизмах, реализующих одинаковый результат оценки, у этих двух групп испытуемых. 8) Получены результаты исследования мозговых механизмов оперативной памяти и вероятностного прогнозирования. В серии задач на прогнозирование и принятие решение обнаружено, что наибольшее количество диполей на латенции 200-300 мс приходится на области левой миндалины, поле Бродмана 47, левую и правую парагиппокампальные извилины, левую орбитальную извилину, правую нижнюю лобную извилину, заднюю часть поясной извилины правого полушария. Локализация диполей в области миндалины в серии на восприятие (0-100 мс) и в серии на принятие решения (200-300 мс) хорошо согласуется с данными об участи миндалевидного тела в оценке входящей информации и принятии решения. 2. Проведена доработка и практическое применение нового "Способа комплексной визуализации мозговой активности по данным фМРТ" для системной нейровизуализации когнитивного функционирования, который находится на регистрации в качестве патента на изобретение. Показана эффективность его реализации разработанной программой для ЭВМ “Fact_fMRI” для комплексного факторного анализа нескольких массивов индивидуальных данных функциональной МРТ и визуализации систем мозговой активности в ходе решения человеком различных когнитивных задач. Техническим результатом заявляемого изобретения является способ комплексной визуализации мозговой активности по данным фМРТ, который позволяет соединить в единой системе (нейровизуализационной модели) данные, отражающие 1) выполнение человеком ряда когнитивных задач, формирующих различные функциональные мозговые системы и позволяет выявить взаимосвязи изменения активности каждого конкретного вокселя (локуса) мозга не только с изменением нагрузки в соответствующих когнитивных тестах, но и с активностью других вокселей (локусов) мозга и 2) позволяет выделить с помощью факторного анализа базовые составляющие, которые можно рассматривать как элементарные функциональные мозговые системы. Основная идея предлагаемого подхода заключается в том, чтобы использовать алгоритм факторного анализа большого, специальным образом организованного массива фМРТ данных, которые объединяют показатели мозговой активности при выполнении человеком системы когнитивных задач для построения векторной многомерной модели. В результате выявляются взаимосвязи изменения активности каждого конкретного вокселя (локуса) мозга не только с изменением нагрузи в соответствующих когнитивных тестах (например, при блочной экспериментальной парадигме), но и с активностью других вокселей (локусов) мозга. Это позволяет (при включении в экспериментальные данные некоторых особых тестов – в частности, задачи гипервентиляции) в одном алгоритме решить сразу несколько взаимосвязанных задач – выделить факторы, описывающие регуляцию функционального состояния (что может рассматриваться как физиологический шум) и факторы, описывающие собственно выполнение человеком определенных когнитивных задач. Разрабатываемый метод описан в публикации Vartanov A.V., Neklyudova A.K., Kozlovskiy S.A., Kiselnikov A.A., Marakshina J.A. A new method of system visualization of cognitive functioning for fMRI // BMC Neuroscience. — 2017. — Vol.18, № S1. —P. 174-175. 3. Осуществлена доработка новых программные средств для системной визуализации мозговой активности групповых фМРТ данных. В том числе разработаны вспомогательные программы AN_mri для перевода первичных данных из стандарта ANALYZETM в форму mri, MRIPLOT3Z для визуализации рассчитанных значений факторов путем наложения цветовых «пятен» на соответствующие места мозговых срезов (индивидуальных структурных МРТ-изображений или атласа). 4. Осуществлено исследование применимости разработанных программных средств анализа и разделения смешанных сигналов для фМРТ данных, получаемых в парадигме “event relation”. Показано преимущество применения разработанного алгоритма “FactMRI” для этих целей.
3 1 января 2018 г.-15 декабря 2018 г. Системная нейровизуализация когнитивного функционирования
Результаты этапа: Основной задачей проекта было разработать и апробировать новый метод системной нейровизуализация когнитивного функционирования. Эта задача выполнена полностью: в соответствии с планом осуществлена разработка и апробация нового метода (способа) системной нейровизуализации когнитивного функционирования (патент РФ №2652898 «СПОСОБ ИССЛЕДОВАНИЯ МОЗГОВОЙ АКТИВНОСТИ ПО ДАННЫМ ФМРТ», дата начала отсчета срока действия патента: 19.12.2016, дата регистрации: 03.05.2018, автор(ы): Вартанов Александр Валентинович, патентообладатель: ФГБО МГУ имени М.В. Ломоносова). Разработанный метод исследования мозговой активности позволяет по данным фМРТ соединить в единой системе (нейровизуализационной модели) данные, отражающие: а) выполнение человеком ряда когнитивных задач, формирующих различные функциональные мозговые системы и б) мозговое распределение (трехмерную визуализационную карту) активности для каждой из выделенных функциональных систем. Метод позволяет выявить взаимосвязи изменения активности каждого конкретного вокселя (локуса) мозга не только в связи с изменением нагрузки в соответствующих когнитивных тестах, но и с активностью других вокселей (локусов) мозга, что в свою очередь позволяет выделить с помощью факторного анализа базовые составляющие, которые можно рассматривать как элементарные функциональные мозговые системы. Основная идея предлагаемого метода системной визуализации когнитивных процессов основывается: 1) на получении данных фМРТ для нескольких (не менее трех) различных экспериментальных серий при выполнении испытуемым соответствующих когнитивных задач в стандартной блоковой парадигме исследования; 2) на использовании для получения фМРТ данных специального набора когнитивных задач, включая некоторые особые тесты, например, неспецифическую задачу краткосрочной гипервентиляции легких, для целей автоматического определения факторов, связанных с физиологическими процессами (в основном с дыханием), которые в контексте данного метода являются шумом; 3) на объединении первичных фМРТ данных разных экспериментальных серий в общую двумерную пространственно-временную матрицу первичных данных; 4) на специальной нормализации исходных данных, в частности, путем вычитания из исходного сигнала по каждому отдельному вокселю среднего арифметического либо по всему исследуемому диапазону временных срезов, либо по каждой отдельной серии; 5) на применении Q-техники факторного анализа с оценкой необходимой размерности полученного нормализованного массива данных; 6) на применении как стандартных приемов, в частности для поиска простой структуры данных, например, метод варимакс (varimax), так и специальных способов вращения полученного факторного решения: вращение на основании заранее известного пространственного паттерна (например, для вычитания ранее выделенных артефактных – дыхательных – факторов) и/или анализа пространственно-временных качеств (максимизации соответствия изменений фон-тест в каждой из когнитивных задач); 7) на возможности содержательной интерпретации получаемой векторной модели, которая формально характеризует одновременно два аспекта: а) функциональные мозговые системы, формирующиеся при решении человеком данного набора когнитивных задач по пространственной локализации, отражаемой в вычисляемых значениях выделенных факторов и б) составляющие когнитивных процессов на основе величин факторных нагрузок по соответствующим экспериментальным сериям, поскольку будет возможно формально оценить вклад каждой из выделенных составляющих (факторов) в выполнение той или иной задачи. При этом в качестве исходных фМРТ данных рекомендуется использовать предварительно обработанные стандартными средствами (пакеты SPM или FSL) с целью подавления шума МР-томографа и коррекции неоднородности, а также приведенные к стандартному виду (в соответствии с атласом MNI152, например). Разработанный метод описан в публикации: Vartanov A.V., Neklyudova A.K., Kozlovskiy S.A., Kiselnikov A.A., Marakshina J.A. A new method of system visualization of cognitive functioning for fMRI // BMC Neuroscience. — 2017. — Vol.18, № S1. —P. 174-175. Для реализации заявленного метода системной нейровизуализации проведена разработка необходимых программных средств, в частности разработана программа FactfMRI (Свидетельство о государственной регистрации №2017610076, дата регистрации: 09 января 2017 г., автор: Вартанов А.В.). В ходе выполнения проекта апробировано 7 версий этой программы, которые различаются требованием к оперативной памяти, числу одновременно открытых файлов и времени вычислений, а также способов вращения полученных факторных нагрузок. Предложен и реализован специальный алгоритм вращения факторов с целью достижения максимума корреляций факторных нагрузок, относящихся к соответствующим задачам и временным сканам с априорно заданными условиями чередования тест-фон в блочной парадигме фМРТ. В результате получается решение, в котором, по-возможности, каждый из выделенных факторов наилучшим образом соответствует изменениям тест-фон (соответствующей временной динамики) хотя бы в некоторых когнитивных задачах. Это позволяет надежнее интерпретировать полученные факторы через совокупные нагрузки соответствующих когнитивных задач. Соответствующие этим факторам значения визуализируются с помощью вспомогательных средств и характеризуют соответствующие мозговые динамические системы. В ходе практического применения нового метода системной нейровизуализации к собранным экспериментальным данным обнаружилось, что синхронизированные изменения фМРТ сигнала (так же, как в парадигме Resting-State) в значительной степени обусловлены общим изменением содержания в крови кислорода (и кровенаполнением сосудов) в связи с дыханием, что можно рассматривать как неустранимые физиологические артефакты. Однако дополнительное применение в комплексе когнитивных задач особой неспецифической задачи кратковременной гипервентиляции позволило решить данную проблему. Кратковременная (до 16 сек, не приводящая к гипокапнии) сознательная гипервентиляция, чередующаяся с периодами отдыха и спокойного обычного дыхания (блочная парадигма), приводит к неспецифическому по отношению к когнитивным процессам обогащению крови кислородом. Эти изменения, проявляющиеся в BOLD-сигнале фМРТ, локализованы в основном в крупных кровеносных сосудах, поскольку в норме избыточное поступление кислорода к тканям мозга компенсируется (регулируется) сужением мелких сосудов. В результате применения нового метода фМРТ анализа в данной задаче кратковременной гипервентиляции удалось выявить факторы синхронизированных изменений кровенаполнения, которые не связаны непосредственно с какой-либо когнитивной нагрузкой, а только с процессом дыхания, а также принятием и выполнением инструкции, как таковой. При исследовании собственно когнитивных процессов, данные факторы являются шумом, который, тем не менее, всегда присутствует в фМРТ данных. Применение разработанного метода в задаче гипервентиляции (усредненные по 26 испытуемым экспериментальные фМРТ данные) позволило выделить 4 неспецифических фактора на 95.35% описывающих всю дисперсию данных, тогда как остальные характерные факторы описывают в среднем 0.07% дисперсии каждый (см. рис. 1 дополнительных материалов). Данные факторы описывают синхронизированные изменения BOLD-сигнала фМРТ, локализация которых практически совпадает с артериями, венами и ликвором (в желудочках, межполушарном пространстве и стволе мозга). Наличие 4 факторов объясняется временным (фазовым) сдвигом в изменении сигнала (связанного с насыщением крови кислородом) в сосудах разных областей мозга по отношению к моментам более или менее интенсивных вдохов. В связи с этим, в ходе выполнения проекта была дополнительно осуществлена разработка еще одной версии программы (FactfMRI_gv), которая позволяет осуществить двухстадийную обработку данных, и исключает эти факторы, обусловленные дыханием (рис. 2 дополнительных материалов). На первой стадии в корреляционную матрицу входят, кроме основных фМРТ данных комплекса исследуемых когнитивных задач, также и эти четыре (или другое заданное количество, в случае, если используются другие данные) дыхательных фактора. Это позволяет специальным образом повернуть всю систему выявляемых общих факторов таким образом, чтобы первые четыре фактора как можно лучше совпадали с этими четырьмя входными факторами из задачи гипервентиляции. Далее на основе оставшихся факторов заново рассчитывается матрица корреляций, которая на этот раз уже не содержит коррелированных с дыханием изменений фМРТ сигнала. Повторный факторный анализ и вращение факторных нагрузок для достижения максимума соответствия изменениям условий тест-фон для исследуемых когнитивных задач позволяет получить системную нейровизуализацию когнитивного функционирования, очищенную от физиологических (дыхательных) артефактов. Развернутая публикация по данному материалу подготавливается. В результате выполнения проекта осуществлена и разработка дополнительных программных средств, необходимых для представления и визуализации получаемых фМРТ результатов. В частности, разработана программа для перекодирования исходных данных из стандарта nii (Nii_mri, Nii_Fmri – 2 версии), программа для сравнения и унификации размеров 3D изображений (Un_R_MRT), программа для усреднения по испытуемым фМРТ данных (UsrfMRI), программа для аппроксимации и гладкого восполнения экспериментально полученных факторных отображений к размерам атласа MNI152 (с разрешением 1 мм - MRIDim1_0MNI), а также программа изменения знака факторных значений на изображении (MriZnak). Разработана и собственно программа построения изображения полученных факторных значений с наложением на атлас MNI152 срезов мозга (mni_icbm152_t1_tal_nlin_sym_09a.nii) с включением артерий (из UBA167.nii с https://www.nitrc.org/frs/shownotes.php?release_id=3390) и вен (VENAT_PartialVolume_std.nii с https://figshare.com/articles/VENAT_Probability_map_nii_gz/7205960) и сохранением названий мозговых структур по labels_Neuromorphometrics и полям Бродмана (программа MRIPLOT3ZMNI – 5 версий). В результате получается не только цветное изображение мозговой активности (для всех выделенных факторов), которое наложено на изображение мозга в хорошем разрешении с отмеченными цветом основными артериями и венами, но и табличные данные (файл в формате csv) наименований активных мозговых структур, что позволяет проводить дальнейшую статистическую обработку. В результате выполнения проекта на основе предложенного способа осуществлена также разработка метода и программа анализа индивидуальных особенностей строения мозга по структурным МРТ изображениям (Fact3DMRI), этот метод также применим для целей вторичного факторного анализа. При этом, однако, важно использовать не «сырые» МРТ данные, а уже предварительно обработанные стандартными средствами (например, имеющимися в пакете SPM) для приведения исходных данных к стандартному виду (в соответствии с атласом MNI152, например), что требует совмещения центра координат и ориентации изображения, а также унификации масштаба и размерности (шага оцифровки) изображений, полученных для разных испытуемых и условий. Предварительная стандартная обработка позволяет также избавиться и от артефактов микро движений головы в процессе фМРТ исследования. Также построение групповой модели индивидуальной динамики изменений возможно не только по полному изображению всей головы испытуемых, но и по отдельным элементам структуры мозга, которые также могут быть выделены стандартными средствами (предусмотренными, например, в пакете SPM) - в частности, можно анализировать индивидуальную вариабельность только серого вещества мозга отдельно. Разработанные средства применены для анализа экспериментально полученных фМРТ данных с целью построения индивидуальных и групповой нейровизуализационной модели. При этом проведено сопоставление нескольких вариантов построения групповых данных: Первоначальное построение индивидуальных моделей (с помощью алгоритма FactfMRI) по совокупности когнитивных задач для каждого испытуемого в отдельности, а затем построение общей модели по вторичному анализу выделенных факторов (с помощью программы Fact3DMRI). Первоначальное построение групповой модели для каждой из когнитивных задач в отдельности (с помощью алгоритма FactfMRI), а затем построение общей модели в результате вторичного анализа выделенных факторов (с помощью программы Fact3DMRI). Первоначальное усреднение фМРТ данных по испытуемым для каждой из когнитивных задач в отдельности (UsrfMRI, аналогично методу ВП в ЭЭГ), а затем уже построение общей модели в результате вторичного анализа выделенных факторов (с помощью программы Fact3DMRI). Последний способ на данный момент представляется наиболее эффективным, поскольку в этом случае резко уменьшается число переменных факторного анализа и сокращается шум, связанный со специфическими индивидуальными особенностями нейрокогнитивного функционирования, что важно для выявления общих (универсальных) механизмов работы мозга. Тем не менее, другие способы построения групповых моделей также могут быть полезными, если необходимо найти индивидуальные особенности нейрокогнитивного функционирования конкретных людей в той или иной задаче, например, если необходимо сравнить индивидуальные стили или группы людей, выявить закономерные отклонения в проявлении мозговой активности при психических расстройствах. Такие задачи планируется поставить для будущих исследований в случае продления данного проекта. В ходе выполнения проекта осуществлена также доработка и экспериментальная апробация программных средств анализа ЭЭГ данных. Так, была доработана «Программа для ЭВМ “MFS” (MultiFactorSelection), реализующая метод разделения электроэнцефалограммы на две составляющие» (Свидетельство о государственной регистрации №2016618769, дата регистрации: 5 августа 2016 г., автор: Вартанов А.В.). Одна из составляющих соответствует дипольной модели, а другая - нет. Это используется для очистки ЭЭГ от специфического, с точки зрения задачи локализации источников электрической активности, шума. Данная программа активно использовалась для анализа экспериментальных ЭЭГ данных, полученных в ходе выполнения проекта. Для анализа ЭЭГ данных была доработана также «Программа для ЭВМ “ACMFD” (Autocorrelation & Multifactor decomposition) для факторной сортировки и выделения вызванных потенциалов» (Свидетельство о государственной регистрации №2016619087, дата получения: 12 августа 2016 г., автор: Вартанов А.В.). Предлагаемый метод и реализующая его программа для ЭВМ является эффективным средством (апробировано как на модельных, так и на реальных данных) анализа одиночных ВП (работает при небольшом числе повторного предъявления стимула) с целью выделения сигнала (точнее набора нескольких сигналов, каждый из которых соответствует своему фактору), который может интерпретироваться как определенный тип (вариант системы) мозговой активности при выполнении человеком соответствующей задачи. При этом в отличие от простого усреднения фрагментов (одиночных ВП), наличие фазовых сдвигов позволяет выделять не только процессы непосредственно связанные с событием, но и индуцированные ответы, также закономерно наблюдаемые, которые являются продуктом более сложного анализа и зависят от готовности системы и момента возникновения события. Предлагаемый метод открывает возможность сортировки всех исходных фрагментов ЭЭГ (одиночных ВП) по критерию соответствия тому или иному фактору (остальное считается шумом, одновременно присутствующим в одиночной реализации ВП), а также расчета на основе построенной факторной модели «идеальных» ВП для каждого из факторов. Предлагаемый метод можно применять как к индивидуальным данным – одиночным реализациям воздействия одного и того же события, так и разных событий, а также к групповым данным, представленным уже предварительно усредненными ВП. Данная программа использовалась для анализа экспериментальных ЭЭГ данных, полученных в ходе выполнения проекта. Разработанные методы и программные средства позволяют исследовать возможность формальной интеграции моделей, построенных по фМРТ и ЭЭГ данным, так как они являются однотипными. Поскольку в фМРТ и ЭЭГ экспериментах использовались одинаковые задачи (с предъявлением одних и тех же стимулов), то была предпринята попытка формального сопоставления полученных моделей (1) по числу выделяемых составляющих (факторов, интерпретируемых как функциональные мозговые системы, которые, в свою очередь, соотносятся с определенными когнитивными процессами); (2) по содержательной интерпретации выделяемых составляющих с точки зрения участия в когнитивном функционировании; (3) в случае совпадения фМРТ и ЭЭГ составляющих возможно дальнейшая их интеграция с уточнением пространственной локализации (преимущество у фМРТ технологии) и временной динамики (преимущество у ЭЭГ технологии). В ходе выполнения проекта были проведены все запланированные фМРТ и ЭЭГ исследования по всем разработанным задачам, собран необходимый массив первичных данных (в совокупности обследовано 40 испытуемых и еще 45 обследованы частично и исключено из общего анализа: всего наборов данных по всем 26 задачам в фМРТ и ЭЭГ исследованиям получено 36). Осуществлена их обработка стандартными средствами и средствами, специально разработанными в ходе реализации проекта - методом системной нейровизуализации. Это позволило построить (1) для каждого испытуемого индивидуальные нейровизуализационные модели (по комплексу задач), (2) обобщенные модели по каждой из задачи в отдельности для всех испытуемых, (3) обобщенные модели по комплексу задач на основе усредненных по испытуемым фМРТ данным.

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".