![]() |
ИСТИНА |
Войти в систему Регистрация |
ИПМех РАН |
||
1) Выявление мозговых механизмов субъективной идентификации речевого образа как результата собственного внутреннего проговаривания или как внешне инициализированного речевого образа (образа восприятия чужой речи). Эта задача весьма значима для понимания фундаментальных механизмов сознания человека и актуальна для понимания таких процессов, как галлюцинации при развитии психических заболеваний (в частности при шизофрении). Полученные ранее экспериментальные данные, разработанный экспериментальный дизайн и специальные средства анализа ЭЭГ (в частности, новый способ локализации мозговой активности) будут использованы для решения и этой задачи, а полученные результаты будут интегрированы в общую структуру понимания механизмов внутренней речи. С этой целью планируется провести ЭЭГ эксперименты с двумя группами испытуемых – с группой больных шизофренией (порядка 30 человек) и группой нормы (также порядка 30 человек). Предполагается, что у больных шизофренией с наличием слуховых галлюцинаций (слышат голоса) даже в состоянии ремиссии в результате лечения по сравнению с нормой будет все еще ослаблен сознательный контроль и искажена система активности и связности соответствующих мозговых структур. Поэтому ожидается, что в ЭЭГ эксперименте, предполагающем простую задачу повторения во внутреннем плане услышанного слова, могут проявиться искомые различия в вызванных потенциалах и, соответственно в активности и связности определенных мозговых структур, выявляемых с помощью нового метода локализации. При этом эксперимент не требует актуализации галлюцинаций у больных и не должен это провоцировать. Предполагается также ввести дополнительное усложнение задачи в виде добавления артикуляторной помехи и/или введения сложных стимулов с наложением речевого и неречевого (мелодического паттерна) звуков, что приведет к возникновению подзадачи концентрировать внимание и избирательно мысленно воспроизводить либо речевую, либо неречевую составляющую сложного стимула. Это также позволит проявить особенности внутренней речи, обусловленные патологическими изменениями механизмов инициации и когнитивного контроля (осознания) в связи с заболеванием. 2) Выявление мозговых механизмов модификации (преднастройки) систем порождения внутреннего речевого образа в связи с особенностями и условиями реализации внешней речи. Модификация внутренней речи в связи с дефектами дикции теоретически возможна и подтверждается первыми результатами, полученными в ходе реализации проекта 2020 года. Также ранее было показано влияние артикуляторной помехи на восприятие речевых звуков, производство которых специфически затрагивается определенной помехой. Однако, прямых данных о мозговых механизмах влиянии артикуляторной помехи (или дефектной организации речепроизводства) на речевой образ, формируемый во внутреннем плане, до настоящего времени нет. Между тем, эта задача не только весьма актуальна в практическом плане (для разработки методов логопедической коррекции), но и имеет большое значение в плане понимания фундаментальных механизмов внутренней речи. Также важно понимать, как отражаются в ЭЭГ показателях внутренней речи дефекты дикции и наличие артикуляторной помехи. Это важно учитывать при разработке способов декодирования внутренней речи. С целью выявления мозговых механизмов модификации (преднастройки) систем порождения внутреннего речевого образа в связи с особенностями и условиями реализации внешней речи планируется проводить на группах добровольцев с определенными дефектами речи: 1) при наличии артикуляторно-фонетической дислалии (ротацизм) – дефект произношения буквы «р» (планируется провести ЭЭГ исследования в группе порядка 30 человек); 2) при наличии заикания (также планируется провести ЭЭГ исследования в группе порядка 30 человек). При этом экспериментальная схема будет такой же, как для больных шизофренией. Это позволит непосредственно сравнивать результаты всех исследуемых групп – группы нормы, группы больных шизофренией, группы с ротацизмом и группы с заиканием. 3) Задача разработки эффективных автоматических методов декодирования внутренней речи, включая разработку средств классификации отдельных речевых единиц, выделение дифференцировочных признаков речевых единиц, а также эмоциональных параметров внутренней речи. Значительное внимание будет уделено задаче нахождения способа преобразования на основе ЭЭГ-показателей внутренней речи в речь звучащую, т.е. продолжение проекта будет направлено также и на масштабную и практически актуальную задачу озвучивания мысли.
Despite the studies conducted in 2020-2022 and the large amount of experimental data obtained, the problem of the mechanisms of inner speech largely remains relevant. This concerns not only the fundamentals, but also the practical problems of decoding inner speech according to EEG data. As a result of the implementation of the 2020-2022 project, a new method for localizing brain activity has been developed, which, firstly, allows us to explore the brain mechanisms of inner speech at a new level, and, secondly, to carry out special pre-processing of EEG data, which increases the efficiency of inner speech decoding algorithms. As new large-scale tasks organically related to the 2020 project, the following will be: 1) Revealing the brain mechanisms of the subjective identification of a speech image as a result of one's own internal pronunciation or as an externally initialized speech image (an image of the perception of someone else's speech). This task is very significant for understanding the fundamental mechanisms of human consciousness and relevant for understanding such processes as hallucinations in the development of mental illness (in particular, in schizophrenia). Previously obtained experimental data, the developed experimental design, and special EEG analysis tools (in particular, a new method for localizing brain activity) will be used to solve this problem as well, and the results obtained will be integrated into the overall structure of understanding the mechanisms of inner speech. For this purpose, it is planned to conduct EEG experiments with two groups of subjects - with a group of patients with schizophrenia (about 30 people) and a normal group (also about 30 people). It is assumed that in patients with schizophrenia with auditory hallucinations (hearing voices), even in a state of remission, as a result of treatment, as compared with the norm, conscious control will still be weakened and the system of activity and connectivity of the corresponding brain structures will be distorted. Therefore, it is expected that in an EEG experiment involving a simple task of internally repeating a heard word, the desired differences in evoked potentials and, accordingly, in the activity and connectivity of certain brain structures detected using a new localization method, may appear. At the same time, the experiment does not require the actualization of hallucinations in patients and should not provoke it. It is also supposed to introduce an additional complication of the task in the form of adding articulatory noise and/or introducing complex stimuli with the imposition of speech and non-speech (melodic pattern) sounds, which will lead to the emergence of a subtask to concentrate attention and selectively mentally reproduce either the speech or non-speech component of the complex stimulus. This will also make it possible to reveal the features of inner speech due to pathological changes in the mechanisms of initiation and cognitive control (awareness) in connection with the disease. 2) Identification of the brain mechanisms of modification (presetting) of the systems for generating an internal speech image in connection with the features and conditions for the implementation of external speech. Modification of inner speech due to diction defects is theoretically possible and is confirmed by the first results obtained during the implementation of the 2020 project. Also, the influence of articulatory interference on the perception of speech sounds, the production of which is specifically affected by a certain interference, was previously shown. However, there is still no direct data on the brain mechanisms of the influence of articulatory interference (or defective organization of speech production) on the speech image formed internally. Meanwhile, this task is not only very relevant in practical terms (for the development of speech therapy correction methods), but is also of great importance in terms of understanding the fundamental mechanisms of inner speech. It is also important to understand how diction defects and the presence of articulatory interference are reflected in the EEG indicators of internal speech. This is important to take into account when developing methods for decoding inner speech. In order to identify the brain mechanisms of modification (presetting) of the systems for generating an internal speech image in connection with the features and conditions for the implementation of external speech, it is planned to carry out on groups of volunteers with certain speech defects: 1) in the presence of articulatory-phonetic dyslalia (rotacism) - a defect in the pronunciation of the letter "r" (it is planned to conduct an EEG study in a group of about 30 people); 2) in the presence of stuttering (it is also planned to conduct an EEG study in a group of about 30 people). In this case, the experimental scheme will be the same as for patients with schizophrenia. This will allow direct comparison of the results of all study groups - the normal group, the schizophrenic group, the rotacism group, and the stuttering group. 3) The task of developing effective automatic methods for decoding inner speech, including the development of means for classifying individual speech units, highlighting the differentiating features of speech units, as well as the emotional parameters of inner speech. Considerable attention will be paid to the problem of finding a method for converting inner speech into sound speech based on EEG indicators, i.e. the continuation of the project will also be directed to the large-scale and practically urgent task of voicing thoughts.
К концу 2023 года планируется получить 1) Отлаженный стимульный материал для всех запланированных экспериментальных задач. 2) Ррезультаты основных экспериментов с больными шизофренией для 15-30 человек. 3) Результаты основных экспериментов с добровольцами группы нормы для 15-30 человек. 4) Результаты основных экспериментов с добровольцами, имеющими дефект дикции типа ротацизм для 15-30 человек. 5) Результаты основных экспериментов с добровольцами с дефектами речи в виде заикания для 15-30 человек. 6) Результаты обработки всех ЭЭГ данных новым методом локализации мозговой активности, а также получить первые результаты межгруппового сравнения. 7) Результаты разработки с оценкой эффективности средств декодирования внутренней речи по каждой из трех вышеописанных задач. 8) Подготовленные и представленные к публикации научные статьи (порядка 4), отражающие результаты работы по проекту.
В ходе реализации проекта получен большой массив новых психофизиологических данные на основании комплексной ЭЭГ и фМРТ визуализации по системе взаимодополняемых экспериментальных задач. В результате описана система мозговых процессов внутреннего проговаривания в сравнении с рядом других, связанных с ним процессов, в том числе процессов выражения эмоциональной оценки и мысленного невербального представления. Важное внимание проекта было направлено на разработку, верификацию и апробирование принципиально нового метода локализации электрической активности по данным скальповой ЭЭГ «виртуально вживленный электрод». Разработанный неинвазивный метод позволяет проводить исследования на новом уровне в различных областях науки и техники, использующих данные ЭЭГ – от фундаментальных психофизиологических исследований функционирования мозга человека до прикладных исследований в различных областях психологии и медицины, а также в технических областях, связанных с разработкой различных видов нейрокомпьютерных интерфейсов и устройств управления. В первую очередь данный метод начинает использоваться для эффективной дешифровки внутренней речи, поскольку он должен функционально заменить регистрацию системой вживленных электродов, с помощью которой возможно, как показано ранее (Pasley et al., 2000; Mesgarani et al., 2012; Martin et al., 2014), достаточно успешно декодировать мысленное проговаривание. Такой неинвазивный способ может стать конкурентом вживлению чипов, активно разрабатываемых, в частности, компанией Neuralink. В ходе выполнения проекта по итогам разработки нового способа и реализующих его программных средств, а также по мере получения необходимого массива экспериментальных ЭЭГ данных, начата и разработка автоматических классификаторов по данным ЭЭГ различных речевых единиц (фонем и слогов), проговариваемых мысленно.
В результате будет получен большой массив новых экспериментальных ЭЭГ данных, обработанных новым методом локализации «виртуально вживленный электрод», для нескольких групп людей – группы нормы, группы больных шизофренией, группы людей с артикуляторно-фонетической дислалией (ротацизмом) и заиканием. Это позволит, во-первых, выявить мозговые механизмы субъективной идентификации речевого образа как результата собственного внутреннего проговаривания или как внешне инициализированного речевого образа. Во-вторых, выявить мозговые механизмы контроля внутренней речи с точки зрения переключения внимания на разные части звукового образа внутренней речи. В-третьих, выявить мозговые механизмы модификации (преднастройки) систем порождения внутреннего речевого образа в связи с особенностями и условиями реализации внешней речи. Эти результаты будут иметь не только самостоятельное значение, но и станут материалом для дальнейшей разработки компьютерных средств декодирования внутренней речи. В этом отношении планируется разработать эффективные автоматические методы декодирования внутренней речи на основе как ранее полученных, так и новых данных. При этом главной особенностью проекта станет специальная предобработка данных ЭЭГ новым методом локализации сигналов высокой плотности в области Вернике. В этом отношении планируется: 1) Разработать классификаторы основных речевых единиц внутренней речи – фонем, слогов, слов. 2) Разработать алгоритмы преобразования предобработанных новым методом локализации сигналов ЭЭГ в звук. 3) Разработать алгоритм классификации и выделения признаков эмоций, проявляющихся во внутренней речи. 4) Разработать классификаторы на основе признаков дефектов осознания и контроля внутренней речи. Планируемые основные результаты в связи с применением нового уникального метода локализации мозговой активности, разработанного на этапе проекта 2020, должны превзойти мировой уровень исследований, а также откроют широкие возможности практического использования разрабатываемых технических средств декодирования внутренней речи. Отдельно можно подчеркнуть возможность разработки на основе получаемых результатов методики объективной оценки выраженности дефектов контроля (осознания) внутренней речи при шизофрении, а также степени проявления во внутреннем плане дефектов речи. Это позволит далее на этой основе разрабатывать более эффективные программы лечения и коррекции дефектов речи.
грант РНФ |
# | Сроки | Название |
1 | 15 мая 2023 г.-31 декабря 2023 г. | Системная визуализация и способы декодирования внутренней речи |
Результаты этапа: |
Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".