ИСТИНА

Целью проекта является выявление признаков китайско-русской фонетической интерференции с точки зрения мозговых механизмов (процессов восприятия, внешнего и внутреннего проговаривания русских речевых единиц китаеязычными респондентами) путем выделения формальных параметров в звуковом сигнале и в соответствующих сигналах мозга. Возможное практическое применение результатов проекта: Полученные результаты планируется использовать для разработки инновационных методик обучения русскому языку как иностранному с учетом фонетической системы родного языка.

The aim of the project is to identify the signs of Chinese-Russian phonetic interference from the point of view of brain mechanisms (processes of perception, external and internal pronunciation of Russian speech units by Chinese-speaking respondents) by identifying formal parameters in the sound signal and in the corresponding brain signals. Possible practical application of the project results: The obtained results are planned to be used to develop innovative methods of teaching Russian as a foreign language, taking into account the phonetic system of the native language.

В ходе реализации проекта будут получены новые экспериментальные данные по следующим направлениям: 1. Формальное (с помощью средств декомпозиции по главным компонентам) описание и результаты сопоставления речевых образцов, содержащих (и не содержащих) примеры китайско-русской фонетической интерференции, а также примеров, которые содержат (или не содержат) артикуляторные дефекты, что позволит выявить признаки наличия таковой интерференции и дефектов. Достижимость данного результата гарантируется наличием у коллектива программного средства декомпозиции звука по главным компонентам, разработанное в ходе выполнения проекта РНФ № 20-18-00067-П «Системная визуализация и способы декодирования внутренней речи» на факультете психологии. Данный инструмент позволяет разложить любой новый звук по ранее выделенным (на основе обучающей выборки примеров) компонентам. При этом можно задавать число компонент - для русского языка, по теоретическим и практическим (на основании ранее проведенных исследований) соображениям выделяется 15 компонент: 4 для характеристики эмоциональной составляющей речи и 11 для артикуляторных единиц речи – кинакем по В. Я. Плоткину (1993). Инструмент также позволяет осуществить обратное преобразование – на основании полученных значений компонент можно восстановить звук (звуковой файл) и экспертно оценить качество проведенного преобразования. Наличие в цифровом виде значений компонент для конкретных примеров открывает возможность их экспертного (ручного) редактирования с целью внесения определенных изменений (в соответствии с разрабатываемой моделью дефектов интерференции) с контролем звучания после обратного преобразования значений компонент в звук. Решение данной задачи предполагает также наличие необходимых верифицированных образцов речи, включающих элементы русско-китайской фонетической интерференции. У коллектива имеется возможность использовать Мультиязыковую Многоаспектную Фонетическую Базу Данных Русского Языка (ММФБД РЯ) (патент РФ № 2018620658), в которой уже имеется достаточное число размеченных и экспертно квалифицированных образцов (Кедрова, Фролова, 2021). Кроме того специалистом – логопедом будут наговорены примеры искажения русской речи в соответствии с различными вариантами дефектов артикуляции. В ходе выполнения проекта предполагается регистрировать речевую продукцию носителей китайского языка при выполнении ими задачи произнесения различных примеров русской речи в ходе ЭЭГ экспериментов. Получаемые данные также будут обрабатываться предлагаемым способом, что позволит формально сопоставить их с базой нормативного произношения и с вариантами искажений, вызванных как межъязыковой фонетической интерференцией, так и дефектами артикуляции. 2. Экспериментальные ЭЭГ (с вычислением активности в ряде структур мозга с помощью нового метода «виртуально вживленный электрод») при восприятии и внутреннем проговаривании примеров русской речи китаеязычными и русскоязычными респондентами. Предполагается провести ЭЭГ эксперименты с китаеязычными (и для контроля, русскоязычными) респондентами с получением потенциалов, связанных с событиями (ПСС): (1) на предъявление речевого стимула (фонемы, слоги, слова и/или высказывания), (2) на сигнал начала внутреннего проговаривания (повторения) данного стимула. В качестве стимулов будут использоваться специально отобранный (в ходе работы по первому направлению) звуковой материал, содержащий или не содержащий варианты китайско-русской фонетической интерференции, а также стимулы, которые содержат (или не содержат) артикуляторные дефекты. Задачей респондента в данном эксперименте будет слушать звуковой стимул, а затем по специальному сигналу повторить его мысленно (про себя), после чего, по другому сигналу, повторить вслух. При этом данные ПСС будут получены отдельно для ряда мозговых структур – предполагается обследовать 53 различных мозговых областей (точек интереса). Это позволит на основе сравнения ПСС выявить, в каких мозговых областях и на какой латенции относительно начала восприятия или внутреннего проговаривания возникнут значимые различия между нормативными стимулами и стимулами, которые характеризуются определенными вариантами фонетической интерференции или определенными артикуляторными дефектами. Также предполагается сравнить группы русскоязычных и китаеязычных респондентов по тем же параметрам. Достижимость данного результата гарантируется наличием у коллектива опыта ЭЭГ исследований и наличием необходимого оборудования и программных средств, в том числе для мозговой локализации ЭЭГ «виртуально вживленный электрод», которое разработано в ходе выполнения проекта РНФ № 20-18-00067-П «Системная визуализация и способы декодирования внутренней речи» на факультете психологии, (патент РФ № 2785268). Метод описан в (Vartanov, 2022), а его верификация представлена в (Вартанов, 2023). Способ базируется на пространственной фильтрации сигнала из заданной области мозга на основе динамики и коррелированности изменений сигнала по отведениям, а полученные результаты можно интерпретировать в качестве электрической активности «локального поля» при «вживлении» виртуального электрода в соответствующую точку мозга. В ходе ЭЭГ экспериментов планируется также регистрировать активность ряда артикуляторных мышц. Это позволит зафиксировать соответствующие артикуляторные паттерны, возникающие при восприятии, внутреннем и внешнем проговаривании вышеописанных примеров. Их сравнение, аналогично сравнению ПСС электрических ответов исследуемых мозговых структур, также будут полезны для понимания мозговых механизмов исследуемых процессов и их особенностей, обуславливающих феномен фонетической интерференции и артикуляторных дефектов. 3. Весь полученный массив данных – звуковые параметры, ПСС данные по каждой из структур – будут использованы как для построения (обучения) нейронных сетей для автоматической классификации, так и проверки эффективности разрабатываемых классификаторов.

Это может приводить к остаточным иноязычным явлениям в речи на изучаемом языке. Для выявления и классификации фонетических ошибок, которые делают обучающиеся русскому языку как иностранному, в Лаборатории фонетики и речевой коммуникации филологического факультета разрабатывается Мультиязыковая Многоаспектная Фонетическая База Данных Русского Языка (патент РФ № 2018620658). Предлагается использовать материал этой базы для проведения междисциплинарного сравнительного исследования нейролингвистических коррелятов фонетической интерференции родного (на примере китайского) языка в изучаемый язык (русский) для выявления причин появления иноязычного акцента. Исследование предполагает сравнительное описание мозговых механизмов проявления акцентов не только в звучащей речи, но и во внутреннем плане, а также особенности восприятия речи с акцентом носителями китайского и русского языка. Для сравнения предполагается также исследование восприятия и воспроизведения (во внешнем и внутреннем плане) речевых образцов русской речи, произнесенных с различными артикуляторными дефектами. При этом будут исследоваться (с помощью программных средств, ранее разработанных в рамках гранта РНФ № 20-18-00067-П «Системная визуализация и способы декодирования внутренней речи» на факультете психологии с участием сотрудников и студентов факультета ВМК) два типа сигналов: (1) характеристика звука с декомпозицией по ранее выделенным главным компонентам и (2) электрических сигналов мозга (проводится по результатам локализации данных ЭЭГ новым методом «виртуально вживленный электрод»), а также (3) электрических сигналов от артикуляторных мышц. Все типы сигналов будут использоваться для разработки автоматического классификатора и формального описания (моделирования) изучаемых процессов – проявления фонетических ошибок.

Исследование предполагает сравнительное описание мозговых механизмов проявления акцентов не только в звучащей речи, но и во внутреннем плане, а также особенности восприятия речи с акцентом носителями китайского и русского языка. Для сравнения предполагается также исследование восприятия и воспроизведения (во внешнем и внутреннем плане) речевых образцов русской речи, произнесенных с различными артикуляторными дефектами. Полученные результаты планируется использовать для разработки инновационных методик обучения русскому языку как иностранному с учетом фонетической системы родного языка.