|
ИСТИНА |
Войти в систему Регистрация |
ИПМех РАН |
||
Ограничение сочинительного острова в лингвистической компетенции больших языковых моделейстатья
Статья опубликована в журнале из списка RSCI Web of Science
Статья опубликована в журнале из перечня ВАКСтатья опубликована в журнале из списка Web of Science и/или Scopus
- Авторы: Гращенков П.В., Паско Л.И., Студеникина К.А.
- Журнал: Вестник Санкт-Петербургского университета. Язык и литература
- Год издания: 2024
- Издательство: Федеральное государственное бюджетное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет"
- Местоположение издательства: Санкт-Петербург
- Аннотация: Синтаксическим островом называется конструкция, извлечение элемента из которой приводит к неграмматичности. Действие островных ограничений обычно демонстрируется на материале передвижений операторного типа — например, вопросительного передвижения. Восприятие извлечения из сильных синтаксических островов как неграмматичного присуще всем носителям естественного языка. В настоящее время большие языковые модели способны успешно вести диалог с пользователем на различные темы: они понимают смысл запросов и порождают текст, неотличимый от человеческого. Однако остается малоизученным вопрос о том, насколько схожи грамматические ограничения, которые накладываются на языковую способность людей и нейросетей. В том случае, если грамматика больших языковых моделей идентична человеческой, мы также ожидаем от них высокую чувствительность к нарушению языковых ограничений. Цель нашего исследования состоит в том, чтобы сравнить языковую способность носителей языка и нейросетевых моделей на основе интерпретации острова сочинительной конструкции. Мы проанализировали лингвистическую компетенцию трех русскоязычных диалоговых моделей — ChatGPT, YandexGPT и GigaChat — с помощью двух тестов. Первый проверяет, способна ли модель верно ответить на вопрос, образованный с нарушением островных ограничений. Второй тест напрямую обращается к оценке грамматичности предложения. Результаты показали, что лингвистическая компетенция больших языковых моделей отличается от человеческой. Количество семантически верных ответов и положительных оценок грамматичности оказалось достаточно большим для всех моделей. Поведение YandexGPT является наиболее логичным, тогда как модели ChatGPT и GigaChat часто были не готовы отвечать на вопросы, которые сами считали корректными. Мы обнаружили, что грамматические характеристики стимульных предложений по-разному влияют на способность моделей отвечать на вопросы и оценивать их корректность: ChatGPT и GigaChat демонстрируют схожее поведение в противоположность YandexGPT. Результаты нашего исследования ставят под сомнение утверждение о том, что поведение больших языковых моделей неотличимо от поведения людей.
- Добавил в систему: Гращенков Павел Валерьевич