|
ИСТИНА |
Войти в систему Регистрация |
ИПМех РАН |
||
Ограничение сочинительного острова в лингвистической компетенции больших языковых моделейстатья
Статья опубликована в журнале из списка RSCI Web of Science
Информация о цитировании статьи получена из
Scopus
Статья опубликована в журнале из перечня ВАК
Статья опубликована в журнале из списка Web of Science и/или Scopus
Дата последнего поиска статьи во внешних источниках: 13 мая 2025 г.
- Авторы: Гращенков П.В., Паско Л.И., Студеникина К.А.
- Журнал: Вестник Санкт-Петербургского университета. Язык и литература
- Том: 21
- Номер: 3
- Год издания: 2024
- Издательство: Федеральное государственное бюджетное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет"
- Местоположение издательства: Санкт-Петербург
- Первая страница: 668
- Последняя страница: 689
- Аннотация: Синтаксическим островом называется конструкция, извлечение элемента из которой приводит к неграмматичности. Действие островных ограничений обычно демонстрируется на материале передвижений операторного типа — например, вопросительного передвижения. Восприятие извлечения из сильных синтаксических островов как неграмматичного присуще всем носителям естественного языка. В настоящее время большие языковые модели способны успешно вести диалог с пользователем на различные темы: они понимают смысл запросов и порождают текст, неотличимый от человеческого. Однако остается малоизученным вопрос о том, насколько схожи грамматические ограничения, которые накладываются на языковую способность людей и нейросетей. В том случае, если грамматика больших языковых моделей идентична человеческой, мы также ожидаем от них высокую чувствительность к нарушению языковых ограничений. Цель нашего исследования состоит в том, чтобы сравнить языковую способность носителей языка и нейросетевых моделей на основе интерпретации острова сочинительной конструкции. Мы проанализировали лингвистическую компетенцию трех русскоязычных диалоговых моделей — ChatGPT, YandexGPT и GigaChat — с помощью двух тестов. Первый проверяет, способна ли модель верно ответить на вопрос, образованный с нарушением островных ограничений. Второй тест напрямую обращается к оценке грамматичности предложения. Результаты показали, что лингвистическая компетенция больших языковых моделей отличается от человеческой. Количество семантически верных ответов и положительных оценок грамматичности оказалось достаточно большим для всех моделей. Поведение YandexGPT является наиболее логичным, тогда как модели ChatGPT и GigaChat часто были не готовы отвечать на вопросы, которые сами считали корректными. Мы обнаружили, что грамматические характеристики стимульных предложений по-разному влияют на способность моделей отвечать на вопросы и оценивать их корректность: ChatGPT и GigaChat демонстрируют схожее поведение в противоположность YandexGPT. Результаты нашего исследования ставят под сомнение утверждение о том, что поведение больших языковых моделей неотличимо от поведения людей.
- Добавил в систему: Гращенков Павел Валерьевич
Прикрепленные файлы
| № | Имя | Описание | Имя файла | Размер | Добавлен |
|---|---|---|---|---|---|
| 1. | ГращенковСтуденикинаПаско.pdf | ГращенковСтуденикинаПаско.pdf | 786,2 КБ | 22 ноября 2024 [gra-paul] | |
| 2. | Заключение.pdf | Заключение.pdf | 465,7 КБ | 22 ноября 2024 [gra-paul] |