|
ИСТИНА |
Войти в систему Регистрация |
ИПМех РАН |
||
Оптимизация генеративного ридера в составе RAG системыстатья Исследовательская статья
- Авторы: Соколов А.П., Замелин П.А., Камелина Ю.Д., Пластова П.И.
- Сборник: Сборник докладов конференции NeuroNT-2024
- Год издания: 2024
- Издательство: Федеральное государственное автономное образовательное учреждение высшего образования Санкт-Петербургский государственный электротехнический университет ЛЭТИ им. В.И. Ульянова (Ленина)
- Местоположение издательства: Санкт-Петербург
- Аннотация: В статье предлагается простая методология для оптимизации подсистемы генеративного ридера, являющегося одним из ключевых компонентов RAG систем. Описанная методология может быть использована в качестве предварительной оптимизации, которая позволяет быстро построить вопросно-ответную систему (QA-система) приемлемого качества. Основным принципом этой методологии является использование генеративной модели GPT4 от OpenAI в качестве эталонного генеративного ридера. Наша методология описывает процедуру создания синтетического датасета и определяет основные метрики для оптимизации. Использование синтетических данных позволяет точно контролировать, что изменения, вносимые в QA-систему, приближают ее ответы в эталонным. На основе разработанной методики мы провели ряд простых экспериментов по оптимизации для быстрого поиска лучшей конфигурации подсистемы ридера. Эти эксперименты позволили существенно улучшить качество ответов QA-системы. В результате мы добились относительного прироста средней семантической близости ответов нашего ридера с эталонным GPT4 почти 50 % по шкале BLEURT и 26 % по шкале SAS. Наша методология была проверена для построения русскоязычной вопросно-ответной системы, но она также может быть применена для построения вопросно-ответной системы на любом другом языке без принципиальных изменений.
- Добавил в систему: Соколов Андрей Павлович