|
ИСТИНА |
Войти в систему Регистрация |
ИПМех РАН |
||
Пост-коррекция слабой расшифровки большими языковыми моделями в итерационном процессе распознавания рукописейстатья
- Авторы: Зыков В.П., Местецкий Л.М.
- Журнал: Электронные библиотеки
- Том: 28
- Номер: 6
- Год издания: 2025
- Издательство: Федеральное государственное автономное образовательное учреждение высшего образования "Казанский (Приволжский) федеральный университет"
- Местоположение издательства: Казань
- Первая страница: 1385
- Последняя страница: 1414
- DOI: 10.26907/1562-5419-2025-28-6-1385-1414
- Аннотация: Рассмотрена задача ускорения построения точной редакторской разметки рукописных архивных текстов в рамках инкрементного цикла обучения на основе слабой расшифровки. В отличие от ранее опубликованных результатов, основное внимание уделено интеграции автоматической посткоррекции слабой расшифровки с помощью больших языковых моделей (Large Language Models, LLM). Предложен и реализован протокол применения LLM на уровне строк в режиме обучения на нескольких примерах с тщательно сконструированными промптами и контролем формата вывода (сохранение дореформенной орфографии, защита имен и числительных, запрет на изменение структуры строк). Эксперименты проведены на корпусе дневников А. В. Сухово-Кобылина. В качестве базовой модели распознавания использована строчная версия модели Vertical Attention Network. Результаты показали, что LLM-коррекция на примере сервиса ChatGPT-4o заметно улучшает читабельность слабой разметки и существенно снижает процент ошибок в словах (в нашем опыте – порядка −12 процентных пунктов), при этом не внося ухудшения в проценте ошибок в буквах. Другой исследуемый сервис – DeepSeek-R1 – показал менее стабильное поведение. Рассмотрены практические настройки промптов, ограничения (контекстные лимиты, риск «галлюцинаций») и даны рекомендации по безопасной интеграции LLM-коррекции в итерационный пайплайн разметки с целью сокращения трудозатрат эксперта-асессора и ускорения оцифровки исторических архивов.https:
- Добавил в систему: Местецкий Леонид Моисеевич