Аннотация:В данной магистерской диссертации проводится исследование применимости больших языковых моделей семейства T5 к задаче автоматического реферирования научных статей на русском языке. Были рассмотрены 2 модели размера Base и проведено дообучение модели rut5‑small; ранее модель rut5‑small для решения задачи автоматического реферирования не использовалась. Были проанализированы русскоязычные наборы данных, состоящие из пар новость – ее реферат, и посчитаны статистические характеристики для их последних версий. Дообучение модели проводилось на наборе данных Gazeta и созданных нами наборах данных RuSciText и RuArxiv, содержащих пары научная статья – ее реферат. Для оценки результатов работы моделей были вычислены 4 метрики: ROUGE, BLEU, METEOR и BERTScore, а также проведена экспертная оценка.
Анализ полученных результатов показал возможность использования моделей для автоматического реферирования научных статей на русском языке. В частности, значения метрик дообученной модели rut5‑small получились выше, чем у моделей семейства GPT.