ИСТИНА

Russian Pear Chats and Stories (RUPEX) – это многоканальный ресурс, разработанный в Институте языкознания РАН в рамках проекта Российского научного фонда. RUPEX был создан как универсальный русскоязычный ресурс, отражающий детали обычного общения лицом к лицу, включая различные каналы коммуникации. На веб-сайте multidiscourse.ru можно найти описание RUPEX, а также полные аннотации к трем сессиям (записям), общей продолжительностью 1 час. Аннотации очень подробные и содержат информацию о вербальном, просодическом, глазодвигательном поведении и жестикуляции трех участников общения на каждом сеансе. Эти аннотации могут быть использованы для решения целого ряда исследовательских вопросов, касающихся естественной коммуникации, таких как координация поведения по различным каналам, индивидуальные вариации и т.д. Наиболее важным нововведением в последнее время стало увеличение количества включенных сеансов. Во время записи возникали различные технические проблемы, и для синхронизации медиафайлов требовались значительные усилия. Эта сложная и длительная работа, координируемая Е. Буденной и Н. Коротаевым, была завершена в 2023 году. В настоящее время имеется коллекция медиафайлов, представляющих 15 сессий (включая 3 упомянутые выше). Общая продолжительность 15 сеансов составляет 5 часов 13 минут, что делает их довольно большим примером естественного общения. Текущая работа над вокальными и жестикуляционными комментариями для 12 сессий является трудоемким процессом, и мы рассматриваем возможность использования алгоритмов ручного аннотирования, а также краудсорсинга. Мы стремимся завершить аннотацию всех технически осуществимых сессий. Большое количество фундаментальных вопросов о человеческом языке может быть рассмотрено на основе такого ресурса, как RUPEX. В докладе рассмотрено несколько таких примеров. Помимо фундаментальных вопросов, есть и прикладные перспективы использования RUPEX. Это ценный ресурс для обучения агентов ИИ, имитирующих поведение человека. Работа в RUPEX может быть использована для улучшения работы диалоговых агентов и других систем искусственного интеллекта в таких аспектах, как расположение и продолжительность пауз, интонационные особенности речевых сегментов, параметры движений рук, направление и продолжительность фиксации взгляда и т.д. В целом, RUPEX является аналогом естественного общения лицом к лицу. Важно расширять этот ресурс количественно, и не менее важно подключать теории языка и связанные с языком приложения к этому источнику знаний о самых основных формах использования языка.