|
ИСТИНА |
Войти в систему Регистрация |
ИПМех РАН |
||
Тематические модели: добавление биграмм и учет сходства между униграммами и биграммамистатья
Статья опубликована в журнале из списка RSCI Web of Science
Статья опубликована в журнале из перечня ВАК- Авторы: Нокель М.А., Лукашевич Н.В.
- Журнал: Вычислительные методы и программирование
- Том: 16
- Номер: 2
- Год издания: 2015
- Издательство: Научно-исследовательский вычислительный центр Московского государственного университета им. М.В. Ломоносова
- Местоположение издательства: Москва
- Первая страница: 215
- Последняя страница: 234
- Аннотация: Представлены результаты экспериментов по добавлению биграмм в тематические модели и учету сходства между ними и униграммами. Предложен новый алгоритм PLSA-SIM, являющийся модификацией алгоритма построения тематических моделей PLSA (Probabilistic Latent Semantic Analysis). Предложенный алгоритм позволяет добавлять биграммы и учитывать сходство между ними и униграммными компонентами. Исследована возможность применения ассоциативных мер для выбора и последующего включения биграмм в тематические модели. В качестве текстовых коллекций взяты русскоязычная подборка статей из электронных банковских журналов, английские части корпусов параллельных текстов Europarl и JRC-Acquiz и англоязычный архив исследовательских работ по компьютерной лингвистике ACL Anthology. Выполненные эксперименты показывают, что существует подгруппа тестируемых мер, упорядочивающих биграммы таким образом, что при последующем их добавлении в предложенный алгоритм PLSA-SIM качество получающихся тематических моделей значительно повышается. Предложен новый итеративный алгоритм PLSA-ITER без учителя, позволяющий добавлять наиболее подходящие биграммы. Эксперименты показывают дальнейшее улучшение качества тематических моделей по сравнению с исходным алгоритмом PLSA.
- Добавил в систему: Лукашевич Наталья Валентиновна