ИСТИНА

Особенность анализа сообщений в социальных сетях состоит в их краткости и наличии большого числа опечаток, специальных сокращений, транслитерации и лексики, характерной для разговорной речи. Классические алгоритмы обработки текстов на естественном языке, в частности, алгоритмы классификации и кластеризации текстов, ориентированы на обработку достаточно длинных документов. В простейшем случае мерой близости документов является скалярное произведение векторов, что неприменимо для сообщений длиной в несколько слов. В проекте предполагается создание новых, анализ применимости и адаптация существующих методов анализа текстов, включая методы кластеризации, выявления тематических направлений и извлечения данных, применительно к задаче анализа сообщений новостного характера в системе Twitter.