3.1. Определение и основные понятия тематического моделирования
Тематическое моделирование – это способ построения модели коллекции текстов, который описывает переход от совокупности документов и слов в документах к набору тем, характеризующих содержание документов. Тематические модели – модели со скрытыми переменными, для выявления которых применяются алгоритмы нечеткой кластеризации, которая относит любое слово или документ с некоторой вероятностью к нескольким темам, т.е. алгоритм определяет семантическую близость. Процедура тематического моделирования имеет широкое применение при работе как с корпусами художественных текстов, так и с корпусами, построенными на основе веба. В частности, данная процедура используется при анализе текстов социальных сетей (новости и посты), расширении тематик документов, информационном поиске и пр. Первые работы, связанные с тематическим моделированием, появились в конце XX века. В [Li, Jain, 1998] был описан подход с применением векторной модели документа: каждому слову присваивался некоторый вес, который мог рассчитываться, например, с помощью TF-IDF или другими методами расчёта весов. На сегодняшний день для практического исследования применяются многочисленные алгоритмы вероятностного тематического моделирования и их разновидности. Среди них можно выделить следующие алгоритмы. Вероятностный латентно-семантический анализ (Probabilistic Latent Sematic Analysis, pLSA). В основе метода лежит факторный анализ: выявление скрытых связей изучаемых явлений и объектов. При классификации и кластеризации документов данный метод позволяет извлечь контекстно-зависимые значения лексических единиц [Глушков, 2018]. Скрытое размещение Дирихле (Latent Dirichlet Allocation, LDA). Модель, разработанная Девидом Блеем в 2003 году [Blei, Ng, Jordan, 2003], позволяет выделить неявные группы, в результате чего исследователи могут сделать выводы о том, почему некоторые элементы текстовых документов пересекаются.  Робастная тематическая модель SWB (special words with background) – это тематическая модель, в которой добавлены два компонента: фон и шум. Под фоном понимаются общеупотребительные слова, снижающие релевантность поиска тем, под шумом – специфичные для определённого документа термины либо редкие термины, отражённые в нехарактерных для корпуса темах [Воронцов, URL]. Динамическая тематическая модель – разновидность тематических моделей, которая позволяет отследить развитие тематик в определённый период времени [Воронцов, URL]. Вышеописанные методы имеют как свои достоинства, так и недостатки. Например, к положительным сторонам pLSA и LDA стоит отнести возможность подсчёта вероятности отношения документа к выявленным темам с их последующей группировкой. К недостаткам относят постоянное переобучение при загрузке новых текстовых данных в модель, выявление и удаление дубликатов, а также неавтоматизированную семантическую интерпретацию полученных тем [Воронцов, URL]. Для облегчения работы с интерпретацией полученных тем алгоритмы тематического моделирования не раз подвергались адаптации. Например, в [Ramage, Hall, Nallapati, 2009] авторы представили улучшенную версию скрытого размещения Дирихле под названием Labeled LDA, который множеству тематических слов приписывал вероятную тему. Темы приписывались на основе тегов, присвоенных документам в сети интернет. F-мера при работе с интернет-текстами достигла 52% по сравнению со стандартной моделью, чья F-мера равнялась 39%. Однако стоит отметить, что для работы с корпусами, которые основаны не на вебе, рассматриваемый алгоритм из-за отсутствия внутренних меток текстов может выдавать результаты низкого качества.  Алгоритмы тематического моделирования активно применяются и сегодня. В работе [Митрофанова, Шиморина, 2014] алгоритм LDA применялся для построения тематической модели корпуса Живого Журнала, определения тем пользователей и их интерпретации. Полученные результаты позволили сделать вывод о динамике языка в русскоязычной интернет-среде. В других работах [Митрофанова, 2015; Митрофанова, 2019] алгоритмы тематического моделирования уже применялись для выявления тем в художественных текстах: в сказках А.Н. Афанасьева и в романе М.А. Булгакова «Мастер и Маргарита». Активная работа ведётся и в моделировании тематик социальных сетей: например, в лаборатории интернет-исследований ВШЭ. В работе О. Кольцовой [Koltsova, Nagornyy, 2019] на корпусах региональных российских новостей в социальных сетях и комментариев к ним исследовалось восприятие читателями социальных проблем. С помощью LDA формируются основные проблемы, поднимаемые в новостях, а также на основе комментариев пользователей оценивается их важность. Несмотря на различную степень настроений, выражаемую пользователями, авторы приходят к выводу, что большая степень поляризации мнений приводит к актуализации проблем.  Одной из модификаций LDA является алгоритм тематическое моделирование битермов (biterm topic modeling, BTM), который, в отличие от латентного размещения Дирихле, используется для построения модели коротких текстов (посты в Twitter или ответы на вопросы). В статье [Bodrunova, Blekanov, Kukarkin, 2019] оценивается работа BTM на примере постов в Twitter на русском и английском языках. Основная тематика анализируемых текстов – этнические конфликты. На основе интерпретируемости, надёжности и значимости тем была выявлена оценка процедуры моделирования. Результаты эксперимента показали, что выявление тематики поста происходит лучше, если дискуссия является многоязычной, но при этом интерпретируемость самой темы не зависит от много- или одноязычия и объёма данных. Алгоритм BTM применяется и для выявления причинно-следственных связей между оффлайновой и сетевой активностью граждан. В работе [Smoliarova, Bodrunova, Yakunin, 2018] был исследован корпус постов Twitter, посвящённый острым конфликтным ситуациям. Для оценки взаимосвязи между онлайн-активностью и офлайн-активностью пользователей, авторы использовали тематическое моделирование, которое позволило установить дальнейшую корреляцию.  Другая обновлённая модель LDA – это автор-тематическая модель (author-topic modeling, ATM), которая сочетает в себе тематическую модель со связями между словами, документами и темами, и авторскую модель, в которой отражена связь авторов с документами. На рисунке 4 представлена схема ATM.  Рис. 4. Автор-тематическая модель На схеме переменные α и β указывают на параметры скрытого размещения Дирихле, θ – это тематическое распределение документов, z указывает на тему каждого слова в документе, χ – автор слова в документе, ø содержит информацию о распределении слов в каждой теме. В последнее десятилетие учёные при тематическом анализу текстовых данных всё чаще прибегают к использованию ATM. В одной из недавних работ по анализ социальных сетей В.В. Сампетова создала и описала внутреннюю организацию корпуса русскоязычной социальной сети Пикабу и выявила схожие темы между пользователями [Mitrofanova, Sampetova, Mamaev, 2020]. В ходе построения автор-тематической модели авторам удалось исследовать соотношение тем авторских постов в корпусе и установить тематическое сходство постов пользователей данного сообщества.  В работе [Manika, Margam, 2019] был представлен метод для анализа текстовых данных в области библиотечных и информационных наук. Автор строит автор-тематическую модель для статей, опубликованных в журнале DESIDOC Journal of Library and Information Technology за 2007-2018 гг. Полученные результаты позволяют отслеживать современное состояние рассматриваемых областей, а также предсказывать актуальные проблемы библиотечного и информационного дела в Индии. 
В данной статье рассматривается тематическое моделирование как способ создания моделей коллекций текстов, который позволяет определить семантическую близость между словами и документами. Алгоритмы тематического моделирования активно применяются при анализе текстов социальных сетей, а также для выявления причинно-следственных связей между оффлайновой и сетевой активностью граждан.