2.3. Кластерный анализ как способ определения скрытых сообществ в социальных сетях
Алгоритмы машинного обучения начали активно развиваться в последнее десятилетие, что позволило применить новые методы при выявлении скрытых сообществ. Одна из первых работ появилась в 2000-х гг. В [Mishra, Schreiber, Stanton, 2007] на основе показателей плотности и разреженности реальных сообществ проводится кластеризация скрытых. В статье показано, что сообщества могут приобретать приблизительно то же количество скрытых связей, что и реальные группы.  Социальные сети могут использоваться террористическими организациями для распространения сообщений с целью оказания влияния на людей и их дальнейшей вербовки в экстремистские группировки. Кластерный анализ, как и графовые методы, также применяется для выявления подобного рода сообществ. В [Krzemień, Sánchez-Rebollo, Puente, 2019] анализируются посты в сети Twitter, которые могут выявить потенциальных лидеров террористических организаций и их последователей. Исследователи прибегают к методам Big Data для анализа постов в режиме реального времени с целью классификации пользователей по различным параметрам: уровень активности, влияние на других пользователей, содержание сообщений и пр. Для классификации пользователей использовались методы нечёткой кластеризации. Однако авторы подчёркивают, что данный способ подойдёт не только для обнаружения террористов: подобным образом сотрудники страховых компаний могут выявлять нежелательных клиентов, а сотрудники миграционных служб могут извлечь дополнительную информацию о кандидатах, с которыми они общаются в данный момент. В [Singh, Shakya, Biswas, 2016] был представлен алгоритм, основанный на кластеризации и семантическом сходстве анализируемых постов англоязычного сегмента Twitter. Семантическая близость выявлялась за счёт использования онлайн-тезауруса WordNet. В результате удалось выявить три устойчивых группы в исследуемом наборе данных. Рейханиан А. также проводит аналогичное исследование, в котором комбинируется кластерный подход и подход, основанный на тематическом сходстве исследуемых текстов [Reihanian, 2016]. Материалом для исследования послужили открытые англоязычные датасеты, посвящённые отзывам на книги и фильмы: Movielens   100k, Book-Crossing, CIAO, MovieTweetings и Movielens Latest. Каждый объект подвергался предобработке, ему присваивалась тема. Подобная процедура проводилась с каждым последующим элементом, после чего к группе аннотированных данных применялся кластерный анализ. В результате сравнения созданного подхода с классическими алгоритмами было установлено, что качество сформированных моделей улучшилось в среднем на 1–2%. В [Jia, Zhang, Zhang, 2019] выдвигается предположение, что типовые алгоритмы кластеризации наподобие k-средних или смешанные гауссовские модели не подходят для разрешения проблемы пересекающихся сообществ: в реальной жизни группы имеют более тесные связи, нежели те, которые обнаружены автоматическими методами. Авторы предлагают использовать алгоритм CommunityGAN (Community Detection with Generative Adversarial Nets) – выявление сообществ с применением генеративно-состязательных сетей. Генеративно-состязательная сеть является одним из алгоритмов машинного обучения без учителя, она состоит из двух нейронных сетей. Первая «порождает» образцы (сообщества), а вторая отличает истинные сообщества от ложных, тем самым позволяя уменьшить «зашумление» полученных моделей и представить более чёткую картину о пересекающихся сообществ. В результате анализа каждая вершина получает вес – коэффициент связи с другими сообществами. Эксперименты были проведены на пяти реальных датасетах, результаты позволили утверждать, что CommunityGAN существенно превосходит базовые алгоритмы. В статье [Acharya, Zhang, 2020] кластеризация сети сообществ производится с помощью распределения Гумбеля на различных наборах данных: собрание политических произведений, роман «Отверженные» и пр. Как и во многих других статьях, сообщества-кластеры заранее не известны, поэтому применить какие-либо оценочные метрики представлялось затруднительным. Вместо этого авторы прибегли к метрике модулярности, которая оперирует только полученной сетью сообществ. Эксперименты с большим числом датасетов показали высокие результаты, что позволило сделать выводы о применимости данного алгоритма кластеризации к невзвешенным и неориентированным графам. Дальнейшие исследования предполагают работу со взвешенными и ориентированными графами. Алгоритмы кластеризации также успешно применяются и на русскоязычном материале. В [Rytsarev, Kupriyanov, Kirsh, 2018] освещается проблема классификации аккаунтов Twitter на основе загруженных пользователями медиафайлов (фото, видео и пр.). Неоднородный характер контента, а также колоссальные объёмы анализируемой информации приводят к чрезмерной вычислительной сложности при обработке. Авторам удалось выделить 13 основных кластеров пользователей, объединённых такими тематиками, как животные, спорт, автомобили и пр. В [Хлопотов, Старцева, Макаренко, 2019] кластеризация проводится на основе мнений о фильмах. Перед исследователями стояла задача проанализировать комментарии, оставленные под фильмами на сайте Кинопоиск, и выявить их взаимосвязь с тематическими сообществами ВКонтакте. В результате анализа групп и фильмов были выявлены тенденции тематик каждого кластера, а сами пользователи с помощью алгоритма k-средних были разбиты на три группы – фанаты комиксов, юмористы, а также интеллектуалы.  Стоит отметить, что, несмотря на различные подходы к выявлению скрытых сообществ, экспериментальные данные показывают, что каждый из вышеописанных методов является достаточно эффективным способом, который впоследствии можно подвергнуть модификации. В нашей работе мы проведём анализ социальных сетей и выявление скрытых сообществ на основании не только математических методов, но и лингвистических.                     
В данной статье рассматривается проблема выявления скрытых сообществ в социальных сетях. В качестве основы для анализа будут взяты англоязычные датасеты, посвящённые отзывам на книги и фильмы, а также комментарии пользователей на сайте Кинопоиск. В работе будут применены различные методы, такие как кластерный анализ, графовые методы, генеративно-состязательные сети и пр.