4.5. Сравнение различных методов выявления скрытых сообществ, оценка и анализ результатов
Для оценки созданного подхода необходимо провести сравнение с уже существующими алгоритмами, поэтому мы прибегли к следующим методам: графовый подход, основанный на мере Жаккара, кластерный метод с привлечением doc2vec. Ниже представлено краткое описание построения моделей скрытых сообществ. Графовый метод Корпус постов состоит из более чем 25000 пользовательских текстов. Для удобства анализа мы представили их в виде VK_USER_X_POST_Y, где X – id пользователя, Y – порядковый номер поста. С помощью Python 3.7 был создан скрипт для расчёта значений меры Жаккара. Мы посчитали необходимым установить значение 0,75 минимальный порог сходства, т.е. ¾ содержания постов должно совпадать. Пары пользователей, которые удовлетворяли данным требованиям, были записаны в файл с расширением .csv. С помощью приложения Gephi был построен результирующий граф, отображающий состояние скрытых сообществ. Кластерный анализ Выделают огромное количество методов кластерного анализа: k-средних, DBSCAN, иерархический метод и т.д. В нашем исследовании для работы с большим количеством данных мы возьмём k-средних из библиотеки scikit-learn благодаря достаточно высокой степени работы и наглядности реализации. Для улучшения качества полученных моделей мы предварительно обучили модель doc2vec корпуса со следующими параметрами: размер контекстного окна – 5, размерность вектора – 100. На рисунках 14–15 представлены две модели скрытых сообществ, выделенные методом Жаккара и кластерным методом.  Рис. 14. Скрытые сообщества, выделенные графовым методом  Рис. 15. Кластеры скрытых сообществ. С помощью меры Жаккара было выявлено 344 пар семантически близких постов, которые сгруппировались в 34 сообщества. На рисунке 14 представлена фрагментарная структура взаимосвязей, существующих в корпусе. Первый очевидный результат графического анализа – это возможность выделения нескольких подмножеств: гигантский компонент (большая часть центральных узлов графа, которые связаны между собой) и отдельно стоящие узлы. Наличие большого количества пересечений свидетельствует о тесной взаимосвязи в рамках данного семантического поля. Стоит отметить, что названия тематических скрытых сообществ не отображаются при их формировании, в результате чего дальнейший анализ осуществляется вручную. Так, например, пользователи 696481, 39371 и 2500528 входят в центральное скрытое сообщество. После анализа постов было установлено, что, несмотря на различие в тематиках, у всех есть общая черта – посты ссылались на конференции Zoom. При дальнейшем анализе у пользователей данного сообщества также появлялась информация про данную платформу.  Если проанализировать фрагментарные сообщества, то они относятся к более стабильным общественным темам. Пользователей 981916, 118634, 72972 и 1417120 объединяет концертная тематика. Аналогичная ситуация и у пользователей 62729 и 4583: их объединяет тема, посвящённая здоровью человека. При этом пользователи 1361373 и 892245 также интересуются здравоохранением, но они не были объединены в единую группу с вышеуказанными пользователями. Вышеуказанные факторы могут указывать на следующие особенности при работе с графовыми методами. Эти методы частично позволяют отслеживать современные тенденции в обществе. В конкретном случае это касается онлайн-встреч, вызванных пандемией коронавируса: пользователь 696481 проводил дистанционные встречи, посвящённые религиозным темам, а пользователь 2500528 комментировал дистанционное образование. При более равномерном течении жизни в обществе итоговая картина могла бы выглядеть более раздробленной, при этом пользователи одного сообщества не имели бы связей. Это свидетельствует о невозможности учитывать семантические вариации постов. Метод k-средних создаёт из набора рассматриваемых объектов k наиболее оптимальных групп, однако природа этих групп заранее неизвестна. В результате процесс кластеризации необходимо повторять некоторое количество раз с разными параметрами, чтобы найти наиболее устойчивый вариант скрытых сообществ. Было выявлено 7 групп скрытых сообществ. Для более детального анализа графическим данным были присвоены метки, соответствующие id пользователя (рисунок 16).  Рис. 16. Пример меток данных Как мы уже отмечали, метод k-средних не требует больших временных затрат, он подходит для предварительных процедур, после которых требуется более мощные алгоритмы. В то же самое время данный алгоритм имеет ряд недочётов при анализе скрытых сообществ. Во-первых, алгоритм чувствителен к выбросам: т.е. теоретически те пользователи, темы которых не совпадают с другими, так или иначе будут отнесены к какому-либо классу. Пользователь 1415502 активно интересуется субкультурами, однако другие пользователи из корпуса не пишут посты на эту же тему. При этом методом k-средних было определено, что этот пользователь состоит в одном тематическом сообществе с пользователем 167175, который увлекается играми. Также необходимо отметить, что алгоритм не справляется с задачей, при которой объекты могут принадлежать к разным тематическим группам. В отличие от графового метода, все пользователи могут входить только в одно скрытое сообщество. Так, например, посты пользователя 1955327 посвящены книгам и здоровью, хотя на рисунке 16 он отнесён только к одной тематической группе. Возможным решением проблемы может быть комбинирование различных методов кластеризации. В частности, алгоритм DBSCAN будет учитывать «шумы» при построении моделей, в то время как алгоритм c-средних – метод нечёткой кластеризации, улучшение метода k-средних – вместо однозначного ответа приписывает объектам вероятность вхождения в кластеры, что эквивалентно некоторым элементам модели, основанной на графах, когда одна вершина может входить в несколько подграфов. При работе с гибридным подходом также необходимо отметить достоинства и недостатки. Многие алгоритмы тематического моделирования и их вариации уже успешно адаптированы для работы с русскоязычными коллекциями текстов социальных сетей. Также необходимо отметить, что при улучшении интерпретации моделей применялся алгоритм двойного ранжирования (Google PageRank и ipm в «Новом частотном словаре русской лексики» О.Н. Ляшевской и С.А. Шарова), чтобы избежать низкочастотных меток тем. В итоговой модели сообществ пользователи могут относиться к разным тематическим группам, так и обладать уникальными интересами, которые не пересекаются с интересами других людей. В то же самое время мы столкнулись с определёнными сложностями. Так, например, в разделе 4.1 приведено описание разработки токенизации и лемматизации текстов социальных сетей. Особенности написания слов или их графического представления заставляло нас прибегать к постоянному улучшению алгоритмов или ручному редактированию текстов (удаление диакритических символов, приведение слова к словарному написанию и т.д.). Алгоритмы автоматического назначения меток тем в русском и английских языках до сих пор не обладают стандартом, который позволил бы оценить качество работы разработанных методов. В разделе 4.3 мы указывали, что для оценки меток использовали сервис Google Формы и 10 независимых экспертов. Дальнейшие разработки могут быть связаны с созданием золотого стандарта, что позволит существенно сэкономить время при построении моделей скрытых сообществ. Все вышеописанные достоинства и недостатки трёх подходов можно представить в едином формате. Ниже мы приводим сводную таблицу методов по определённым параметрам. Параметр Графовый метод Кластерный анализ Гибридный метод Экономия времени + + - Возможность принадлежности пользователей к нескольким сообществам + В зависимости от алгоритма + Учёт лексико-семантических свойств - - + Возможность узнать наименование скрытого сообщества - - + Таблица 4. Сравнение методов выявления скрытых сообществ Таким образом, разработанный нами алгоритм имеет большие преимущества перед уже существующими, однако процесс обработки данных требует большого количества времени, что в дальнейшем можно оптимизировать.
В данном исследовании мы рассмотрим алгоритм выявления скрытых сообществ в русскоязычных социальных сетях. Для этого мы проанализируем более 25000 пользовательских постов, которые были сгруппированы в корпус. В результате анализа будет выделено 7 групп скрытых сообществ, которые будут объединены по тематическим признакам. Также будет проанализировано, какие пользователи могут принадлежать к разным сообществам, а какие – только к одному.