Майнинг организаций с использованием онлайн-социальных сетей

Предложенные в этой статье методы organizational mining были применены к шести известным высокотехнологичным компаниям различного масштаба: от небольших компаний с несколькимистами сотрудниками до крупных предприятий с сотнями тысяч работников. Для каждой компании процесс добычи данных включал три основных этапа. Сначала мы получили топологию неформальной социальной сети организации из общедоступных источников, как подробно описано в разделе 3. В рамках этого процесса мы собрали информацию о структуре компании, которую сотрудники раскрыли в Facebook. Представленный метод organizational data mining позволяет получить широкий спектр топологий социальных сетей организаций, которые ранее были недоступны исследовательскому сообществу..

Затем мы использовали различные метрики центральности для выявления скрытых ролей лидеров внутри каждой организации. В разделе 4 мы выделяем метрики центральности с наибольшей точностью в определении лидеров. Мы дополнительно использовали алгоритмы Machine Learning для классификации управленческих ролей в каждой организации.

На третьем шаге мы использовали современный алгоритм для кластеризации социальной сети организации на непересекающиеся сообщества, а также сопоставили выявленных лидеров и сообщества с информацией, полученной из LinkedIn (см. раздел 5). Это позволило нам определить роли многих сообществ внутри организации, предоставив важные сведения об организации. Такие сведения включали, например, географическое размещение организации, структуру ее различных подразделений, взаимосвязи между подразделениями, ранее приобретенные компании и исследовательский фокус организации. Эти детали могут помочь нам лучше понять как структуру, так и схемы коммуникации внутри организации. Они также подчеркивают необходимость для организаций осознавать уязвимость своих социальных сетей и разрабатывать политики для контроля этого воздействия по мере необходимости.

Остальная часть этой статьи организована следующим образом. В разделе 2 мы приводим краткий обзор предыдущих релевантных исследований по анализу социальных сетей с особым акцентом на организационный анализ социальных сетей. В разделе 3 мы описываем методы, используемые для получения структуры организационной социальной сети, и показываем различные полученные организационные наборы данных. В разделе 4 мы представляем методы выявления руководящих ролей организации. Затем наши методы, используемые для обнаружения ролей сообществ внутри каждой организации, описаны в разделе 5. Наконец, в разделе 6 мы представляем наши выводы и предлагаем направления будущих исследований..

В последние годы использование онлайн-социальных сетей растет в геометрической прогрессии. Онлайн-социальные сети, такие как Facebook, Twitter,33 3 http://www.twitter.com LinkedIn, Flickr,44 4 http://www.flickr.com и YouTube55 5 http://www.youtube.com, ежедневно обслуживают миллионы пользователей. С ростом использования возникли новые проблемы конфиденциальности. Эти опасения связаны с тем, что пользователи онлайн-социальных сетей часто публикуют информацию о себе и своих местах работы. В 2007 году исследование, проведенное Dwyer et al. [10], показало, что 100% людей, участвовавших в исследовании, использовали настоящие имена в своих учетных записях Facebook, а 98,6% добавили свои фотографии в свои учетные записи Facebook. Более того, в 2011 году Boshmaf et al. [3] собрали и проанализировали более 250 ГБ данных пользователей Facebook и оценили объем личной информации, раскрываемой пользователями. Они пришли к выводу, что многие пользователи Facebook раскрывают подробную личную информацию, включая дату рождения, место работы, адрес электронной почты, семейное положение и номер телефона. Используя общедоступные данные из Facebook и сопоставляя их с другими общедоступными источниками данных в сети, такими как Google66 6 http://www.google.com и LinkedIn, можно сделать вывод о дополнительных деталях пользователя Facebook, таких как конкретный опыт работы и области знаний. Например, Pipl77 7 http://pipl.com и PeekYou88 8 http://www.peekyou.com способны искать информацию о человеке в разных социальных сетях. Эти поисковые системы по людям агрегируют полученные результаты и представляют полностью детализированный личный профиль.

В данном исследовании мы использовали общедоступные данные из Facebook для того, чтобы определить, какие пользователи Facebook работали в определенной организации. Затем мы сопоставили данные пользователей с LinkedIn, результатами поиска Google и собственной веб-страницей компании, чтобы выявить должности пользователей в организации.

За последние шесть десятилетий значительный объем исследований был посвящен анализу и пониманию моделей общения между людьми внутри организаций. В 1951 году Джейкоوبсон и Сишор [19] одними из первых исследовали модели общения среди сотрудников федеральных ведомств. В 1968 году Пью и др. [34] изучили пять основных измерений организационной структуры, примененных к 52 различным организациям в Англии. В 1969 году Аллен и Коэн [2] исследовали модели технического общения и их влияние в двух научно-исследовательских и опытно-конструкторских лабораториях в Массачусетском технологическом институте. В 1979 году Тичи и др. [41] представили метод анализа организаций с использованием сетевой структуры, которая включала множество структурных свойств сети, таких как центральность, кластеризация и плотность. Тичи и др. использовали эту структуру для проведения сравнительного анализа двух организаций с несколькимистами сотрудниками. В 1991 году Спарроу [39] представил метод использования структурного анализа социальных сетей для лучшего понимания преступных организаций. В 2002 году, после трагических событий 11 сентября 2001 года, Кребс [23] изучил структурные свойства организационной сети Аль-Каиды и преуспел в выявлении лидера заговорщика с использованием структурных свойств степени и близости вершин. В 2003 году Кэмпбелл и др. [5] представили алгоритмы для определения экспертизы с использованием моделей общения по электронной почте. Их алгоритмы были оценены на двух разных организациях. В нашем собственном исследовании мы показываем, что экспертиза, лидерство и роли сообществ могут быть идентифицированы с использованием общедоступных источников данных даже без доступа к внутренним данным организации, таким как журналы электронной почты. С 2004 года, после публикации около 500 000 писем сотрудников компании Enron [37], многие исследователи использовали этот набор данных внутренней электронной почты, чтобы лучше понять социальную сеть корпорации Enron и обнаружить различные идеи об организации [8, 9, 25, 38, 44].

В последние годы с ростом популярности использования онлайн-социальных сетей многие исследования были посвящены использованию и преимуществам как публичных, так и внутренних служб социальных сетей для организаций. В 2009 году Штайнфилд и др. [40] исследовали связь между социальным капиталом и использованием служб социальных сетей, развернутых внутри организаций. В том же году Руксби и др. опубликовали подробный отчет о том, как онлайн-социальные сети используются в контексте рабочего места [35]. Всесторонние обзоры организационных социальных сетей могут предоставить дополнительные сведения [21, 33, 20].

Работа, представленная в этой статье, тесно связана с внутренним исследованием организации Hewlett-Packard, проведенным в 2004 году Тайлером и др. [42]. Анализируя корпус электронной почты организации, который содержал более миллиона сообщений, они обнаружили топологию организационной социальной сети и выявили сообщества внутри организации. Авторы использовали метрику центральности по посредничеству [15] для выявления лидерских ролей в организации. Они также применили версию алгоритма Уилкинсона и Хубермана [43], которая разделяет социальную сеть организации на сообщества. Результаты оценивались путем опроса нескольких сотрудников о сообществе, в которое они были автоматически помещены алгоритмом обнаружения сообществ. Наддаф и Мутяла [28] представили похожее исследование в 2010 году. Они продемонстрировали метод извлечения неформальных социальных сетей, образуемых сотрудниками организации на основе записей их электронной почты. Они протестировали свой метод на крупном клиенте из государственного сектора и определили авторитет сотрудников с помощью меры PageRank [32]. Кроме того, Наддаф и Мутяла использовали алгоритм Fast Modularity [6] для выявления сообществ в организационной социальной сети своего клиента.

В ходе данного исследования мы использовали наши организационные веб-краулеры для сбора значительного объема данных из открытых источников, касающихся изучаемых организаций и их сотрудников. Насколько нам известно, правила Университета имени Бен-Гуриона в Негеве не требуют получения специального одобрения этического комитета для исследований, в которых используются данные, собранные из открытых источников. Тем не менее, чтобы защитить конфиденциальность сотрудников организаций и обнаруженные конфиденциальные сведения об организациях, мы анонимизировали названия организаций на протяжении всей данной статьи. Кроме того, в приложенных опубликованных наборах данных мы анонимизировали идентификаторы сотрудников в Facebook, случайным образом заменив идентификаторы пользователей Facebook последовательностью целых чисел..

Для проверки методов сбора организационных данных, описанных в Разделе 3, мы использовали наш web crawler для социальных сетей организаций с целью сбора общедоступных данных из шести широко известных высокотехнологичных компаний.

Результаты обхода организации представлены в таблице 1, где все данные об организациях были получены в течение 2012 года.

Мы сгруппировали компании по их размеру: Малые (S), в которых в настоящее время работает от 500 до 2 000 человек; Средние (M), в которых работает от 4 000 до 20 000 человек; и Крупные (L), в которых работает более 50 000 человек. Данные по одной компании каждого масштаба были получены с использованием каждой версии краулера организации. Мы обозначаем три компании, на которые были нацелены Версия 1 и Версия 2 краулера, как S1, M1, L1; и S2, M2 и L2 соответственно..

В следующих подразделах мы подробно описываем свойства каждого собранного набора данных организации (см. Таблицу 2). Мы использовали программное обеспечение Cytoscape [36] для визуализации социальных сетей, сформированных сотрудниками каждой организации.99 9 Все графы организаций, представленные в данной статье, встроены в виде изображений в формате масштабируемой векторной графики (SVG), что позволяет читателю приближать и просматривать каждый узел на каждом графе. Цвета вершин на Рисунках 1-6 представляют различные роли кластеров, как будет объяснено в Разделе 5. Результаты анализа этих сетей представлены в Разделах 4 и 5.⟧.

Используя датасеты организации, описанные в разделе 3.2, мы приступили к выявлению ролей лидеров внутри организации с использованием нескольких мер центральности. Для каждого узла в социальной сети неформальной организации мы рассчитали восемь мер центральности:1010 10 Меры центральности были рассчитаны с использованием пакета Networkx [17] для Python. Центральность по степени (DG), центральность по близости (CL) [29], центральность по посредничеству (BC) [15], HITS (H) [22], PageRank (PR) [32], собственная центральность (EC), центральность достижимости (CC) [13] и центральность по нагрузке (LC) [31]. Затем мы отсортировали список пользователей сканированной организации в соответствии с различными мерами центральности.

Мы вручную изучили топ-20 профилей пользователей по каждой мере центральности, чтобы определить позиции сотрудников внутри целевой организации. Поскольку значительная доля пользователей Facebook не указывает свои должности на странице профиля, мы использовали другие онлайн-источники, такие как LinkedIn или результаты поисковой системы Google, чтобы вручную классифицировать, занимает ли конкретный сотрудник руководящую должность. Мы будем называть руководителей, которые не указывают свою должность на Facebook, скрывающими свою руководящую должность. Мы установили, что положение сотрудника в неформальной социальной сети организации с высокой точностью раскрывает его или ее управленческую роль внутри организации, даже если она не была указана на Facebook.

В таблице 3 представлена точность идентификации лидерства для 10 (T-10) и 20 (T-20) наиболее значимых профилей пользователей для различных показателей центральности. Результаты показывают, что каждый из рассчитанных показателей центральности может помочь в выявлении руководителей внутри организаций. Показатель близости продемонстрировал самую высокую среднюю точность на уровне 20 (0,76), в то время как PageRank получил самый низкий балл (0,70).).

В таблице 4 приведено количество скрытых управленческих ролей, которые могут быть обнаружены с использованием меры близости. Из 85 руководителей, выявленных путем фокусировки на 20 пользователях Facebook с наивысшим показателем центральности по близости в рамках неформальной социальной сети их организации, 40% не указали свои должности в Facebook..

Согласно этим результатам, высокая центральность в неформальной социальной сети организации является хорошим показателем лидерской роли внутри организации. Однако этот простой общий метод позволяет определить руководящие роли сотрудников только с относительно высокими показателями центральности; другие руководящие роли с более сложными критериями центральности, следовательно, не будут определены с помощью этого метода. Для преодоления проблемы сложных критериев центральности мы использовали современные Machine Learning алгоритмы для классификации руководящих ролей в каждой организации (см. раздел 4.2).

Используя передовые методы Machine Learning, мы создали классификаторы, способные определять руководящие должности внутри каждой организации. Это позволило нам выявить сотрудников с управленческими ролями, которые соответствуют более сложным критериям centrality. Более того, применение схожих методов и приемов помогает различать различные типы должностей, такие как позиции высшего руководства и R&D инженерные роли.

Для того чтобы использовать Machine Learning алгоритм, нам сначала потребовалось создать обучающий набор, состоящий из достаточного количества обучающих примеров. Каждый обучающий пример представляет собой собранного пользователя в организации. Целевой атрибут является бинарным атрибутом, который указывает, занимал ли пользователь руководящую роль внутри организации или нет, в то время как признаки экземпляра представляют собой различные извлеченные centrality measures. Мы создали достаточное количество обучающих примеров, быстро просмотрев данные пользователей, извлеченные из их профилей Facebook. Анализируя просканированные с помощью web crawler пользовательские профили организаций, мы обнаружили, что в среднем 28.1% собранных пользователей внесли по крайней мере частичную информацию о своих предыдущих и текущих должностях в свои профили Facebook (см. Таблицу 2). Для каждого пользователя, который указал свой предыдущий или текущий опыт работы, мы попытались определить, занимал ли пользователь руководящую должность внутри организации. В некоторых случаях мы также проводили более глубокую проверку пользователя путем перекрестной проверки опыта работы пользователя с данными, полученными из других источников, таких как LinkedIn. Используя этот метод, мы просмотрели и классифицировали профили 4,767 пользователей. Из 4,767 вручную классифицированных должностей мы выделили 1,470 пользователей, занимавших руководящие должности (см. Таблицу 4). Все эти профили были переданы в WEKA [18], популярный набор программного обеспечения Machine Learning, в качестве обучающих примеров. Используя WEKA, мы протестировали множество различных алгоритмов Machine Learning, таких как OneR (OR), K-Nearest-Neighbors (IBk) с $K\in\{1,3,10\}$, Naive-Bayes (NB), Decision tree (J48), Logistic (LG) и RandomForest (RF). Наконец, мы оценили каждый классификатор, используя метод 10-кратной перекрестной проверки и вычислив Accuracy, F-measure и AUC (Area Under the ROC curve) (см. Таблицу 5). Мы использовали T-тесты с уровнем значимости 0.05 для сравнения различных классификаторов. Согласно результатам T-теста, для каждой организации, кроме S1, все классификаторы показали лучшие результаты Accuracy по сравнению с наивным классификатором ZeroR (ZR). Более того, в большинстве случаев простого классификатора OneR вполне достаточно для получения близкой к максимальной Accuracy. Тем не менее, лучшие результаты AUC и F-measure были получены с использованием более продвинутых классификаторов, таких как Logistic и RandomForest классификаторы.

Чтобы лучше понять структуру каждой организации, мы использовали реализацию быстрого жадного алгоритма Жирвана — Ньюмана в Cytoscape [6] для разделения каждой неформальной социальной сети на непересекающиеся сообщества. Каждое сообщество отмечено отдельным цветом на рисунках 1-6. Формы узлов на этих рисунках указывают на то, занимал ли конкретный сотрудник руководящую должность в организации. Треугольные узлы представляют тех, кто, насколько нам известно, занимал руководящие должности, в то время как квадратные узлы представляют пользователей, которые не занимали никаких руководящих должностей. Круги обозначают сотрудников, занимающих неизвестную должность в организации.

После разделения неформальной социальной сети каждой организации на непересекающиеся сообщества мы проанализировали роль всех основных сообществ внутри организации (см. Таблицу 6). Мы сопоставили членов сообществ с описаниями должностей и местами жительства из их профилей на Facebook. Мы также случайным образом выбрали несколько десятков пользователей из каждого сообщества. Для этих выбранных пользователей мы вручную проверили их должности в организации, используя общедоступные источники, такие как LinkedIn. В ходе этого процесса мы просмотрели профили нескольких тысяч сотрудников и определили организационные позиции 4767 пользователей. Роль каждого сообщества в организации определялась по преобладанию должностей членов сообщества, их географическому положению и истории занятости. Например, если большинство выбранных пользователей сообщества жили в Нью-Йорке и работали разработчиками программного обеспечения внутри организации, то мы определяли, что сообщество является частью подразделения R&D организации в Нью-Йорке. Поняв роль каждого сообщества, мы сделали выводы об организации и нанятых ею людях. Роли различных сообществ в целевых организациях представлены в Разделах 5.2.1 - 5.2.6.