Иерархические и матричные структуры в крупной сети электронной почты организации: подходы к визуализации и моделированию

В данной статье мы представляем результаты нашего анализа крупного набора данных электронной почты организации, включающего практически полные записи почтового трафика Лос-Аламосской национальной лаборатории (LANL) за период в несколько месяцев.11 1 Этот документ является расширенной версией [1], представленной в Lecture Notes in Social Networks (Springer). В литературе проанализировано очень мало организационных коммуникационных сетей такого масштаба. Анализ столь крупных наборов данных электронной почты из сложных организаций сопряжен с рядом проблем. Во-первых, требуется значительная работа по синтаксическому анализу больших объемов необработанных данных из сетевых журналов и преобразованию их в формат, подходящий для сетевого анализа и визуализации. Во-вторых, требуется большая осторожность при анализе и визуализации сетевых данных таким образом, чтобы осмыслить сложные формальные организационные структуры — в нашем случае 456 организационных единиц, связанных посредством разнообразных организационных иерархий и цепочек управления. Наконец, может быть трудно отделить эффекты почтового трафика, генерируемого массовыми рассылками и коммуникациями по цепочкам управления, от более хаотичного, менее иерархичного трафика, порождаемого повседневным взаимодействием между коллегами..

В данной статье эти сложности рассматриваются двумя способами. Во-первых, мы демонстрируем методы понимания крупномасштабных структурных взаимосвязей между организационными единицами с использованием тщательно продуманных стратегий визуализации и базовой статистики графов. Во-вторых, мы предлагаем степенную модель для прогнозирования распределения степеней почтового трафика для узлов с высокой степенью, которые участвуют в массовых рассылках по иерархическим линиям коммуникации. Вероятно, это характеризует значительную часть почтового трафика от менеджеров (и их агентов) к сотрудникам, находящимся под их руководством..

Хотя многие аналитики исследовали способы извлечения структурных особенностей из сетей корпоративного email traffic, они обычно фокусировались на уровне обмена письмами между отдельными лицами (хотя иногда и большими группами людей), привнося в свой анализ мало информации о формальных organizational hierarchy или вообще не используя ее [2, 3, 4]. Агрегация связей на основе формальных organizational structures предлагает другой важный уровень понимания, который может быть особенно полезен для менеджеров и аналитиков, интересующихся взаимодействием между business units, возможностями или функциями, а не отдельными людьми. Автоматически собранные email data имеют значительные преимущества для фиксации взаимодействий между организационными единицами: хотя электронная почта не отражает все релевантные взаимодействия, она обеспечивает всесторонний охват всей организации без накладных расходов, характерных для крупномасштабных исследований на основе опросов. Чтобы определить положение людей внутри организационных структур, мы использовали данные телефонных справочников организации для сопоставления адресов электронной почты с низкоуровневыми организационными единицами, а также информацию из организационных диаграмм для создания отображений этих единиц на более высокие уровни.

Предполагается, что несколько типов сетей, включая биологические метаболические сети [8], Всемирную паутину и сети актеров [9], имеют степенные распределения связности узлов. В случае метаболических сетей интерпретация поведения безмасштабных сетей осложняется отсутствием полных знаний и относительно небольшими размерами ($\sim$103 узлов) таких сетей, в то время как механизмы самоподобия во многих крупных социальных сетях все еще являются предметом дискуссий. Однако было показано, что организационная иерархия порождает распределения степеней для контактов между индивидами, которые следуют степенным законам [10].

Менеджеры предпочитают использовать электронную почту для общения с подчиненными в самых разных коммуникативных контекстах [11]. Мы предполагаем, что шаблоны связности узлов в сетях электронной почты крупных формальных организаций обусловлены, отчасти, управленческой иерархией и специфическими паттернами использования электронной почты менеджерами, в частности массовой рассылкой объявлений по электронной почте. На основе этого наблюдения мы разрабатываем бессмасштабную поведенческую модель, которая учитывает особенности, характерные для коммуникаций по электронной почте в организациях. В этой модели самоподобие распределения связности сети электронной почты является следствием статического самоподобия структуры управления, а не результатом динамического процесса, такого как preferential attachment [12] или стратегии оптимизации [13]. Более того, самоподобие обусловлено способностью менеджера непрерывно и напрямую общаться только с относительно небольшим числом людей, в то время как коммуникации с другими сотрудниками должны передаваться в форме широких объявлений.

Предположим, что высший руководитель в организации время от времени отправляет электронные письма всем сотрудникам. Этот руководитель должен соответствовать узлу в сети электронной почты, который имеет наибольшую связность $N$. Предположим также, что высший руководитель напрямую (лично) общается с $l$ руководителями, которые находятся всего на один уровень ниже в иерархии директора (назовем их руководителями 1-го уровня). Каждый из этих руководителей 1-го уровня, предположительно, контролирует собственные подразделения в организации. Предполагая примерно равный масштаб управленческого контроля, мы можем ожидать, что обычно один руководитель 1-го уровня отправляет электронные письма $N/l$ людям. На практике у каждого руководителя также есть вспомогательная команда, такая как помощники, администраторы, технические специалисты и т. д., которые также могут рассылать объявления всему подразделению..

Давайте введем коэффициент $a$, который показывает, сколько сотрудников службы поддержки участвуют в рассылке глобальных уведомлений по электронной почте в подразделении в том же масштабе, что и их руководитель. Тогда мы можем заключить, что на 1-м уровне сверху находятся $al$ человек, которые отправляют электронные письма $N/l$ сотрудникам на более низком уровне.

Каждый менеджер 1-го уровня управляет $l$ менеджерами 2-го уровня, и мы можем повторить наши рассуждения, придя к выводу, что на 2-м уровне должно быть $(al)^{2}$ менеджеров, которые должны быть связаны с $N/(l^{2})$ людьми в соответствующих подразделениях. Продолжая эти рассуждения для более низких уровней иерархии, мы находим, что на заданном уровне $x$ должно быть $(al)^{x}$ менеджеров (или их представителей), которые пишут объявления по электронной почте для $N/(l^{x})$ людей в своем подразделении.

Рассмотрим график, показывающий количество узлов $n$ в зависимости от веса этих узлов, то есть их исходящей степени $w$. Принимая во внимание предыдущие аргументы, мы находим, что вес $w=N/(l^{x})$ должен соответствовать узлам $n=(al)^{x}$. Исключая переменную $x$, мы находим

$${\rm log}(n)=\frac{{\rm log}(al)}{{\rm log}(l)}\left({\rm log}(N)-{\rm log}(w)\right),$$

(1)

где ${\log}$ представляет собой натуральный логарифм.

Ур. (1) показывает, что распределение связности, $n(w)$, в иерархической организационной сети электронной почты в целом должно подчиняться степенному закону с показателем $\frac{{\rm log}(al)}{{\rm log}(l)}>1$. Очевидно, что на некотором уровне $x$ эта иерархия должна завершаться примерно в той точке, где $(al)^{x}=N/(l^{x})$, поскольку количество руководителей в норме не должно превышать количество сотрудников. Следовательно, ожидается, что степенной закон (1) выполняется только для узлов с большими весами, например $n>50$, то есть для узлов, которые отправляют массовые рассылки по принципу «один ко многим», а при меньших $n$ эта модель предсказывает переход к какой-то иной структуре распределения степеней. На этом уровне весьма вероятно, что неиерархические модели коммуникации в любом случае начинают доминировать.

Чтобы сравнить эту модель с фактическими данными сети, мы проанализировали статистику связности узлов в записях электронной почты в ЛАНЛ за двухнедельный интервал времени (рис. 8). Мы удалили узлы, не входящие в домен $lanl.gov$, и очистили базу данных от различных автоматически сгенерированных сообщений, таких как возвращенные электронные письма, которые не находят свой целевой домен. Тем не менее, мы сохранили домены, не соответствующие конкретным сотрудникам, такие как письма, отправленные службами поддержки программного обеспечения. Наша оставшаяся сеть состояла из $N\approx 32000$ узлов, что все еще примерно в три раза превышает количество сотрудников в ЛАНЛ. Это частично объясняется тем, что мы не исключили домены, не привязанные к конкретным людям, а также тем, что значительная доля сотрудников имеет более одного адреса электронной почты по различным практическим причинам.

Численный анализ, в принципе, должен позволить нам получить информацию о параметрах $l$, $x$ и $a$, на основе которых можно сделать весьма приблизительные выводы о структуре организации. Такой анализ, разумеется, всегда следует применять с определенной долей скептицизма из-за потенциальных проблем с качеством данных, простоты модели и логарифмической зависимости степенного закона от некоторых из этих параметров [14]. Мы обнаружили, что наши данные для $w>40$ хорошо аппроксимируются с помощью ${\rm log}(n)\approx 14.0-2.47{\rm log}(w)$ (Рис. 8). Если, например, мы предположим $l=4$, то $a\approx 7$, то есть каждый руководитель имеет поддержку в среднем $a-1=6$ человек, которые помогают ей публиковать различные объявления в ее зоне контроля. Степенной закон должен обрываться на уровне иерархии $x$, заданном $(al)^{x}=N/(l^{x})$, что соответствует $x\approx 3$, то есть данные электронной почты показывают, что между рядовым сотрудником и высшим руководством организации обычно насчитывается $x=3$ руководителей разных рангов. Типичное количество почтовых доменов, на которые менеджер низшего звена отправляет объявления, составляет $w_{\rm min}\approx N/l^{x}\approx 48$. Это также должно быть степенью узлов, при которой степенной закон (1) больше не должен быть оправдан. Действительно, мы обнаруживаем нарушение степенного закона (1) при $w<40$. Эта оценка также предсказывает, что рядовой сотрудник получает электронные письма от $(x+1)a=28$ руководителей или их групп поддержки.

Сравнение этих результатов с фактической организационной структурой организации весьма затруднено из-за большого избытка адресов электронной почты по сравнению с количеством реальных сотрудников и отсутствия эмпирических данных по многим параметрам модели. Учитывая эти трудности, оцененные параметры модели кажутся в целом согласованными с фактической организационной структурой. На самом деле в LANL имеется 5 возможных уровней линейного менеджмента между сотрудником и директором лаборатории, но это осложняется тем фактом, что самый нижний уровень часто не используется, а некоторые сотрудники работают в организациях, которые подчиняются непосредственно менеджеру более высокого уровня. Таким образом, приведенная выше оценка $x\approx 3$ может соответствовать реальной организационной структуре. Средний размер группы в LANL трудно определить количественно на основе имеющихся данных, но он, как правило, находится в диапазоне 20-40 человек, что несколько ниже количества доменов (48), на которые менеджер самого низкого уровня отправляет электронные письма на основе оценок модели. Опять же, хотя эти результаты могут указывать на возможные выводы о точности модели, в настоящее время у нас нет данных достаточного качества для проведения строгого сравнения между оценками модели и реальной организационной структурой в данном случае.

На рис. 9 показаны общий объем трафика электронной почты и количество адресов, отправляющих электронную почту в течение одной недели с разрешением в одну минуту. Рабочие дни имеют бимодальное распределение с наибольшей активностью в начале и в конце дня. Более низкий уровень активности в пятницу связан с альтернативным графиком работы, которого придерживается большинство сотрудников LANL. Этот график позволяет сотрудникам отдыхать каждую вторую пятницу в обмен на увеличение продолжительности рабочего дня с понедельника по четверг. В результате в любую конкретную пятницу на работе находится лишь чуть более 50% сотрудников. Это напрямую отражается на объеме почтового трафика по пятницам.

Визуализация и моделирование почтового трафика в сложных организациях остается сложной задачей. Визуализация данных электронной почты с точки зрения формальных организационных подразделений снижает сложность и обеспечивает результаты, которые более понятны членам организации и аналитикам, заинтересованным в понимании организационной структуры на макроуровне. Для прогнозирования распределения степеней узлов с высокой степенью в организации мы находим полезным учитывать как организационную иерархию, так и поведение, специфичное для электронной почты (в частности, использование массовых рассылок в цепочках линейного руководства). Эти выводы показывают, что учет информации о формальных организационных структурах наряду с данными почтовой сети может дать значительные новые представления о функционировании крупных, сложных организаций.