Может ли Large Language Model предсказать текучесть кадров?

Текучесть кадров относится к добровольному или принудительному уходу сотрудников из организации и является серьезной проблемой для бизнеса из-за влияния на операционную эффективность и затраты. Высокие показатели текучести могут нарушить производительность, увеличить финансовое бремя найма и обучения новых сотрудников, а также негативно повлиять на общий моральный дух коллектива. Текучесть можно разделить на два основных типа: добровольная текучесть, при которой сотрудники уходят по собственному желанию (например, из-за лучших возможностей или неудовлетворенности текущей ролью), и принудительная текучесть, при которой работодатель расторгает трудовой договор с сотрудником из-за таких факторов, как низкая эффективность работы или организационная реструктуризация..

Несколько факторов способствуют оттоку кадров. К ним могут относиться личные причины, такие как отсутствие возможностей для карьерного роста, неадекватная компенсация, плохой баланс между работой и личной жизнью и ограниченное признание заслуг. Организационные факторы, такие как неудовлетворительное руководство, несоответствие между должностными обязанностями и навыками сотрудников, токсичная рабочая культура и воспринимаемая неуверенность в завтрашнем дне, также являются основными драйверами текучести кадров (Pallathadka et al., 2022). Внешние факторы, включая изменения на рынке труда или более выгодные предложения от конкурирующих фирм, еще больше усугубляют эту проблему (Raza et al., 2022).

Для организаций последствия текучести кадров выходят за рамки затрат на замену сотрудников. Сам процесс найма обходится дорого и отнимает много времени, так как включает в себя рекрутинг, собеседования, адаптацию и обучение. Кроме того, потеря опытных сотрудников может привести к временному снижению организационных знаний и производительности, особенно если уходящие сотрудники занимают критически важные должности. Согласно отчету Общества по управлению человеческими ресурсами за 2016 год, средняя стоимость найма нового сотрудника превышает 4000 долларов, а средний годовой показатель текучести кадров в США оценивается в 19% (Blatter et al., 2016). Следовательно, прогнозирование и предотвращение оттока персонала стали стратегическим приоритетом для HR-отделов, что стимулирует разработку более совершенных аналитических методов для выявления сотрудников из группы риска и реализации целевых стратегий удержания.

Традиционные методы прогнозирования текучести кадров включают ручной анализ исторических данных, таких как выходные интервью и аттестации сотрудников. Однако эти подходы ограничены по охвату, точности и масштабируемости, особенно для крупных организаций со сложной динамикой. Machine learning (ML) стало более продвинутым решением, предлагающим более высокую точность и адаптивность. Алгоритмы ML могут анализировать большие объемы данных, выявляя сложные, нелинейные взаимосвязи между характеристиками сотрудников и рисками увольнения. Распространенные методы ML для прогнозирования текучести включают логистическую регрессию, деревья решений, случайные леса и более продвинутые методы, такие как машины опорных векторов и XGBoost. Эти модели обрабатывают различные структурированные точки данных, включая демографические показатели сотрудников, стаж работы и оценки эффективности, а также учитывают внешние факторы, такие как рыночные тенденции и экономические условия. Такой комплексный подход позволяет организациям создавать более надежные предиктивные модели. Ряд исследований (Raza et al., 2022; Alduayj and Rajpoot, 2018; Jain et al., 2020) продемонстрировали эффективность различных подходов ML при прогнозировании текучести кадров..

LLM произвели революцию в области обработки естественного языка с момента появления моделей на основе transformers, представленных Васвани и соавторами (Vaswani, 2017) в 2017 году. Эти модели используют механизмы self-attention для эффективного учета долгосрочных зависимостей в тексте, превосходя традиционные рекуррентные нейронные сети. Архитектура multi-head attention позволяет параллельно обрабатывать несколько паттернов внимания, решая проблемы затухающих градиентов и повышая масштабируемость. LLM, построенные на принципах transformers, обучаются на огромных наборах данных для моделирования сложных языковых распределений. Их исключительная эффективность в NLP (Achiam et al., 2023; Chen et al., 2024a) и научных приложениях (Chen et al., 2024b; Chen et al., 2022) привела к расширению исследований их потенциала в управлении персоналом, включая применение в управленческом консалтинге (Mohan, 2024), HR чат-ботах (Singh, 2023) и развитии сотрудников (Budhwar et al., 2023)⟧.

Набор данных IBM HR Analytics Employee Attrition & Performance представляет собой хорошо структурированную коллекцию данных о сотрудниках, направленную на выявление факторов, способствующих текучести кадров. Он содержит подробную информацию о 1470 сотрудниках с 35 различными атрибутами, которые предлагают всесторонний обзор различных аспектов, связанных с эффективностью работы сотрудников, демографическими данными и удовлетворенностью работой. Этот набор данных обеспечивает ценную основу для HR analytics и predictive modeling, что делает его подходящим для задач machine learning, сфокусированных на прогнозировании текучести кадров. Набор данных обладает следующими базовыми характеристиками:

• ⟦• Размер: Набор данных состоит из 1 470 строк, каждая из которых представляет отдельного сотрудника, и 35 столбцов, фиксирующих конкретные атрибуты, связанные с демографическими данными сотрудников, должностными обязанностями и показателями эффективности..
• ⟦• Формат: Набор данных представлен в формате CSV, что делает его легкодоступным и совместимым с большинством инструментов обработки данных и библиотек машинного обучения..
• ⟦• Пропущенные значения: Набор данных не содержит пропущенных значений, при этом во всех столбцах насчитывается 1470 ненулевых записей. Это обеспечивает целостность данных и устраняет необходимость в обширной очистке данных, что позволяет использовать более простой конвейер предварительной обработки..

Набор данных IBM HR Analytics Employee Attrition & Performance, представленный в таблице 1, содержит исчерпывающий перечень признаков для анализа факторов, способствующих текучести кадров. Набор данных охватывает широкий спектр информации: от базовых демографических данных (таких как возраст, пол и семейное положение) до детальных характеристик, связанных с работой (включая отдел, должностную роль и показатели стажа). Кроме того, он содержит данные о компенсациях, льготах, показателях эффективности и факторах рабочей среды. Примечательно, что признаки, связанные с удовлетворенностью сотрудников, такие как удовлетворенность работой, баланс между работой и личной жизнью и удовлетворенность отношениями, позволяют получить представление о нематериальных аспектах опыта сотрудников. Другие переменные, такие как расстояние от дома и количество компаний, в которых сотрудник работал ранее, могут указывать на менее очевидные факторы влияния на текучесть кадров. Поскольку текучесть является бинарной целевой переменной, данный набор признаков позволяет проводить надежный анализ и предиктивное моделирование, помогая HR-специалистам лучше понимать и контролировать текучесть персонала..

Таблица 2 представляет описательную статистику для ключевых числовых признаков в наборе данных, которые могут влиять на отток сотрудников. Каждый признак описывается его количеством, средним значением, стандартным отклонением и перцентилями (минимальное, 25-е, 50-е, 75-е и максимальное значения).).

Например, средний возраст сотрудника в наборе данных составляет примерно 36,92 года при стандартном отклонении 9,14 года, в то время как месячный доход имеет среднее значение 6 502,93 доллара США с диапазоном от 1 009 до 19 999 долларов США. Эти статистические данные дают представление о распределении набора данных и послужат основой для нашего прогнозного моделирования закономерностей оттока кадров.

Чтобы убедиться, что набор данных является чистым и релевантным для нашего анализа, мы выполнили несколько этапов предварительной обработки. Сначала был загружен набор данных, содержащий различные атрибуты сотрудников. Некоторые из этих атрибутов были избыточными или бесполезными для прогнозирования оттока кадров.

Мы уменьшили набор данных, удалив следующие признаки:

• ⟦• EmployeeCount: Этот признак имеет постоянное значение для всех записей и, следовательно, не предоставляет полезной информации для predictive modeling.
• ⟦• StandardHours: Аналогично EmployeeCount, этот столбец содержит одинаковое значение для каждого сотрудника и не вносит вклад в вариативность, необходимую для задач классификации.
• ⟦• Over18: Этот признак содержит только одно значение («Да») во всех экземплярах, что не обеспечивает никакого полезного различия между сотрудниками.
• ⟦• EmployeeNumber: Это просто идентификатор для каждого сотрудника и он не влияет на результат прогнозирования оттока.

Удаляя эти признаки, мы устранили ненужные столбцы и снизили размерность данных, что может улучшить производительность модели за счет концентрации внимания только на релевантных атрибутах. Этот шаг имеет решающее значение для предотвращения переобучения модели на нерелевантных или избыточных данных.

Баланс данных. На рисунке 1 показано распределение оттока персонала в наборе данных после очистки и сокращения. Большинство сотрудников, а именно 83,9%, не покинули компанию, в то время как уволились лишь 16,1%. Такой существенный дисбаланс в классах оттока подчеркивает необходимость учета дисбаланса классов при построении прогнозных моделей.

В частности, методы вродеoversampling миноритарного класса или применение специализированных алгоритмов для несбалансированных данных могут потребоваться для того, чтобы модель не развила смещение в сторону прогнозирования мажоритарного класса. Более того, дисбаланс предполагает, чтоemployee attrition является относительно редким явлением, что может указывать либо на успешные стратегии workforce retention, либо на естественные тенденции внутри коллектива..

Частотное распределение. Чтобы лучше понять распределение числовых признаков в наборе данных, мы построили гистограмму, которая дает представление о распределении данных. Гистограмма визуализирует частотное распределение признака, разделяя данные на интервалы. Высота каждого интервала представляет количество наблюдений, попадающих в соответствующий диапазон значений. Это помогает выявить асимметрию и общий разброс данных. На рисунке 2 перечислили признаки, имеющие проблему асимметрии.

На Figure 2 illustrated features that have skewed issues. In our dataset, several numerical features exhibited right-skewed distributions, where the majority of the data points are concentrated on the lower end of the scale, with a long tail extending to the right. Right-skewed distributions are common when certain features, such as income or years of experience, have a small number of very large values that disproportionately influence the distribution.

Скошенные данные могут создавать серьезные проблемы при прогностическом моделировании. Многие алгоритмы machine learning, особенно линейные модели и алгоритмы, предполагающие нормальное распределение данных, могут быть чувствительны к асимметрии. Высоко асимметричные признаки могут приводить к тому, что модели становятся менее точными или смещенными в сторону скошенных данных. Устраняя асимметрию, мы обеспечиваем более эффективную работу наших моделей за счет обучения на лучше распределенных данных, что приводит к более точным прогнозам.

Для устранения правосторонней асимметрии мы применили логарифмическое преобразование к затронутым признакам. Для каждого числового признака с асимметрией больше 0,5 мы выполнили логарифмическое преобразование с использованием функции $\log(1+x)$. Этот метод помогает уменьшить асимметрию путем сжатия больших значений и распределения меньших, приближая распределение к нормальному. После применения преобразования признаки демонстрируют более симметричное распределение, что улучшает способность модели к генерализации и точным предсказаниям.

Для повышения предсказательной способности модели и упрощения датасета было выполнено feature engineering путем создания двух новых составных признаков: WorkExperience и OverallSatisfaction. Эти признаки инкапсулируют важные аспекты опыта работы и удовлетворенности сотрудников, уменьшая избыточность в датасете при сохранении необходимой информации для моделирования.

Признак WorkExperience был получен путем усреднения нескольких ключевых переменных, связанных с опытом, включая TotalWorkingYears, YearsAtCompany, YearsInCurrentRole, YearsSinceLastPromotion и YearsWithCurrManager. Путем объединения этих столбцов была сформирована единая метрика, представляющая общий опыт работы сотрудника, что позволило упростить данные без потери критически важной информации.

Аналогично, признак ⟦BROKEN_K0⟧ был создан путем усреднения столбцов ⟦BROKEN_K1⟧, ⟦BROKEN_K2⟧, ⟦BROKEN_K3⟧ и ⟦BROKEN_K4⟧. Этот новый признак обеспечивает комплексную меру удовлетворенности сотрудника как своей работой, так и рабочей средой.

После генерации этих новых признаков исходные столбцы, использованные для их создания, были удалены из набора данных. Этот шаг помог уменьшить избыточность и повысить эффективность набора данных, гарантируя, что ключевая информация, необходимая для predictive modeling, сохранена в более упорядоченном виде.

Для подготовки категориальных признаков к моделированию мы применили кодирование меток (label encoding) ко всем категориальным переменным. Кодирование меток преобразует категориальные значения в числовые представления, которые требуются большинству алгоритмов machine learning. В частности, мы определили категориальные столбцы в наборе данных и использовали класс LabelEncoder из библиотеки sklearn для кодирования каждого столбца. Этот процесс гарантировал, что такие категориальные признаки, как Department и JobRole, были преобразованы в числовые значения, что позволило модели machine learning эффективно их обрабатывать..

После подготовки данных мы разделили их на обучающий и тестовый наборы для оценки производительности модели. Используя функцию train_test_split из sklearn, мы разделили датасет, выделив 80% данных для обучения и 20% для тестирования. Целевая переменная Attrition была стратифицирована, чтобы гарантировать сохранение одинакового распределения классов в обучающем и тестовом наборах.

Полученное разделение содержит 1176 примеров для обучения и 294 примера для тестирования, как показано в следующем выводе:

• ⟦• X_train shape: (1176, 24)
• ⟦• X_test shape: (294, 24)
• ⟦• y_train shape: (1176,)
• ⟦• y_test shape: (294,)

Такое разделение гарантирует, что модель может быть обучена на большей части данных и в то же время оценена на отдельном, ранее не видимом тестовом наборе, что обеспечивает точную оценку способности модели к генерализации.

Перед обучением нашей модели машинного обучения было необходимо стандартизировать признаки, чтобы убедиться, что они находятся в одном масштабе. Стандартизация преобразует признаки так, чтобы их среднее значение было равно нулю, а стандартное отклонение — единице. Этот процесс особенно важен для моделей, чувствительных к величине входных признаков, таких как логистическая регрессия и машины опорных векторов. Стандартизируя признаки, мы гарантируем, что модель не будет уделять чрезмерного внимания признакам с большими диапазонами или единицами измерения, что могло бы негативно повлиять на производительность модели.

Данные для обучения использовались для вычисления коэффициентов масштабирования (среднее значение и стандартное отклонение), и эти коэффициенты последовательно применялись как к обучающему, так и к тестовому наборам данных. Это гарантирует, что модель хорошо обобщает ранее не виденные данные, сохраняя при этом согласованность между наборами данных..

Наш набор данных продемонстрировал значительный дисбаланс классов, при котором количество случаев отсутствия текучести кадров значительно превышало количество случаев увольнений. Несбалансированные наборы данных могут приводить к появлению смещенных моделей, которые показывают хорошие результаты на мажоритарном классе, но плохо справляются с миноритарным классом, которым в нашем случае является текучесть кадров. Для устранения этого дисбаланса мы применили метод синтетической избыточной выборки меньшинства (SMOTE).

SMOTE генерирует синтетические выборки миноритарного класса путем интерполяции между существующими образцами, эффективно увеличивая количество экземпляров миноритарного класса и балансируя распределение классов. До применения SMOTE обучающий набор данных содержал 986 образцов без увольнений и 190 образцов с увольнениями. После оверсэмплинга набор данных был сбалансирован: по 986 образцов для каждого класса..

Этот процесс балансировки гарантирует, что модель имеет равный доступ к обоим классам, что повышает ее способность точно обнаруживать случаи увольнения сотрудников и снижает предвзятость по отношению к мажоритарному классу. В результате модель лучше подготовлена к обобщению в реальных сценариях, где оба класса имеют важное значение..

Для создания надежной и точной прогностической модели текучести кадров мы использовали разнообразный набор алгоритмов машинного обучения. Каждая из этих моделей обладает уникальными преимуществами и подходами к классификации, что позволяет нам сравнивать их эффективность и определять наиболее подходящий метод для нашего набора данных. В нашем анализе были использованы следующие модели:

GPT-3.5 Turbo — это large language model, которая использует transformer архитектуру для выполнения задач прогнозирования. Хотя она преимущественно используется в задачах обработки естественного языка, GPT-3.5 может подвергаться fine-tuning для различных задач прогнозирования и классификации, включая прогнозирование оттока персонала. Мы следовали процессу, описанному в (Liga and Robaldo, 2023), для fine-tuning GPT-3.5 turbo с использованием пар промпт-ответ, созданных на основе обучающего набора..

{
    "prompt": "Analyze the employee information and
    predict employee turnover: {Employee_Info}",
    "completion": "{Attrition_result}"
}

Для оценки эффективности прогностических моделей мы использовали такие метрики классификации, как precision, recall и F1-score, как определено в уравнениях 1, 2 и 3⟧:

Эти метрики позволяют оценить соотношение между точностью и полнотой и помогают определить модель с наилучшей производительностью для прогнозирования оттока персонала.

Сравнительный анализ различных моделей machine learning для данной задачи классификации выявил интересные закономерности, приведенные в Таблице 3. Доработанная модель GPT-3.5 продемонстрировала наилучшие результаты, достигнув исключительных метрик: precision 0.91, recall 0.94 и F1-score 0.92. Эта производительность значительно превзошла традиционные алгоритмы machine learning, подчеркивая потенциал LLM в задачах классификации при правильном fine-tuning. Среди традиционных моделей Support Vector Machine (SVM) продемонстрировала самую высокую эффективность с F1-score 0.82, за ней с небольшим отрывом следуют ансамблевые методы, такие как Random Forest и XGBoost, обе достигнувшие F1-score 0.80. Logistic Regression и AdaBoost показали сопоставимую эффективность с F1-score 0.78 и 0.79 соответственно, в то время как K-Nearest Neighbors (KNN) показала наихудший результат с F1-score 0.71. Эти результаты подчеркивают надежность ансамблевых методов и особую пригодность SVM для данного датасета. Заметное превосходство доработанной модели GPT-3.5 открывает перспективные возможности для использования продвинутых языковых моделей в задачах классификации, что потенциально может произвести революцию в подходах к аналогичным проблемам в этой области.