Прогнозы машинного обучения на основе непредсказуемого хаоса

Аннотация

Хаос вездесущ в природе, и его понимание приносит огромные социальные и экономические выгоды. Однако непредсказуемость хаотических систем является хрестоматийным понятием из-за их чувствительности к начальным условиям, апериодического поведения, фрактальных размерностей, нелинейности и странных аттракторов. В этой работе мы впервые представляем хаотическое обучение, новую многомасштабную топологическую парадигму, которая позволяет делать точные прогнозы на основе хаотических систем. Мы показываем, что кажущаяся случайной и непредсказуемой хаотическая динамика контринтуитивно предлагает беспрецедентные количественные прогнозы. В частности, мы разрабатываем многомасштабные топологические лапласианы для вложения реальных данных в семейство интерактивных хаотических динамических систем, модулируем их динамическое поведение и обеспечиваем точное прогнозирование входных данных. В качестве доказательства концепции мы рассматриваем 28 наборов данных из четырех категорий реалистичных задач: 10 наборов данных мозговых волн, четыре эталонных набора данных белков, 13 наборов данных секвенирования РНК одиночных клеток и один набор данных изображений, а также две различные хаотические динамические системы, а именно аттракторы Лоренца и Рёсслера. Мы демонстрируем прогнозы хаотического обучения физических свойств на основе хаоса. Наша новая парадигма хаотического обучения глубоко меняет хрестоматийное восприятие хаоса и впервые объединяет топологию, хаос и обучение..

Ключевые слова: хаотические системы, машинное обучение, многомасштабная топология.

1 Введение

Хаос в динамических системах относится к сложному поведению, возникающему в детерминированных, но чувствительных сложных системах, таких как двойной маятник, социальные сети, турбулентные потоки жидкости, погодные системы и т. д. [1]. Характеризуясь чувствительной зависимостью от начальных условий и апериодическим поведением, хаос затрудняет возможность прогнозирования долгосрочного поведения [2]. Нелинейность является еще одной ключевой особенностью хаоса, при которой взаимодействия между элементами системы приводят к непредсказуемой и зачастую хаотичной динамике. Основополагающая работа Эдварда Лоренца в 1960-х годах [3], в частности его исследование модели погоды, ввела понятие о том, что хаотические системы фундаментально непредсказуемы на длительных временных интервалах. Это понимание заложило основу теории хаоса, ознаменовав сдвиг в том, как ученые рассматривали сложные системы. На протяжении более полувека непредсказуемость хаотических систем является хрестоматийной концепцией как в теоретической, так и в прикладной динамике, формируя исследования и практическое применение в различных областях, от метеорологии до инженерии [4].

Теория хаоса и хаотическая динамика оказали глубокое влияние на многочисленные дисциплины, предоставив основу для понимания сложных и нелинейных явлений[5]. Например, в метеорологии теория хаоса произвела революцию в прогнозировании погоды, подчеркнув сложность долгосрочных прогнозов из-за чувствительной зависимости от начальных условий [6]. В инженерии хаотические системы послужили источником вдохновения для разработки стратегий надежного управления и отказоустойчивых систем, особенно в нелинейных цепях и механических системах [7]. В биологии изучение хаоса пролило свет на нерегулярные паттерны в физиологических процессах, таких как сердечные ритмы и нейронная активность, улучшив понимание динамики здоровья и болезней [8]. Аналогичным образом, в экономике хаотические модели использовались для объяснения нерегулярных рыночных колебаний, предоставляя представление о сложных финансовых системах [9]. Непредсказуемость, присущая хаосу, также играет ключевую роль в шифровании [10] и защищенных коммуникациях [11], где она обеспечивает высокий уровень случайности и безопасности. Во всех этих областях теория хаоса подчеркнула важность распознавания и использования непредсказуемости для раскрытия скрытых структур и стимулирования инноваций в сложных системах.

В последнее время машинное обучение (ML) использует детерминированную природу теории хаоса для прогнозирования определенных свойств хаотических систем, таких как пространственный охват и размерность аттрактора [12], флуктуации в хаотической модели рака [13] и эволюция хаотических динамических систем [14]. Методы глубокого обучения (DL) также были использованы для демонстрации хаотической синхронизации [15]. Однако использование хаотических систем для количественного прогнозирования остается немыслимой задачей из-за их непредсказуемости..

В данной работе мы предлагаем хаотическое обучение для преобразования непредсказуемых хаотических систем в точные предикторы. Наш подход использует новый многомасштабный топологический метод, известный как персистентный лапласиан (PL) [16], для вложения реалистичных данных в семейство гетерогенных хаотических систем. В частности, каждая точка данных моделируется как хаотический осциллятор, а ее взаимодействия с другими осцилляторами фиксируются с помощью многомасштабных лапласианов. Полученные хаотические системы с внедренными данными демонстрируют богатые хаотические паттерны, которые точно отражают характеристики исходных данных, что приводит к точным ML прогнозам. Предложенный метод топологически-ориентированных прогнозов на основе хаоса (TEPC) использует различные хаотические динамики, такие как системы Лоренца и Ресслера, для хаотического обучения. Кроме того, TEPC может применять различные персистентные топологические лапласианы, включая персистентный спектральный граф [16] или персистентный пучковый лапласиан [17]. Наконец, TEPC был всесторонне валидирован с использованием широкого спектра эталонных данных, включая классификацию данных электроэнцефалограммы (EEG) головного мозга на органном уровне, прогнозирование B-фактора белков на молекулярном уровне, классификацию данных секвенирования РНК отдельных клеток на клеточном уровне и общие задачи классификации изображений. TEPC переворачивает теорию хаоса с ног на голову, бросая вызов устоявшемуся представлению о непредсказуемости хаоса. Он также преодолевает разрыв между традиционным хаосом и современными алгоритмами обучения..

2 Результаты

2.1 Обзор хаотического обучения — прогнозы на основе топологии из хаоса (TEPC)

На рис. 1 представлена платформа TEPC, которая обеспечивает общий рабочий процесс для ML-прогнозирования на основе топологии из хаотической динамики. Сначала данные, представляющие интерес, собираются из реальных задач, а затем строится сеть взаимодействий или гиперграф, где узлы являются отдельными точками данных, а связи представляют корреляции или соединения между узлами. Далее для каждого узла вводится хаотическая динамика, такая как динамика Лоренца или Рёсслера [18]. Семейство хаотических систем строится с использованием топологических лапласианов [16], которые кодируют взаимодействия в многомасштабные матрицы связности для хаотических систем. Впоследствии многомасштабные траектории эволюции хаотических систем, которые могут демонстрировать различные паттерны, такие как полная синхронизация, частичная синхронизация и несинхронизированный хаос, точно встраивают свойства данных, представляющих интерес. Наконец, статистические признаки извлекаются из хаотических траекторий и используются для последующих ML или DL прогнозов. Альтернативным выбором для хаотических траекторий является подача этой хаотической динамики в рекуррентную нейронную сеть (RNN) или сеть долгой краткосрочной памяти (LSTM) для последующих прогнозов, как обсуждается в разделе S2 вспомогательной информации..

Предложенное хаотическое обучение — это алгоритм ML для прогнозирования реальных данных, а не новая модель для хаоса или нелинейной динамики. Встроенные в данные хаотические системы обладают гетерогенной узловой динамикой. Даже если полная синхронизация может быть в конечном итоге достигнута, процесс гетерогенной синхронизации отдельных узлов выявляет внутренние свойства отдельных узлов, что формирует основу предложенной модели хаотического обучения..

⟦Figure 1: Иллюстрация платформы TEPC, которая предоставляет общую структуру для прогнозирования свойств интересующих данных посредством алгебраической топологии, теории хаоса и машинного обучения (ML), включая глубокое обучение (DL). Во-первых, данные из реального мира представляются в виде сетей, где узлы обозначают отдельные точки данных (т.е. атомы, клетки, узлы мозга, изображения и т.д.), а связи указывают на взаимодействие или связность между узлами. В каждый узел внедряется хаотическая динамика, такая как осциллятор Лоренца или Ресслера. Затем к сетям применяются топологические лапласианы, такие как персистентный лапласиан или персистентный пучковый лапласиан, для кодирования многомасштабных матриц связности между узлами, что приводит к семейству хаотических систем. Впоследствии извлекаются траектории эволюции хаотических систем с топологическим регулированием и получаются их статистические признаки для различных последующих задач ML/DL. Альтернативно, хаотические траектории бесшовно подаются в модель обработки естественного языка (NLP) для прогнозирования. Изображения мозга и сердца были взяты из https://www.freepik.com.

2.2 Иллюстрация принципа хаотического обучения

Чтобы проиллюстрировать принцип работы предложенной парадигмы хаотического обучения, рассмотрим две простые модели. Наша первая модель — это простая модель с шестнадцатью узлами, показанная на рис. 2a, для демонстрации предложенной парадигмы. Трехмерные координаты каждого узла приведены в таблице S13 вспомогательных материалов. Каждую точку или узел можно рассматривать как точку данных или отдельный объект, такой как атом в молекуле, белок в белок-белковой сети или нейрон в сети головного мозга. Чтобы извлечь локализованные свойства шестнадцати узлов, мы вводим хаотический осциллятор или нелинейную хаотическую динамику для каждого узла. В частности, мы используем осциллятор Лоренца, хотя можно использовать и любые другие хаотические осцилляторы. Персистентные лапласианы строятся для набора осцилляторов, что приводит к семейству матриц связности для связанных хаотических систем. Три типичные матрицы связности приведены на рис. 2b, что соответствует трем различным радиусам фильтрации, указанным на рис. 2a. Подробности об этих хаотических системах можно найти в разделе S1 вспомогательных материалов. Начальные значения для всех осцилляторов выбраны случайным образом. Чем меньше радиус фильтрации, тем уже связь между осцилляторами. Например, при радиусе фильтрации, показанном в верхней части рис. 2a, поскольку между узлами нет перекрытия, лапласиан везде равен нулю, как показано в верхней части рис. 2b. Следовательно, мы получаем набор изолированных хаотических динамик, как показано в верхней части рис. 2c, что приводит к нерегулярным орбитам в верхней части рис. 2d.

⟦Figure 2: Иллюстрация перехода от хаоса к периодичности, индуцированного персистентным лапласианом. a: В каждый из шестнадцати узлов правильного шестнадцатиугольника внедрен осциллятор Лоренца. Связность или соединение этих узлов определяются радиусом фильтрации персистентного лапласиана. Три типичные схемы фильтрации представлены на трех графиках. b: Матрицы связности для связанных хаотических систем генерируются персистентным лапласианом при трех различных радиусах фильтрации, показанных на трех графиках. c: Траектории связанных хаотических осцилляторов со случайными начальными значениями, демонстрирующие хаос (вверху), частичную синхронизацию (в середине) и полную синхронизацию (внизу). d: Неправильная орбита, периодическая орбита и узоры в форме крыльев бабочки для трех хаотических систем. e: Свернутая геометрия и ее синхронная динамика для облака точек из 120 элементов. f: Частично свернутая геометрия и ее частично синхронизированная динамика для облака точек из 120 элементов. g: Развернутая геометрия и ее хаотическая динамика для облака точек из 120 элементов..

По мере увеличения радиуса фильтрации, показанного в середине рис. 2a, в системе возникают некоторые взаимодействия, задаваемые лапласианом в середине рис. 2b, что вызывает частичную синхронизацию хаотических осцилляторов в ходе временной эволюции системы (см. середину рис. 2c) и периодическую орбиту в середине рис. 2d. Когда радиус фильтрации непрерывно увеличивается, связь между узлами становится достаточно сильной для создания полной синхронизации в системе, и каждый осциллятор напоминает хорошо известные крылья бабочки, как показано в нижней части рис. 2d. В этой простой модели обнаружено, что многомасштабные топологические лапласианы индуцируют переход от хаоса к периодичности. Однако, поскольку геометрия приведенного выше примера очень регулярна, их динамика является однородной, как показано на рис. 2a-d.

В нашей второй модели мы рассматриваем три набора нерегулярных геометрий, как показано на рис. 2e-g, чтобы проиллюстрировать, как нерегулярные геометрии вызывают гетерогенную хаотическую динамику, включая частично синхронизированный хаос. Мы создаем набор из 120 узлов, как показано в верхней части каждой диаграммы. Подробные координаты приведены в таблицах S14, S15, S16 вспомогательных материалов соответственно. Геометрические формы этих узлов схематически отображены на рис. 2e-g. Мы внедряем динамику Лоренца в каждый из этих узлов с теми же параметрами, что и в предыдущем примере. Однако для хаотических систем мы устанавливаем силу связи $\epsilon=$ 1.1, 1.0 и 0.1 для рис. 2e-g соответственно. Матрицы связности генерируются с использованием алгоритма persistent Laplacian с радиусами фильтрации 1, 1 и 0.2 для облака точек на рис. 2e-g соответственно. Мы использовали схему Эйлера вперед с приращением времени $h=10^{-3}$ для интегрирования по времени. Все подробности параметров, использованных на рис. 2, можно найти в таблице S1 вспомогательных материалов..

Первый набор из 120 узлов свернут, что приводит к полностью синхронизированной хаотической системе, как показано на рис. 2e. Этот синхронный хаос очень похож на тот, что представлен в нижней части рис. 2c. На рис. 2f показана частично свернутая конформация, имеющая 40 развернутых узлов и 80 свернутых, что порождает частично синхронизированное динамическое поведение. На рис. 2g динамика полностью развернутой конформации является абсолютно хаотичной. Именно эта сильная корреляция между геометрией и динамикой, а также богатое поведение при синхронизации хаоса закладывают основу для внедрения широкого спектра реальных данных в хаотические системы и извлечения полного набора кажущейся хаотичной информации для точного прогнозирования лежащих в их основе данных..

Хотя радиус фильтрации можно рассматривать как пороговое значение, используемое для определения семейства сетей, он не обладает высокой чувствительностью в различных приложениях. Это связано с тем, что мы применяем процедуру топологической фильтрации к взвешенной матрице Лапласа для построения семейства подграфов или сетей, которые кодируют взаимодействия между осцилляторами в многомасштабную связность сетей. Полученные в результате траектории многомасштабной эволюции этих сетей демонстрируют различные паттерны, такие как синхронизированный, частично синхронизированный и несинхронизированный хаос, которые эффективно фиксируют внутренние характеристики данных для последующих ML прогнозов. Следовательно, в нашей модели пороговое значение не требует точной настройки; «обоснованного выбора» достаточно для достижения хорошей прогностической эффективности..

2.3 Хаотическое прогностическое обучение данных ЭЭГ головного мозга

Чтобы представить доказательство концепции предложенной парадигмы хаотического обучения и продемонстрировать её прогностическую силу, мы рассматриваем наборы данных электроэнцефалограммы (ЭЭГ) головного мозга. ЭЭГ получают в результате медицинского измерения электрической активности мозга с использованием ряда электродов, наложенных на кожу головы. Она играет значительную роль в диагностике различных состояний пациентов, таких как эпилепсия, шизофрения, нарушения сна и опухоли головного мозга. В нашем анализе данные ЭЭГ содержат 300 сигналов и были собраны у 5 пациентов с эпилепсией и 5 здоровых людей, классифицированных по трем различным категориям: норма, преиктальное состояние и приступ [19]. Каждая категория содержит 100 одноканальных сигналов ЭЭГ. Этот набор данных доступен на официальном веб-сайте кафедры эпилептологии Боннского университета (https://www.ukbonn.de/epileptologie/arbeitsgruppen/ag-lehnertz-neurophysik/downloads/). Подробная информация о них приведена в разделе S5 вспомогательных материалов..

Мы встраиваем временные ряды активности реального мозга в нелинейные динамические системы, рассматривая каждый сигнал ЭЭГ как нелинейный осциллятор. Далее мы вычисляем среднюю матрицу связей этой нейронной сети мозга путем расчета коэффициента корреляции Пирсона между каждой парой из 300 сигналов соответственно. Затем мы применяем персистентный лапласиан для получения семейства матриц связности нейронных сетей мозга с помощью процесса фильтрации. Для каждой матрицы связности мы вводим хаотическую систему и собираем ее траектории. Их статистические значения вычисляются для классификации ЭЭГ. Мы используем десятикратную перекрестную проверку с 10 случайными начальными числами и алгоритм классификатора k-ближайших соседей (KNN) при прогнозировании. Подробная информация о параметрах, использованных при реализации, приведена в дополнительной информации. Чтобы продемонстрировать прогностическую способность TEPC, мы рассматриваем прогнозы классификации данных ЭЭГ. Наш метод TEPC был реализован с двумя различными осцилляторами, а именно Lorenz и Rossler, и двумя моделями нейронных сетей, а именно RNN и LSTM, обозначенными как TEPC (Lorenz), TEPC (Rossler), TEPC (RNN) и TEPC (LSTM) соответственно. Их сравнение с другими существующими методами показано на рис. 3a, включая Fuzzy sugeno1 [20], Random forest [21], PCA [22], SVM5 [23], Fuzzy sugeno2 [24], LMB neural network [25], Fuzzy sugeno3 [26], SVM2 [27], SVM4 [28], SVM3 [29], C4.5 decision tree [30], Multi-spiking [31], KNN [32], SVM1 [33], GMM2 [34], GMM3 [35], Spiking [36] и CNN [37]. Десятикратная перекрестная проверка применяется во всех прогнозах. ACC, SEN и SPEC на рис. 3a — это точность, чувствительность и специфичность соответственно. Из рис. 3a мы видим, что TEPC (Lorenz), TEPC (Rossler), TEPC (RNN) и TEPC (LSTM) достигают 100% по всем трем метрикам, что эквивалентно или выше показателей других существующих методов. Матрицы ошибок для всех десяти фолдов этих результатов приведены в таблицах S8, S9, S10 и S11 дополнительной информации. Эти результаты показывают, что TEPC является общим подходом, который устойчив к выбору динамических моделей и алгоритмов ML..

2.4 Прогнозирование B-факторов белков на основе хаотических систем

⟦Figure 3: Сравнение результатов прогнозирования между методом TEPC и другими существующими методами на различных типах данных, включая сигналы ЭЭГ головного мозга, B-факторы белков, последовательности РНК одиночных клеток и классификацию изображений. a: Сравнение классификации данных ЭЭГ головного мозга между методами TEPC (а именно, TEPC (Lorenz), TEPC (Rossler), TEPC (RNN) и TEPC (LSTM)) и другими существующими методами. Классификация включает три категории: норма, преиктальное состояние и приступ. ACC, SEN и SPEC относятся к точности, чувствительности и специфичности соответственно. b-c: Сравнение прогнозов B-факторов между нашими методами TEPC с осцилляторами Lorenz и Rossler и другими литературными методами на трех наборах данных, на эталонном наборе данных из 300, 362 и 364 белков. d: Сравнение прогнозируемого значения TEPC, GNM и экспериментального значения для каждого остатка. Ось $x$ означает индекс остатка, а ось $y$ означает B-фактор. e: Трехмерные (3D) структуры белка кальмодулина (PDB ID: 1CLL), окрашенные соответственно по экспериментальным B-факторам, B-факторам, предсказанным TEPC, и B-факторам, предсказанным методом GNM, сверху вниз. f: Сравнение сбалансированной точности между нашим методом TEPC с осцилляторами Lorenz и методом анализа главных компонент (PCA) с использованием классификатора случайного леса (RF) на 13 наборах данных РНК одиночных клеток. g: Сравнение сбалансированной точности между нашим методом TEPC с осцилляторами Lorenz и Rossler и методами UMAP, PCA, t-SNE с использованием классификаторов RF, градиентного бустинга над решающими деревьями (GBDT) и метода k-ближайших соседей (KNN) на данных изображений Coil-20. h: Сравнение сбалансированной точности между методом Рунге-Кутты четвертого порядка (RK-4) и методом Рунге-Кутты второго порядка (RK-2) с помощью нашего метода TEPC с осцилляторами Lorenz через классификатор RF.

В качестве еще одного доказательства принципа мы демонстрируем количественные ML-предсказания молекулярных свойств на основе хаотических систем. С этой целью мы рассматриваем предсказания B-факторов белков. B-фактор белка или фактор Дебая-Уоллера используется в белковой кристаллографии для описания ослабления рентгеновского излучения, вызванного тепловым движением. Анализ B-факторов белков проливает свет на крупномасштабные и долгосрочные функциональные поведения макромолекул в нативном состоянии [38, 39]. Существует множество существующих методов анализа гибкости белков. Например, Park et al. [39] сравнили эффективность анализа нормальных мод (NMA) [40] и модели гауссовой сети (GNM) [38] для трех наборов белков. Среди них GNM является наиболее популярным методом анализа гибкости белков [38]. Xia et al. разработали обобщенную GNM и обобщенную анизотропную сетевую модель (ANM) для предсказания B-факторов белков [41]. Opron et al. предложили многомасштабную модель индекса жесткости гибкости (FRI) для достижения почти 20% улучшения предсказания GNM [42]. Недавно Cang et al. представили метод эволюционной гомологии для анализа гибкости белков и получили передовые результаты [43]⟧.

В настоящей работе мы используем несколько эталонных наборов данных, которые интенсивно изучались в литературе [39, 44, 43], и, таким образом, производительность предложенных методов может быть сопоставлена. Самый большой набор данных включает 364 различных белка, имеющих от десятков до тысяч аминокислотных остатков [44].

В предложенном подходе каждый остаток белка представлен своим Cα-атомом. Каждому Cα-атому сопоставлен нелинейный осциллятор. Мы выбираем систему Лоренца с параметрами $\alpha=10$, $\gamma=60$, $\beta=8/3$ и $\epsilon=13.6$, где матрица связности представляет собой $\Gamma={\bf I}$ (единичную матрицу). Сила взаимодействия между каждой парой Cα-атомов вычисляется с помощью обобщенной экспоненциальной функции Eq.(2) с $\kappa=1$ и $\sigma=3$. Далее мы используем персистентные лапласианы для получения семейства матриц связи между остатками в различных масштабах в соответствии с фильтрацией. На каждом масштабе мы имеем связанную хаотическую систему. Чтобы сгенерировать временную траекторию конкретного осциллятора (остатка), мы выбираем его начальное значение равным единице, а значения остальных осцилляторов — нулю при пертурбационном интегрировании по времени. Затем статистические значения траектории используются в качестве входных данных в ML-исследовании B-фактора остатка. Персистентные лапласианы позволяют нам собирать несколько наборов статистических значений для каждого остатка..

Мы выполняем предсказания B-факторов с помощью модели множественной линейной регрессии, которая использовалась в более ранних работах [38, 39, 44], и вычисляем средние коэффициенты корреляции Пирсона между предсказанными и экспериментальными B-факторами. На рис. 3b и c показано сравнение средних коэффициентов корреляции Пирсона по различным наборам данных с другими существующими методами, включая EH [43], opFRI [44], pfFRI [44], MND [45], GNM [45, 39], NMA [39], mFRI [42], mGNM [41] и mANM [41]. Здесь TEPC (Lorenz) и TEPC (Rossler) — это представленные методы, реализованные с помощью осциллятора Лоренца и осциллятора Рёсслера соответственно. Мы обнаружили, что наш метод TEPC (Lorenz) превосходит все другие методы в вычислительной биофизике и достигает наибольших средних коэффициентов корреляции Пирсона по всем различным наборам данных белков. В частности, на рис. 3b для трех наборов белков малого (33 образца), среднего (36 образцов) и большого (35 образцов) размеров наши средние коэффициенты корреляции Пирсона составляют 0.940, 0.826 и 0.789 для TEPC (Lorenz), что на 95.8%, 71.4% и 59.7% выше по сравнению с показателями 0.480, 0.482 и 0.494 в работе [39] соответственно. Кроме того, на рис. 3c, по сравнению с существующими лучшими результатами, средние коэффициенты корреляции Пирсона 0.794, 0.796 и 0.817, полученные с помощью TEPC (Lorenz), примерно на 13.8%, 24.0% и 49.6% выше, чем 0.698 [43], 0.642 [41] и 0.546 [41] для наборов данных 364, 362 и 300 соответственно. Потенциальная причина такой отличной производительности заключается в том, что предложенный метод предоставляет более богатую информацию о взаимодействиях остатков с помощью многомасштабных топологических лапласианов. Более подробную информацию о результатах на рис. 3b и c, а также результаты предсказания B-фактора для 364 наборов данных можно найти в таблицах S12 и S17 в дополнительных материалах соответственно. Три примера предсказаний B-факторов для белков 1FF4, 2WUL и 2Y7L с коэффициентами корреляции 0.963, 0.955 и 0.891 приведены в дополнительных материалах, что свидетельствует о хорошем согласии наших результатов предсказания с экспериментальными данными..

На рис. 3d и e представлены другие прогнозы B-факторов для белка кальмодулина (PDB ID: 1CLL). На рис. 3d наш метод TEPC с осциллятором Лоренца демонстрирует отличную производительность, а его результаты тесно коррелируют с экспериментальными данными для остатков 60-90. Напротив, метод GNM показывает низкую точность прогнозирования. Это различие очевидно при сравнении цветовых представлений, основанных на значениях B-факторов структуры белка 1CLL на рис. 3e.

Данные прогнозы B-факторов белков не только демонстрируют полезность настоящего метода TEPC при работе с белками различных размеров и сложных структур, но также указывают на то, что предложенный подход обладает большим потенциалом для других важных биофизических приложений, таких как прогнозирование аффинности связывания белок-лиганд и взаимодействий белок-белок..

2.5 Прогнозирование свойств отдельных клеток на основе хаотических систем

Продемонстрировав полезность прогнозирования молекулярных свойств на основе топологии из хаоса, мы далее демонстрируем прогнозирование клеточных свойств на основе топологии из хаоса. В частности, мы рассматриваем анализ данных секвенирования РНК одиночных клеток (scRNA-seq), который представляет собой вычислительный процесс, направленный на извлечение значимых биологических выводов из данных экспрессии генов одиночных клеток. В настоящей работе мы используем 13 наборов данных scRNA-seq, как показано в Таблице S4 вспомогательной информации. Эти наборы данных включают десятки тысяч образцов одиночных клеток, собранных у человека или мыши. Одиночные клетки содержат тысячи или десятки тысяч генов. Задача состоит в том, чтобы классифицировать эти клетки по различным типам клеток, от 4 до 14 типов, в различных наборах данных на основе их экспрессии генов..

Сначала мы вычисляем евклидово расстояние между ячейками, а затем задаем $\kappa=1$ и $\sigma=3$ для экспоненциального ядра в уравнении (2) для оценки попарных корреляций. Мы используем персистентные лапласианы для создания семейства корреляционных матриц для различных хаотических систем. Траектории хаотических систем собираются, и их статистические значения вычисляются для классификации ячеек. Мы используем 5-кратную перекрестную проверку с 10 случайными начальными числами и алгоритм random forest (RF) для прогнозирования типа ячейки. При реализации использовались параметры RF по умолчанию из пакетов Scikit-learn. Здесь мы сравниваем общую эффективность классификации нашего метода (TEPC с осцилляторами Лоренца) с широко используемым методом анализа главных компонент (PCA) на рис. 3f.

Для PCA мы берем среднее значение сбалансированной точности (BA) по различным размерностям, а именно 50, 100, 150, 200, 250 и 300. Для каждого сокращения размерности использовалось 20 случайных инициализаций для обеспечения надежности и стабильности. Кроме того, перед сокращением размерности к наборам данных было применено логарифмическое преобразование. Для оценки эффективности различных методов используется 5-кратная перекрестная проверка. Поскольку наборы данных scRNA-seq обычно имеют несбалансированное количество клеток на тип, мы используем показатель сбалансированной точности вместо традиционного показателя точности, подробности которого приведены в разделе S4 вспомогательной информации. Из рис. 3f мы видим, что наш TEPC с осцилляторами Лоренца превосходит PCA на всех 13 наборах данных scRNA-seq. В частности, наибольшее улучшение значения BA достигает 50,79% на данных GSE45719, а среднее улучшение составляет 11,29% для каждого набора данных, что говорит о том, что TEPC является полезным инструментом при классификации данных scRNA-seq. Подробности рис. 3f можно найти в таблице S4 вспомогательной информации..

2.6 Прогнозирование свойств изображений на основе хаотического обучения

Чтобы дополнительно продемонстрировать предсказательную силу и устойчивость предложенных прогнозов на основе топологии из хаоса, мы рассматриваем небиологическую задачу. Классификация изображений является общей задачей в науке о данных и имеет широкое применение в самых разных областях и дисциплинах. В этой работе мы рассматриваем Coil-20, эталонный набор данных классификации изображений, состоящий из 1440 изображений [46]. Каждое изображение имеет размер 128*128, где 20 объектов или классов запечатлены под 72 углами, и рассматривалось как вектор длиной 16384. Подробная информация о данных Coil-20 приведена в разделе S7 вспомогательных материалов. В нашей реализации мы сначала уменьшаем размерность с 16384 до 3 с помощью равномерной аппроксимации и проекции многообразий (UMAP). Однако для уменьшения размерности можно было бы аналогичным образом использовать t-распределенное стохастическое вложение соседей (t-SNE) или PCA. Попарные корреляции между изображениями в наборе данных вычисляются с помощью экспоненциального ядра $\kappa=1$ и $\sigma=3$ на основе результатов трехмерного (3D) UMAP. Затем мы используем персистентные лапласианы для генерации семейства корреляционных матриц для 1440 изображений. Для каждой корреляционной матрицы мы устанавливаем хаотическую систему и вычисляем пертурбативную траекторию для каждого изображения. Статистические значения траекторий используются для последующих ML прогнозов. В качестве сравнения мы также напрямую используем признаки, полученные в результате уменьшения размерности с помощью UMAP, PCA и t-SNE, для последующих классификаторов. Мы используем три различных классификатора, включая случайный лес (RF), градиентный бустинг на деревьях решений (GBDT) и классификатор k-ближайших соседей (KNN), при классификации со всеми параметрами по умолчанию из пакетов Scikit-learn. Мы используем 5-кратную перекрестную проверку для оценки эффективности классификации. Все подробности параметров, использованных на рис. 3, можно найти в таблице S2 вспомогательных материалов..

На рис. 3g мы сравниваем сбалансированную точность классификации с помощью этих четырех методов, а именно TEPC, UMAP, PCA и t-SNE, где TEPC (Lorenz) и TEPC (Rossler) указывают на использование двух различных хаотических динамик, а именно осцилляторов Лоренца и Ресслера. Мы обнаружили, что TEPC (Lorenz) превосходит методы UMAP, PCA и t-SNE на всех трех классификаторах. По сравнению с UMAP, PCA и t-SNE, TEPC (Lorenz) улучшил сбалансированную точность до 11,59%, 13,53% и 11,64% для классификаторов RF, GBDT и KNN соответственно. Подробности рис. 3g можно найти в таблице S7 вспомогательной информации. Интересно отметить, что, хотя TEPC (Lorenz) начинал с той же информации UMAP, он превосходит UMAP на 8,65%, 8,75% и 11,14% для классификаторов RF, GBDT и KNN соответственно. Это удивительное улучшение объясняется тем, что предложенное топологически-ориентированное хаотическое вложение фиксирует сетевые взаимодействия и многомасштабные корреляции между осцилляторами (изображениями). Напротив, информация UMAP относительно изолирована для каждого изображения и игнорирует важные «пространственные» корреляции между изображениями..

3 Обсуждение

3.1 Устойчивость по отношению к динамическим системам и моделям ML

Чтобы продемонстрировать устойчивость предложенного хаотического обучения по отношению к выбору хаотической динамики и алгоритмов ML, мы рассматриваем два осциллятора, а именно Лоренца и Рёсслера, и множество алгоритмов ML, включая KNN, RF, GBDT, RNN и LSTM. В частности, мы интегрируем уравнение Рёсслера, используя схему Рунге-Кутты четвертого порядка, и устанавливаем их параметры на $a=b=0.1$, $c=4$ и $a=35,b=3,c=28$ соответственно. На рис. 3 TEPC (Rossler) означает метод TEPC с осцилляторами Рёсслера..

На рис. 3a показатели TEPC (Rossler), а также TEPC (Lorenz) в задаче классификации EHR достигают 100% по всем трем метрикам, включая точность, чувствительность и специфичность, что эквивалентно или выше показателей других существующих методов..

На рис. 3b, EH обозначает метод эволюционной гомологии, а NMA относится к анализу нормальных мод. Что касается прогнозирования B-фактора белков, для набора малых белков из 33 образцов метод TEPC (Rossler) со средним PCC 0,934 превосходит другие существующие методы. В частности, среднее значение PCC улучшено на 20,81% и 94,58% по сравнению с 0,773 и 0,480, полученными методами EH и NMA в источниках [43] и [39] соответственно. Для набора белков среднего размера из 36 образцов TEPC (Rossler) повышает среднее значение PCC на 6,17% и 60,58% с 0,729 и 0,482 до 0,774 по сравнению с показателями метода EH [43] и источника [39] соответственно. Аналогично, для набора крупных белков из 35 образцов TEPC (Rossler) повышает среднее значение PCC на 5,4% и 41,9% по сравнению с показателями метода EH [43] и источника [39] соответственно. Кроме того, на рис. 3c TEPC (Rossler) также достигает лучших результатов прогнозирования, чем другие существующие методы, для различных наборов белков из 300, 362 и 364 образцов соответственно. А именно, TEPC (Rossler) получает средние значения PCC 0,748, 0,722 и 0,72 с приростом до 37,0%, 12,46% и 27,43% по сравнению с показателями 0,546, 0,642 и 0,565, полученными методами mANM [41], mGNM [41] и GNM [44] для наборов данных из 300, 362 и 364 образцов соответственно..

На рис. 3g, для задачи классификации изображений, TEPC (Rossler) демонстрирует сопоставимую производительность с методом TEPC (Lorenz), за исключением классификатора KNN. Значения сбалансированной точности прогнозирования, 0,915 и 0,894 при использовании классификаторов RF и GBDT, достигнутые с помощью TEPC (Rossler), улучшены на 2,8% и 3,35% по сравнению с методом PCA, и на 2,92% и 0,45% по сравнению с методом t-SNE соответственно, что схоже с результатами метода UMAP. Однако TEPC (Rossler) с классификатором KNN работает хуже, чем другие методы..

Как видно из рис. 3a, b, c, g, несмотря на то что метод TEPC с различными типами осцилляторов демонстрирует неодинаковую эффективность при работе с данными ЭЭГ головного мозга, прогнозированием B-фактора белков и задачами классификации изображений, в большинстве случаев он превосходит существующие передовые методы или традиционные базовые методы, такие как PCA, UMAP или t-SNE, что подтверждает независимость обобщающей способности метода TEPC от конкретных хаотических систем..

Наконец, на рис. 3a, TEPC (RNN) и TEPC (LSTM) были объединены с Lorenz, а TEPC (Lorenz) и TEPC (Rossler) были объединены с KNN. Все эти методы достигли 100% точности, чувствительности и специфичности при классификации EEG, что подтверждает высокую устойчивость предложенного метода TEPC..

3.2 Влияние численных интеграторов

При реализации метода TEPC мы повсеместно используем метод Рунге-Кутты четвертого порядка (RK-4) для решения уравнений Лоренца (Рёсслера). Здесь, чтобы обсудить влияние, оказываемое различными численными интеграторами на прогнозы ML, мы показываем результаты сравнения методов RK-4 и RK-2 на 13 наборах данных секвенирования РНК одиночных клеток на рис. 3h, где сбалансированная точность (BA) сравнивается методом TEPC с осциллятором Лоренца, интегрированным с тремя различными классификаторами, включая RF, GBDT и SVM.

На рис. 3h значения сбалансированной точности (BA), полученные методом RK-4, выше, чем значения, полученные методом RK-2 с использованием классификатора RF на всех 13 наборах данных одиночных клеток. Для классификаторов GBDT и SVM результаты сравнения методов RK-4 и RK-2 можно найти на рис. S5 в дополнительной информации. Эти результаты свидетельствуют о том, что метод RK-4, использованный в наших численных экспериментах, является надежным подходом для получения достоверных и эффективных результатов прогнозирования. Подробную информацию о рис. 3h можно найти в таблице S6 в дополнительной информации..

3.3 Влияние параметризации модели

Для анализа наилучшего параметра экспоненциальной функции из Eq. (2) мы протестировали ряд параметров для прогнозирования B-фактора, усредненного по белку 6RXN на Fig. S1 в Supporting Information, где наилучший средний B-фактор был получен в районе $\kappa=1$ и $\sigma=3$. Этот результат позволяет предположить, что модель TEPC, представленная в данном исследовании, может быть моделью без параметров при установке $\kappa=1$ и $\sigma=3$. Наши выводы не зависят от хаотических моделей и параметризации модели..

3.4 Графики сходства остатков (R-S)

В этом разделе мы применяем анализ остаточного сходства (R-S) [47] для визуализации эффективности классификации на наборах данных секвенирования РНК одиночных клеток (scRNA-seq). В задачах классификации, включающих два класса, традиционные подходы, такие как рабочая характеристика приемника (ROC) и площадь под ROC-кривой (AUC), служат целям, сопоставимым с показателями R-S. Однако, в отличие от этих традиционных методов, показатели R-S обладают способностью распространяться на сценарии с любым количеством классов, что является преимуществом по сравнению с традиционными методами..

На рис. 4a-b представлено сравнение R-S графика и двумерных (2D) графиков UMAP для четырех наборов данных scRNA-seq, включая GSE45719, GSE59114, GSE75748 cell и GSE75748 time. Каждый набор данных был разделен на пять подмножеств с использованием 5-кратной перекрестной проверки. Четыре подмножества использовались для обучения классификатора random forest (RF), в то время как одно подмножество было зарезервировано для тестирования. Впоследствии для каждого образца были рассчитаны оценки остатков и сходства, которые были визуализированы на основе их истинного типа клеток. Затем образцы были раскрашены в соответствии с метками, предсказанными классификатором RF. Ось $x$ представляет оценки остатков, а ось $y$ представляет оценки сходства. Обе оценки варьируются от 0 до 1, где 1 указывает на оптимальную производительность. Хорошо разделенное и кластеризованное сокращение размерности обозначено в правом верхнем углу графика. Модель TEPC использовалась для сокращения размерности до 30 супергенов с $\kappa=1$ и $\sigma=3$.

Рис. 4c представляет матрицу ошибок для R-S графиков, где ось $x$ означает истинные метки, а ось $y$ — предсказанные метки. Например, для набора данных GSE45719 в первой строке рисунка можно увидеть, что классы 2, 5 и 6 классифицированы верно, а классы 0, 1, 3, 4 и 7 классифицированы верно за исключением одного, трех, трех и четырех образцов соответственно. Однако на UMAP графиках образцы классов 0, 1, 3 и 7 не образуют компактных отдельных кластеров, и для каждого класса наблюдаются два явно разделенных кластера. Эти результаты показывают, что, хотя UMAP обладает хорошей визуализацией кластеризации, R-S график демонстрирует лучшие показатели прогнозирования, чем UMAP. Схожие результаты получены для наборов данных GSE59114, GSE75748 cell и GSE75748 time, представленных в последних трех строках рис. 4a-c. Визуализация кластеризации для оставшихся наборов данных scRNA-seq приведена на рис. S2, S3 и S4 в дополнительных материалах..

⟦Figure 4: R-S графики, UMAP графики и матрица ошибок RS графиков для четырех наборов данных scRNA-seq, включая наборы данных GSE45719, GSE59114, GSE75748 cell и GSE75748 time. a: R-S графики. Метод TEPC использовался для сокращения наборов данных scRNA-seq до 30 компонентов с помощью $\kappa=1$ и $\sigma=3$. 5-кратная перекрестная проверка использовалась для разделения данных на пять частей, где четыре части использовались для обучения, а одна часть — для тестирования классификатора random forest (RF). RS-оценка вычислялась для тестового набора, и все 5 фолдов были визуализированы. Каждая секция соответствует 1 из 8 истинных типов клеток, а цвет и маркер образца соответствуют предсказанной метке от классификатора RF. b: UMAP графики. Данные были подвергнуты логарифмическому преобразованию, и любые гены с дисперсией менее $10^{-6}$ были удалены перед применением сокращения размерности. Образцы были окрашены в соответствии с их типами клеток. c: Матрица ошибок, основанная на результатах классификации R-S графиков. d: Иллюстрация процесса фильтрации облаков точек с генерацией серии симплициальных комплексов. e показывает изменения персистентных чисел Бетти $\beta^{\alpha,0}_{0}$, $\beta^{\alpha,0}_{1}$ и наименьших ненулевых собственных значений персистентного лапласиана $\lambda^{\alpha,0}_{0}$, $\lambda^{\alpha,0}_{1}$ при увеличении радиуса фильтрации $\alpha$ соответственно..

3.5 Применение хаотического обучения в других областях

В настоящей работе хаотическое обучение было применено к различным сложным системам: от отдельных молекул (белков), отдельных клеток, органов (ЭЭГ головного мозга) до небиологических данных (изображений). Хотя все примеры, приведенные в данной работе, касаются прогнозирования конкретных элементов, предложенный TEPC может быть использован для прогнозирования глобальных свойств путем соответствующей интеграции признаков конкретных элементов в глобальные признаки, такие как признаки для целого белка, которые могут быть использованы для глобальных прогнозов, например, растворимости белка, токсичности, свободной энергии фолдинга и т. д..

Здесь, путем интеграции ML, теории хаоса и персистентного лапласиана, мы предлагаем парадигму хаотического обучения для прогнозирования свойств общих данных на основе непредсказуемой хаотической динамики. Наша парадигма может быть использована не только в качестве инструмента в ML прогнозировании, но и как новый метод анализа временных рядов, таких как данные ЭЭГ головного мозга..

Предложенное хаотическое обучение может быть улучшено с помощью других топологических методов Лапласиана, таких как персистентный гиперграфовый Лапласиан и персистентный пучковый Лапласиан [17], а также более совершенных временных интеграторов.

4 Методы

Мы рассматриваем пространственную сеть или гиперграф высокого порядка, где узлы означают объекты или частицы, нейроны, а связи или ребра между узлами представляют взаимодействие между узлами. Расстояние между двумя узлами напрямую связано с силой их взаимодействия. Кроме того, мы предполагаем, что все функции узлов определяются исключительно структурой сети. Следовательно, функциональные прогнозы могут быть выполнены с использованием структурной информации без обращения к конечным взаимодействиям. Мы создаем матрицу связности на основе интерактивной сети, представляем динамику каждого узла с помощью нелинейного осциллятора и связываем узлы с помощью матрицы связности, извлеченной из данных. Наконец, мы рассматриваем persistent Laplacian и предлагаем новый метод фильтрации, лапласиановую фильтрацию, вместо обычного метода фильтрации. В этом разделе мы обсуждаем детали наших основных методов: отображение взаимодействия на топологию и анализ persistent Laplacian. Краткое обсуждение анализа устойчивости связанных хаотических систем и детали оценок сходства остатков приведены в разделах S1.2 и S9 вспомогательной информации соответственно..

4.1 Отображение взаимодействия в топологию

Топологические отношения или связность между узлами сети являются основными компонентами в моделях нелинейной динамики сетей. Как обсуждалось выше, эта топологическая информация может быть извлечена из взаимодействия заданного интересующего узла в $n$-мерном пространстве. Рассмотрим сеть из $N$ узлов, расположенных в различных областях ${\mathbb{r}_{1}},{\mathbb{r}_{2}},\cdots,{\mathbb{r}_{N}}$, ($\mathbb{r}_{j}\in{\mathbb{R}^{n}}$), где узлами могут быть нейроны, атомы, остатки аминокислот в молекуле или люди в обществе при применении в других сценариях. Расстояние между $i$-м и $j$-м узлами задается $d_{ij}(r_{i},r_{j})=\left\|{{\mathbb{r}_{i}}-{\mathbb{r}_{j}}}\right\|_{2}$. Матрица связности должна соответствовать отношению управления и отклика между двумя динамическими системами. Более того, мы предполагаем, что все узлы в сети взаимно связаны, а их взаимодействия затухают как функция от их расстояния $\mathbb{A}_{ij}(d_{ij})$. Простейшей формой матрицы связности является матрица Кирхгофа (или матрица связности), генерируемая пороговым расстоянием $\sigma_{ij}$:

$${A_{ij}}=\left\{{\begin{array}[]{*{20}{c}}{1,\quad{\rm{}}\forall{d_{ij}}\leq{\sigma_{ij}},i\neq j}\\ {0,\quad{\rm{}}\forall{d_{ij}}>{\sigma_{ij}},i\neq j}\\ {-\sum\nolimits_{j\neq i}{{A_{ij}},}\quad{\rm{}}\forall i=j.}\end{array}}\right.$$ (1)

Для того чтобы учесть эффект расстояния более практичным образом, часто для удобства применяются гладкие и монотонно убывающие радиально-базисные функции или дельта-последовательности ядер положительного типа [48]. Здесь обобщенные экспоненциальные функции

$${A_{ij}}=\left\{{\begin{array}[]{*{20}{c}}{{e^{{{-d_{ij}^{k}}\mathord{\left/{\vphantom{{-d_{ij}^{k}}{k\sigma_{ij}^{k}}}}\right.\kern-1.2pt}{k\sigma_{ij}^{k}}}}},\quad{\rm{}}\forall i\neq j,{\rm{}}k=1,2,\cdots}\\ {-\sum\nolimits_{j\neq i}{{A_{ij}},}\quad{\rm{}}\forall i=j}\end{array}}\right.$$ (2)

и степенные функции рассматриваются,

$${A_{ij}}=\left\{{\begin{array}[]{*{20}{c}}{{{\left({{{{d_{ij}}}\mathord{\left/{\vphantom{{{d_{ij}}}{{\sigma_{ij}}}}}\right.\kern-1.2pt}{{\sigma_{ij}}}}}\right)}^{-\upsilon}},\quad{\rm{}}\forall i\neq j,{\rm{}}\upsilon>1{\rm{}}}\\ {-\sum\nolimits_{j\neq i}{{A_{ij}},}\quad{\rm{}}\forall i=j,}\end{array}}\right.$$ (3)

где $\sigma_{ij}$ — характерное расстояние между узлами. В настоящей работе $\sigma_{ij}$ является настраиваемым параметром. Заметим, что вышеуказанные матричные функции уже применялись в других методах, таких как методы анализа гибкости в биологических системах [49, 50]. Однако текущая конструкция этих функциональных форм основана на взаимосвязи воздействия и отклика связанных динамических систем [51]⟧.

Формулы 1-3 могут быть использованы для отображения геометрии сети в топологические отношения или связности. Матрица связности $\bf A$ является $N\times N$ симметричной, диагонально доминирующей матрицей, и элементы в этой матрице не являются потенциалами взаимодействия между узлами. Для упрощения мы полагаем, что характеристические расстояния всех узлов одинаковы $\sigma_{ij}=\sigma$.

4.2 Анализ персистентных лапласианов

Персистентная гомология (PH) — это новая ветвь алгебраической топологии, развитая как новое многомасштабное представление топологических признаков, успешно применяемое в различных областях, включая математику [52], химию [53] и другие. Она включает процесс фильтрации для генерации семейства топологических пространств, что позволяет анализировать систему на разных масштабах. Более подробное обсуждение теории PH приведено в разделе S8 вспомогательной информации. Однако PH не может обнаружить гомотопическую эволюцию формы системы во время фильтрации. Недавно был разработан персистентный лапласиан (PL) или персистентный спектральный граф (PSG), чтобы заполнить этот пробел. PL не только сохраняет полный набор топологических инвариантов в своих гармонических спектрах, как это делает PH, но и фиксирует гомотопическую эволюцию формы данных во время фильтрации в своих негармонических спектрах, которые PH не описывает [16]. PL является частным случаем персистентных топологических лапласианов, включая персистентный лапласиан Ходжа, определенный на римановом многообразии [54], и множество других формулировок, определенных на многих топологических пространствах, таких как клеточные пучки, гиперграфы, комплексы путей и т. д. Как и PH, PL используют процесс фильтрации для генерации серии геометрических фигур и связанных с ними топологических пространств, на которых определяются персистентные спектральные графы. Изменение размерностей нулевого пространства PL во время фильтрации указывает на персистентность топологических инвариантов, в то время как ненулевые собственные значения и связанные с ними собственные функции PL раскрывают эволюцию геометрической формы данных во время фильтрации..

Ориентированный симплициальный комплекс $K$ представляет собой последовательность подкомплексов $(K_{t})_{t=0}^{m}$ из $K$:

$$\emptyset=K_{0}\subseteq K_{1}\subseteq K_{2}\subseteq\cdots\subseteq K_{m}=K.$$ (4)

Рассматривая соответствующую цепную группу каждого подкомплекса $K_{t}$ и оператор границы $q$: $C_{q}(K_{t})$ и $\partial_{q}^{t}:C_{q}(K_{t})\to C_{q-1}(K_{t})$, если $0<q\leq\dim K_{t}$, мы имеем

$$\partial_{q}^{t}(\sigma_{q})=\sum_{i}^{q}(-1)^{i}\sigma^{i}_{q-1},\quad\forall\sigma_{q}\in K_{t},$$ (5)

где $\sigma_{q}=[v_{0},\cdots,v_{q}]$ — любой $q$-симплекс, а $\sigma^{i}_{q-1}=[v_{0},\cdots,\hat{v_{i}},\cdots,v_{q}]$ — ориентированный $(q\!-\!1)$-симплекс, построенный путем удаления $v_{i}$. Важно определить сопряженный оператор $\partial_{q}^{t}$ как кограничный оператор $\partial_{q}^{t^{\ast}}:C^{q-1}(K_{t})\to C^{q}(K_{t})$, отображающий из $C_{q-1}(K_{t})$ в $C_{q}(K_{t})$ посредством изоморфизма между коцепными группами и цепными группами $C^{q}(K_{t})\cong C_{q}(K_{t})$.

Для простоты, обозначая $C_{q}^{t}$ группой цепей $C_{q}(K_{t})$ и используя естественное отображение включения из $C_{q-1}^{t}$ в $C_{q-1}^{t+p}$, определим подмножество $C_{q}^{t+p}$ как $\mathbb{C}_{q}^{t,p}$, где граница находится в $C_{q-1}^{t}$ как

$$\mathbb{C}_{q}^{t,p}\coloneqq\{\beta\in C_{q}^{t+p}\mid\ \partial_{q}^{t+p}(\beta)\in C_{q-1}^{t}\}.$$ (6)

На этом подмножестве мы обозначаем $p$-персистентный $q$-граничный оператор через $\eth_{q}^{t,p}:\mathbb{C}_{q}^{t,p}\to C_{q-1}^{t}$, а соответствующий сопряженный оператор через $(\eth_{q}^{t,p})^{\ast}:C_{q-1}^{t}\to\mathbb{C}_{q}^{t,p}$ посредством определения коцепей с цепями. Мы можем определить $q$-порядковый $p$-персистентный оператор Лапласа $\Delta_{q}^{t,p}:C_{q}^{t}\to C_{q}^{t}$ в фильтрации [16]

$$\Delta_{q}^{t,p}=\eth_{q+1}^{t,p}\left(\eth_{q+1}^{t,p}\right)^{\ast}+\partial_{q}^{t^{\ast}}\partial_{q}^{t}.$$ (7)

Матричное представление $\Delta_{q}^{t,p}$ в симплициальном базисе есть

$$\mathcal{L}_{q}^{t,p}=\mathcal{B}_{q+1}^{t,p}(\mathcal{B}_{q+1}^{t,p})^{T}+(\mathcal{B}_{q}^{t})^{T}\mathcal{B}_{q}^{t}.$$ (8)

Топологические инварианты соответствующей персистентной гомологии, определенной той же фильтрацией, могут быть восстановлены из ядра PL Eq. (7):

$$\beta_{q}^{t,p}=\dim\ker\partial_{q}^{t}-\dim\im\eth_{q+1}^{t,p}=\dim\ker\mathcal{L}_{q}^{t,p}=\#\text{0 eigenvalues of }\mathcal{L}_{q}^{t,p}.$$ (9)

В данном исследовании мы фокусируемся только на PL 0, 1 и 2-го порядка для данных нейронных сетей головного мозга. Математически, $\beta_{q}^{t,p}$ из нулевого пространства LP отслеживает количество независимых $q$-мерных дыр в $K_{t}$, которые все еще существуют в $K_{t+p}$. Таким образом, это дает ту же топологическую информацию, что и PH. Однако ненулевые собственные значения PL раскрывают гомотопическую эволюцию формы данных в процессе фильтрации..

Стоит отметить, что вместо традиционного метода фильтрации, основанного на непосредственном изучении симплициальных комплексов в PH или PL, в настоящей работе мы применяем процедуру лапласиановой фильтрации к нашей взвешенной матрице Лапласа для построения семейства подграфов на основе порога накопления. Функция взвешенной матрицы Лапласа выглядит следующим образом:

$$\begin{split}L=(l_{ij}),l_{ij}=\left\{\begin{array}[]{cc}l_{ij},&i\neq j,i,j=1,\dots,n\\ l_{ii}=-\sum_{j=1}^{n}l_{ij}.&\end{array}\right.\end{split}$$ (10)

Для $i\neq j$, пусть $l_{\text{max}}=\text{max}(l_{ij})$, $l_{\text{min}}=\text{min}(l_{ij})$ и $d=l_{\text{max}}-l_{\text{min}}$. Мы задаем $k$-й персистентный лапласиан $L^{k},k=1,\dots,p$:

$$\begin{split}L^{k}=(l^{k}_{ij}),l^{k}_{ij}=\left\{\begin{array}[]{cc}0,&\text{if}\ l_{ij}\leq(k/p)d+l_{\text{min}}\\ -1&\text{otherwise}\\ l_{ii}^{k}=-\sum_{j=1}^{n}l_{ij}^{k}.&\\ \end{array}\right.\end{split}$$ (11)

Кроме того, на рис. 4d описано топологическое представление облаков точек с помощью комплексов Виеториса-Рипса с различным радиусом фильтрации $\alpha$. Поведение Betti-0 и Betti-1 персистентной гомологии в процессе фильтрации проиллюстрировано красными линиями на рис. 4e. Напротив, наименьшие ненулевые собственные значения ($\lambda^{\alpha,0}_{0}$ и $\lambda^{\alpha,0}_{1}$) персистентного лапласиана при той же фильтрации проиллюстрированы синими линиями на рис. 4e. Персистентный лапласиан фиксирует не только все топологические изменения, но и гомотопическую геометрическую эволюцию в процессе фильтрации. Топологическое представление облаков точек в правильном восьмиугольнике можно найти в дополнительной информации..

Доступность данных и кода

Связанные коды, изученные в настоящей работе, доступны по адресу: https://github.com/kelu0124/TEPC/tree/main.

Благодарности

Данная работа была частично поддержана грантами NIH R01GM126189 и R01AI164266, грантами NSF DMS-2052983, DMS-1761320 и IIS-1900473, грантом NASA 80NSSC21M0023, фондом MSU, Bristol-Myers Squibb 65109 и Pfizer. Работа Хуахай Цю и Бенгун Чжан была поддержана Национальным фондом естественных наук Китая в рамках грантов №12271416 и №12371500 соответственно..

Конфликт интересов

Авторы заявляют об отсутствии конфликта интересов.