Нейроморфное энергоэффективное обучение для адаптивной глубокой стимуляции мозга

Аннотация

Исследования в области нейроморфных и периферийных вычислений были сосредоточены на снижении стоимости вывода контроллеров нейронных сетей, однако в физических системах с замкнутым контуром исполнительный механизм может соперничать с эффективным контроллером по энергопотреблению или превосходить его. Таким образом, эффективный контроллер необходим, но недостаточен, поскольку исполнительный механизм становится тем компонентом, затраты на который стоит сокращать, как только вывод перестает доминировать. Здесь мы представляем обучение с учетом энергопотребления — подход, который включает энергию исполнительного механизма непосредственно в вознаграждение reinforcement learning, и демонстрируем его в глубокой стимуляции мозга (DBS) с замкнутым контуром при болезни Паркинсона. Глубокая spiking neural network с Q-обучением, обученная на биофизической модели кортико-базально-ганглиозно-таламической цепи, учится подавлять патологические альфа-бета-осцилляции на 45,2%, сокращая при этом заряд стимуляции на 80,0% по сравнению с непрерывной DBS. Дистилляция знаний с ограничением разреженности сжимает стратегию для нейроморфного процессора SynSense XyloAudio 3 с мощностью вывода 0,52 мВт, обеспечивая на 28,1$\times$ меньшее энергопотребление на вывод, чем эквивалентная искусственная нейронная сеть на обычном периферийном оборудовании. Благодаря совместной оптимизации энергии стимуляции и эффективности вывода, данная структура решает обе основные задачи энергопотребления в имплантируемой нейромодуляции..

1 Введение

Развертывание нейронных сетей на периферийных и нейроморфных архитектурах позволило существенно снизить затраты вычислительной мощности. Однако, когда эти сети функционируют в качестве контроллеров в физических системах с замкнутым контуром, энергия, расходуемая актуатором, является первостепенной статьей затрат, сопоставимой с самим процессом вывода или превышающей его, как только контроллер начинает работать на энергоэффективном оборудовании. В глубокой стимуляции мозга (DBS) непрерывная подача заряда нейростимулятором потребляет мощность порядка сотен микроватт — одного милливатта 41; 15, что соответствует диапазону субмилливаттного нейроморфного контроллера. Таким образом, снижение затрат только на вывод решает лишь часть проблемы энергопотребления имплантата. Это наблюдение обосновывает необходимость обучения с учетом энергопотребления: включение выходной энергии управляемой системы непосредственно в целевую функцию обучения, чтобы стратегия оптимизировала то, что она может практически сократить..

Мы демонстрируем этот принцип в системах DBS с обратной связью для лечения болезни Паркинсона. DBS является основным хирургическим методом лечения поздних стадий болезни Паркинсона, уменьшающим тремор, ригидность и брадикинезию 3, однако традиционные устройства подают непрерывные (cDBS) высокочастотные электрические импульсы независимо от клинического состояния, что приводит к побочным эффектам, вызванным стимуляцией (например, дизартрии, нарушениям походки), и нерациональному расходу заряда батареи 13. В неперезаряжаемых имплантируемых генераторах импульсов (IPG) высокие коэффициенты заполнения требуют частых хирургических замен, при этом длительность импульса демонстрирует отрицательную корреляцию со временем до замены 42. Эти ограничения вызвали интерес к адаптивной DBS (aDBS), которая модулирует параметры стимуляции в режиме реального времени на основе биомаркеров патологической сетевой активности 1; 46. Поскольку стимуляция составляет значительную часть бюджета мощности IPG при условии эффективного вывода, эффективный контроллер aDBS должен оптимизировать энергию стимуляции наряду с терапевтической эффективностью, а не просто минимизировать собственные затраты на вывод..

Наиболее значимым биомаркером при болезни Паркинсона является преувеличенная осцилляция в $\alpha$-$\beta$ диапазоне (7–35 Гц; также называемом $\beta$-диапазоном или просто бета-ритмом), наблюдаемая в субталамическом ядре (STN) и внутреннем сегменте бледного шара (GPi) 14; 24. В предыдущих работах применялись контроллеры на основе нейронных сетей для систем DBS с обратной связью, что позволило достичь энергоэффективного подавления бета-ритма в вычислительных моделях кортико-базально-ганглионарно-таламокортикальных (CBGT) связей 26; 11; 7; 27; 44. Однако эти подходы опираются на традиционное аппаратное обеспечение и обработку с агрегацией по окнам, что требует объединения нейронных данных в статические оконные признаки (например, среднюю спектральную мощность) и приводит к потере мелкозернистой временной структуры исходного потока спайков. На рисунке 1 показано, что необработанные сигналы CBGT, связывающие непрерывные мембранные потенциалы с дискретными спайковыми событиями (рис. 1A), кодируют точные моменты разрядов в восьми популяциях базальных ганглиев, тогда как традиционная обработка сводит это к средним частотам для каждого окна (рис. 1B), отбрасывая межбарстовые интервалы, которые отслеживают патологическую синхронию. Развертывание таких контроллеров на имплантируемых генераторах импульсов (IPG) дополнительно ограничивается пределами безопасности по нагреву тканей — имплантат не должен повышать температуру окружающих тканей более чем на $\sim$2∘C 36 — а также необходимостью обеспечения многолетнего срока службы батареи. В совокупности эти ограничения сужают возможности постоянно работающего контроллера до субмилливаттного диапазона энергопотребления, что на порядки ниже ваттного уровня потребления традиционных ускорителей Edge AI 2.

К счастью, нейроморфные вычисления работают естественным образом в этом ограниченном режиме. Импульсные нейронные сети (SNNs), которые имитируют событийную обработку биологических нейронов, могут обрабатывать нейронные сигналы при мощности менее милливатта и задержке менее миллисекунды 45. В отличие от обычных искусственных нейронных сетей (ANNs) и рекуррентных нейронных сетей (RNNs), SNNs выполняют вычисления только при поступлении входных импульсов и способны использовать внутренние задержки для захвата пространственно-временных зависимостей 29, что делает их хорошо подходящими для асинхронной природы биологических сигналов. Такое кодирование сохраняет временные взаимосвязи в объединенном, событийном формате, который напрямую поступает в контроллер SNN (Рис. 1C).

В данной работе мы представляем нейроморфную систему глубокой стимуляции мозга с замкнутым контуром, которая обрабатывает нейронную активность в ее естественном импульсном домене (рис. 2). Мы обучаем Deep Spiking Q-Network (DSQN) 32; 33, функция вознаграждения которой совместно оптимизирует терапевтическое подавление $\beta$ и физический заряд, доставляемый нейростимулятором, а затем развертываем полученную стратегию на нейроморфном оборудовании посредством дистилляции знаний с ограничением разреженности..

Наш вклад охватывает три области:

• ⟦ Управление с учетом энергопотребления: функция вознаграждения в RL напрямую штрафует за подачу заряда стимуляции, ориентируясь на потребность в мощности первого порядка в имплантате. При мощности вывода 0,52 мВт нейроморфный контроллер работает в пределах субмилливаттного диапазона, требуемого строгими тепловыми ограничениями и ограничениями по многолетнему сроку службы батареи, гарантируя, что сам контроллер не нивелирует экономию энергии от стимуляции..
• ⟦ Нейроморфное бенчмаркирование: развертывание SNN на нейроморфном процессоре SynSense XyloAudio 3 4 и сравнение с базовыми моделями ANN и RNN на NVIDIA Jetson Orin Nano 34, мы достигаем сокращения энергопотребления на один вывод в 28.1$\times$ раз, одновременно количественно оценивая компромиссы между мощностью и задержкой.
• ⟦ Биофизическая валидация: Мы проводим валидацию всех стратегий управления в симуляции на основе динамики Ходжкина-Хаксли 16 в модели сети CBGT у крыс с поражением 6-гидроксидофамином (6-OHDA) 21, достигая снижения мощности патологического $\alpha$-$\beta$ диапазона на 45,2% (автономная спектральная метрика с использованием нескольких окон) и сокращения совокупного заряда стимуляции на 80,0% по сравнению с непрерывной DBS..

⟦Figure 1: Представление сигнала: традиционное против нейроморфного. (A) Исходные сигналы мозга из модели CBGT. Вверху: пример непрерывной траектории мембранного потенциала, демонстрирующий генерацию спайков посредством пересечения порога ($-20$ мВ). Внизу: результирующий 80-канальный растр спайков по восьми популяциям базальных ганглиев (TH, STN, GPe, GPi, Str-D2, Str-D1, Cor-E, Cor-I). (B) Традиционная обработка с агрегацией по окнам сворачивает временную ось посредством усредняющего пулинга, сокращая полный растр спайков до 80-мерного вектора частот (вход ANN: $80\times 1$). Вся информация о времени спайков, включая межпачечную синхронность, которая кодирует патологическое состояние, отбрасывается. (C) Нейроморфное кодирование на основе событий сжимает пространственную ось (80 $\to$ 16 каналов посредством усредняющего пулинга), сохраняя при этом полную 100-шаговую временную последовательность (вход SNN: $16\times 100$). SNN обрабатывает этот временной ряд естественным образом через динамику своих мембран, сохраняя паттерны межпопуляционной синхронности без необходимости в явных рекуррентных слоях..

⟦Figure 2: Нейроморфная система DBS с замкнутым контуром. (A) Патологические $\beta$ осцилляции в базальных ганглиях при болезни Паркинсона, на которые направлено воздействие DBS. (B) Контроллер на основе spiking RL (DSQN) модулирует параметры DBS в замкнутом контуре с биофизической моделью CBGT. (C) Дистилляция с ограничением разреженности сжимает учительскую SNN в разреженные ученические модели, обменивая синаптические операции (SynOps) на терапевтическую эффективность. (D) Аппаратная реализация дистиллированной SNN на SynSense XyloAudio 3 сравнивается с эквивалентной ANN на NVIDIA Jetson Orin Nano для количественной оценки мощности, задержки и энергопотребления на один вывод..

2 Методы

2.1 Биофизическая среда моделирования

Мы валидировали стратегии управления в биофизически детализированной симуляции цепи CBGT крысы, основанной на работе Kumaravelu et al. 21. Сеть включает 80 однокамерных нейронов, распределенных по восьми популяциям: кортикальные возбуждающие и тормозные (динамика Izhikevich 17), а также субталамическое ядро (STN), наружный бледный шар (GPe), внутренний бледный шар (GPi), стриатум (средние шипиковые нейроны D1 и D2) и таламус (TH), все из которых смоделированы с использованием динамики Ходжкина-Хаксли на основе проводимости 16. Каждая субкортикальная популяция обладает специфичными для ядра ионными токами (например, L-типа и T-типа кальциевые, A-типа калиевые и кальций-зависимые калиевые токи в STN), которые создают характерные паттерны импульсации, включая пейсмейкерную активность и пачечный разряд. Полные мембранные уравнения, кинетика гейтирования и таблицы параметров приведены в приложениях A и B⟧.

Паркинсоническое состояние с дефицитом дофамина было вызвано снижением максимальной проводимости стриатального М-тока ($g_{M}$) и кортикостриатальной синаптической силы ($g_{costr}$) при одновременном усилении внутри-GPe торможения ($g_{GPe-GPe}$) 21, что воспроизводит преувеличенные $\alpha$-$\beta$-диапазонные (7–35 Гц) осцилляции, характерные для PD 13. Для обеспечения устойчивости к биологической изменчивости связность сети и начальные условия рандомизировались для каждого эпизода обучения. Межпопуляционные синапсы используют кинетику на основе проводимости с биэкспоненциальным нарастанием и затуханием, вводя реалистичные временные задержки (например, NMDA $\tau_{decay}\approx 67$–$90$ мс), которые должен учитывать контроллер (см. Приложение A для синаптических уравнений). Уравнения интегрируются с использованием метода Эйлера вперед с $dt=0.01$ мс.

События спайков регистрируются как пересечения порога фазы нарастания на уровне $V_{\mathrm{thr}}=-20$ мВ, формируя 80-канальную бинарную матрицу спайков (8 популяций $\times$ 10 нейронов), которая составляет наблюдение состояния контроллера на каждом шаге принятия решения. Мощность GPi $\alpha$-$\beta$ вычисляется с помощью многооконного точечного оценочного алгоритма с использованием дискретных пролатных сфероидальных последовательностей (DPSS) на окнах анализа по 100 мс, применяемого единообразно для всей количественной оценки мощности полос в данной работе 18 (см. Приложение A). Тот же оценочный алгоритм предоставляет онлайн-биомаркер, который симулятор передает в награду RL и прокси-показатель, используемый для ранжирования кандидатов при поиске по фронту Парето (Рис. 5), где терапевтическая эффективность представляет собой среднее значение сокращений для каждого сида по десяти сидам, что соответствует протоколу, использованному для Рис. 3. В обоих случаях оценки учитель и все модели-ученики получают пространственно объединенное 16-канальное представление, и вся последующая оценка стратегии использует это в качестве входных данных из 80-канальной матрицы спайков биофизической модели CBGT. Эта интегрированная за 4 секунды мощность $\alpha$-$\beta$ является метрикой, представленной на Рис. 3 (терапевтическая эффективность), и осью эффективности на Рис. 5 (компромисс между энергией и эффективностью). Для парных сравнений подавления по $n=10$ сидам мы приводим $d_{z}$ Коэна в качестве размера эффекта, вычисленного как среднее разностей по каждому сиду, деленное на их стандартное отклонение..

2.2 Архитектура глубокой импульсной Q-сети

DSQN реализован для выбора дискретных параметров стимуляции, модулирующих ток, подаваемый стимулятором. Q-network — это архитектура обучения с подкреплением на основе значений, которая оценивает ожидаемое будущее совокупное вознаграждение (Q-value), связанное с выполнением конкретного действия в заданном состоянии. Мы специально выбрали этот off-policy подход с дискретными действиями вместо методов градиента непрерывной политики (например, Proximal Policy Optimization или Actor-Critic) по трем основным причинам: (i) клинические нейростимуляторы DBS по своей сути работают с использованием дискретных, ограниченных по безопасности пошаговых настроек параметров, а не непрерывных аналоговых значений, что делает Q-learning структурно согласованным с аппаратным интерфейсом; (ii) его off-policy природа позволяет использовать буфер воспроизведения опыта, что существенно повышает эффективность выборки при обучении на вычислительно затратных биофизических симуляциях; и (iii) детерминированный argmax выбор максимальных Q-values естественным образом отображается на конкурентный слой считывания winner-take-all (WTA), оптимальную стратегию декодирования для нейроморфных ядер, управляемых событиями. Одновременная ко-модуляция этих переменных определяет как профиль побочных эффектов 9, так и долговечность батареи 42. Сеть реализована в PyTorch 37 с использованием нейроморфной библиотеки Rockpool 30, которая обеспечивает дифференцируемую динамику, подходящую для оптимизации на основе градиентов через surrogate gradients 10. SNN построена с использованием нейронов Leaky Integrate-and-Fire (LIF) с явной динамикой синаптического тока. В формулировке прямого метода Эйлера с дискретным временем, используемой в Rockpool, синаптический ток $I_{s}$ и мембранный потенциал $V_{m}$ развиваются как связанная система:

$$I_{s}^{t+1} =I_{s}^{t}-\frac{dt}{\tau_{s}}\,I_{s}^{t}+W_{\mathrm{in}}\,x^{t}+W_{\mathrm{rec}}\,s^{t}$$ (1)

$$V_{m}^{t+1} =V_{m}^{t}+\frac{dt}{\tau_{m}}\left(-V_{m}^{t}+I_{s}^{t}+I_{b}\right)$$ (2)

$$s^{t} =H\!\left(V_{m}^{t}-V_{\mathrm{th}}\right),\quad V_{m}^{t}\leftarrow V_{m}^{t}-V_{\mathrm{th}}\cdot s^{t}$$ (3)

где $\tau_{s}$ и $\tau_{m}$ — синаптическая и мембранная постоянные времени, $x^{t}$ — вектор входных импульсов, $s^{t}$ — бинарный вектор выходных импульсов, $W_{\mathrm{in}}$ и $W_{\mathrm{rec}}$ — матрицы входных и рекуррентных весов, $I_{b}$ — ток смещения, $V_{\mathrm{th}}$ — порог срабатывания, $H(\cdot)$ — ступенчатая функция Хевисайда, а $dt$ — шаг симуляции. Агент обучается максимизировать ожидаемую отдачу, используя правило обновления Q-learning.:

$$Q(s_{t},a_{t})\leftarrow Q(s_{t},a_{t})+\eta\left[r_{t+1}+\gamma\max_{a^{\prime}}Q(s_{t+1},a^{\prime})-Q(s_{t},a_{t})\right]$$ (4)

где $Q(s_{t},a_{t})$ — это функция ценности действия для состояния $s_{t}$ и действия $a_{t}$, $\eta$ — это скорость обучения, $r_{t+1}$ — это вознаграждение, полученное на следующем временном шаге, а $\gamma\in[0,1)$ — это коэффициент дисконтирования.

Учитель DSQN наблюдает 80-канальную матрицу спайков из модели CBGT (8 популяций нейронов $\times$ по 10 нейронов в каждой), которая сокращается до 16 каналов посредством фиксированного этапа усредняющего пулинга без параметров (раздел 2.7.1) перед подачей в обучаемую сеть; таким образом, учитель и все дистиллированные ученики работают с идентичным 16-канальным входом. Обучаемая сеть состоит из двух скрытых слоев по 128 LIF нейронов в каждом, с постоянной времени мембраны $\tau_{m}=100$ мс, синаптической постоянной времени $\tau_{s}=50$ мс, порогом генерации импульсов $V_{\mathrm{th}}=1.0$ и шагом симуляции $dt=10$ мс. Выходной слой содержит 9 LIF нейронов, соответствующих 9 дискретным действиям. Каждое наблюдение охватывает 100 временных шагов (1 с симулированной нейронной активности), что обеспечивает рекуррентной динамике достаточный временной контекст для оценки состояния..

2.3 Декодирование действий посредством партиционированного популяционного кодирования

Мы декодируем действия посредством партиционированного популяционного кодирования для преобразования высокоразмерной нейронной активности в низкоразмерные клинические элементы управления. Выходной слой SNN ($N_{out}=9$) разделен на три отдельные субпопуляции, каждая из которых предназначена для определенного параметра стимуляции: частоты ($f$), длительности импульса ($\delta$) и амплитуды ($A$). Мы используем считывание WTA на основе частоты импульсов, где сеть оценивает Q-values путем накопления мембранных потенциалов в течение окна симуляции $T_{win}$. Для каждого параметра $k\in\{f,\delta,A\}$ дискретное действие $a_{k}\in\{-1,0,+1\}$ (соответствующее уменьшению, поддержанию или увеличению) определяется нейроном с максимальной совокупной активностью:

$$a_{k}=\underset{j\in\{0,1,2\}}{\mathrm{argmax}}\left(\sum_{t=1}^{T_{win}}U_{k,j}[t]\right)-1$$ (5)

где $U_{k,j}[t]$ представляет собой мембранный потенциал $j$-го нейрона в $k$-й субпопуляции в момент времени $t$. Данная схема декодирования создает надежный интерфейс между стохастической областью импульсов и детерминированным управлением, необходимым для контроллера DBS..

2.4 Пространство действий и клинические ограничения

Политика выдает действия $a_{t}\in\mathbb{R}^{3}$, соответствующие относительным корректировкам в $f$, $A$ и $\delta$. Чтобы гарантировать, что обученная политика остается клинически применимой и может быть развернута на маломощном оборудовании, мы наложили строгие ограничения насыщения на эти параметры (Таблица 1).

Частота ($f$): Верхний предел в 180 Гц был выбран для приведения в соответствие со стандартным терапевтическим окном высокочастотной стимуляции при болезни Паркинсона, которое обычно варьируется от 130 до 185 Гц 20; 5. Этот предел также соответствует базовым показателям, установленным в средах RL и исследованиях управления на основе моделей для стабилизации таламической активации 11; 23.

Ширина импульса ($\delta$): Мы ограничили ширину импульса диапазоном 60–400 $\mu$с. Нижняя граница обеспечивает эффективную нейронную деполяризацию, соответствующую хронаксии миелинизированных аксонов, в то время как верхняя граница позволяет сохранить заряд батареи 22; 42.

Амплитуда ($A$): В моделировании реализована стимуляция с управлением по току, что соответствует конструкции современных имплантируемых генераторов импульсов, которые напрямую регулируют подаваемый заряд 36. В данной формулировке напряжение не является независимо управляемым параметром; оно неявно возникает как произведение инжектируемого тока и импеданса ткани на границе раздела с электродом и, следовательно, не ограничивается явно. Мы ограничили амплитуду тока максимальным значением 250 $\mu$А, что согласуется с рабочим диапазоном нейроморфных интегральных схем сверхнизкого энергопотребления следующего поколения, предназначенных для хронической имплантации 36, и служит пределом безопасности против чрезмерной плотности заряда на границе раздела электрод-ткань..

Мы определяем штрафной коэффициент с учетом энергопотребления $E$, основанный на приложенном токе стимуляции, для количественной оценки энергопотребления стратегии DBS. Этот коэффициент рассчитывается как среднеквадратичное значение (RMS) формы волны инжектируемого тока стимуляции, $I_{dbs}$, за заданное окно моделирования. Формально, для непрерывной формы волны стимуляции $I_{dbs}(t)$ на временном интервале $T$, прокси-показатель энергии определяется как:

$$E=\sqrt{\frac{1}{T}\int_{0}^{T}\big(I_{dbs}(t)\big)^{2}\,dt}$$ (6)

В контексте нашего биофизического моделирования с дискретным временем с шагом $\Delta t$ и общим количеством шагов моделирования $N=\frac{T}{\Delta t}$, среднеквадратичная энергия вычисляется эмпирически как:

$$E=\sqrt{\frac{1}{N}\sum_{i=1}^{N}\big(I_{dbs}[i]\big)^{2}}$$ (7)

где $I_{dbs}[i]$ — это мгновенный ток стимуляции (в $\mu A/cm^{2}$), подаваемый на STN на $i$-м временном шаге. Интегрируя квадрат амплитуды по времени, данная формулировка учитывает совокупное влияние всех трех настраиваемых параметров DBS на общее энергопотребление..

⟦Table 1: Ограничения параметров глубокой стимуляции мозга.

Parameter	Range	Rationale
Frequency ($f$)	0 – 180 Hz	Upper bound of therapeutic window
Pulse Width ($\delta$)	60 – 400 $\mu$s	Chronaxie limits and battery preservation
Amplitude ($A$)	0 – 250 $\mu$A	Next-gen low-power integrated circuit limits

2.5 Адаптивная формулировка вознаграждения

Основная сила нашего подхода заключается в совместной оптимизации терапевтической эффективности и энергии стимуляции. Для достижения этой цели мы формулируем функцию вознаграждения DSQN $r_{t}$ как разрывную функцию, которая отдает приоритет подавлению клинических симптомов выше определенного порога мощности $\beta$ ($\tau_{\beta}$), а ниже него — сохранению энергии.:

$$r_{t}=\begin{cases}-\kappa\cdot(\beta_{t}-\tau_{\beta})&\text{if }\beta_{t}>\tau_{\beta}\\ \tau_{\mathrm{reward}}\cdot\left[(1-\alpha)+\alpha\left(1-\min\left(\frac{E_{t}}{E_{\mathrm{max}}},1\right)\right)\right]&\text{if }\beta_{t}\leq\tau_{\beta}\end{cases}$$ (8)

где $\beta_{t}$ — мгновенная мощность в $\beta$-диапазоне, $E_{t}$ — мгновенный прокси-показатель энергии RMS моделирования (уравнение 7), $E_{\mathrm{max}}$ — константа нормализации, $\tau_{\mathrm{reward}}$ — базовая терапевтическая награда, $\kappa$ — коэффициент штрафа за подавление, а $\alpha$ — гиперпараметр, балансирующий целевой результат и градиент энергосбережения. Энергетический член входит в награду как нормализованное отношение $E_{t}/E_{\mathrm{max}}$, а не как абсолютный ток. Таким образом, стратегия оптимизирует долю доставляемого заряда относительно собственного рабочего диапазона, а достигнутая экономия представляет собой пропорцию от базового уровня, а не фиксированную величину. $\kappa$ сопоставляется с $\tau_{\mathrm{reward}}$ для установления пропорциональных стимулов для подавления симптомов и нарушения пороговых значений; оба параметра установлены достаточно большими, чтобы удерживать ошибки временных различий в режиме $L_{1}$ функции потерь Huber на протяжении раннего этапа обучения, стабилизируя обновление градиентов до того, как стратегия обнаружит терапевтический режим. Данная формулировка гарантирует, что агент получает положительное подкрепление только тогда, когда патологическая сигнатура в $\beta$-диапазоне подавлена в достаточной степени. Мы отмечаем, что $\tau_{\beta}$ — это эмпирически полученный фиксированный абсолютный порог, используемый для формирования награды при обучении. Полная процедура deep spiking Q-learning обобщена в алгоритме 1. Полные детали реализации, включая структуру многоголовочных действий, считывание Q-значений и регуляризацию разреженности, приведены в алгоритме S1 (приложение C⟧).

⟦Algorithm 1 Энергоэффективное глубокое импульсное Q-обучение (DSQN)

1: Среда $\mathcal{E}$; политика SNN $\mathcal{S}_{\theta}$; целевая SNN $\mathcal{S}_{\theta^{\prime}}$

2: Буфер воспроизведения $\mathcal{D}$; дисконт $\gamma$; коэффициент мягкого обновления $\tau_{\mathrm{tgt}}$; вес энергетического баланса $\alpha$

3: Инициализировать $\theta$ случайно; $\theta^{\prime}\leftarrow\theta$

4: для каждый эпизод делать

5:   Сброс $\mathcal{E}$ и мембранные потенциалы; наблюдать $\mathbf{s}_{1}$

6:   для $t=1,\dots,T_{\max}$ делать

7:    Выбрать $a_{t}$ через $\epsilon$-жадная стратегия по ⟦K0⟧ $\mathcal{S}_{\theta}(\mathbf{s}_{t})$

8:    Выполнить $a_{t}$; наблюдать $\mathbf{s}_{t+1}$, $\beta$-мощность $\beta_{t}$, энергоэффективность $E_{t}$

9:    если $\beta_{t}>\tau_{\beta}$ затем

10:      $r_{t}\leftarrow-\kappa\cdot(\beta_{t}-\tau_{\beta})$ $\triangleright$ Штраф за подавление

11:    иначе

12:      $r_{t}\leftarrow\tau_{\mathrm{reward}}\cdot\bigl((1-\alpha)+\alpha\,(1-E_{t}/E_{\max})\bigr)$ $\triangleright$ Награда за энергосбережение

13:    конец если

14:    Хранить $(\mathbf{s}_{t},a_{t},r_{t},\mathbf{s}_{t+1})$ в $\mathcal{D}$

15:    если $|\mathcal{D}|\geq B$ затем

16:      Пример мини-пакета из $\mathcal{D}$

17:      Вычислить целевые значения TD: $y_{i}\leftarrow r_{i}+\gamma\max_{a^{\prime}}Q_{\theta^{\prime}}(\mathbf{s}_{i+1},a^{\prime})$

18:      $\mathcal{L}\leftarrow\mathrm{SmoothL1}\bigl(Q_{\theta}(\mathbf{s}_{i},a_{i}),\;y_{i}\bigr)+\mathcal{L}_{\mathrm{sparsity}}$

19:      Обновление $\theta$ через AdamW на $\nabla_{\theta}\mathcal{L}$

20:      Мягкое обновление: $\theta^{\prime}\leftarrow\tau_{\mathrm{tgt}}\,\theta+(1-\tau_{\mathrm{tgt}})\,\theta^{\prime}$

21:    конец если

22:   конец для

23: конец для

2.6 Дистилляция знаний с ограничением разреженности

Дистилляция знаний (KD) применяется для переноса стратегии из плотной учительской сети в оптимизированную студенческую SNN, что позволяет согласовать высокоразмерную стратегию управления со строгими ресурсными ограничениями целевого аппаратного обеспечения. Мы минимизируем дивергенцию Кульбака-Лейблера (KL) между мягкими Q-значениями учителя ($Q_{T}$) и Q-значениями студента ($Q_{S}$) для всех симулированных состояний $s$ и действий $a$, масштабированными с помощью температурного параметра $T_{\mathrm{KD}}$⟧:

$$\mathcal{L}_{KD}=T_{\mathrm{KD}}^{2}\sum_{a}\text{softmax}\left(\frac{Q_{T}(s,a)}{T_{\mathrm{KD}}}\right)\log\left(\frac{\text{softmax}(Q_{T}(s,a)/T_{\mathrm{KD}})}{\text{softmax}(Q_{S}(s,a)/T_{\mathrm{KD}})}\right)$$ (9)

Хотя KD эффективно сжимает представление стратегии, он не минимизирует пропускную способность синапсов по своей сути. Поскольку динамическое энергопотребление в нейроморфных архитектурах линейно масштабируется с частотой SynOps 2, мы дополняем целевую функцию оптимизации явным штрафом за разреженность. Этот член регуляризует среднюю частоту импульсов каждого скрытого слоя по направлению к целевой разреженности $\rho$ с использованием дивергенции Кульбака-Лейблера Бернулли:

$$D_{KL}^{\text{sparse}}(\rho\|\hat{\rho}_{l})=\rho\log\frac{\rho}{\hat{\rho}_{l}}+(1-\rho)\log\frac{1-\rho}{1-\hat{\rho}_{l}}$$ (10)

где $\hat{\rho}_{l}=\frac{1}{N_{l}T}\sum_{i,t}S_{l,i,t}$ — средняя частота импульсов всех нейронов $i$ и временных шагов $t$ в слое $l$, а $\rho\in(0,1)$ — целевая разреженность (меньшие значения способствуют уменьшению количества импульсов). Данная формулировка побуждает фактическое распределение частоты импульсов соответствовать разреженному априорному распределению Бернулли. Общая функция потерь объединяет потери дистилляции и взвешенный штраф за разреженность для всех скрытых слоев:

$$\mathcal{L}_{total}=\mathcal{L}_{KD}+\lambda\sum_{l}D_{KL}^{\text{sparse}}(\rho\|\hat{\rho}_{l})$$ (11)

где $\lambda$ — это гиперпараметр, определяющий компромисс между эффективностью выполнения задачи и метаболическими затратами. Варьируя $\lambda$ в ходе различных циклов обучения при неизменном $\rho$ для целевого уровня разреженности, мы напрямую управляем рабочей точкой нейронной сети на фронте Парето энергоэффективности. Алгоритм S2 (Приложение D) обобщает полную процедуру дистилляции, включая график прогрева разреженности, используемый для стабилизации начального этапа обучения..

2.7 Аппаратное развертывание и бенчмаркинг

Соответствие нашей дистиллированной стратегии управления строгим эксплуатационным ограничениям имплантируемой биоэлектроники было подтверждено путем развертывания SNN на нейроморфном процессоре SynSense XyloAudio 3. Эта валидация служит для преодоления разрыва «от симуляции к реальности» путем подтверждения того, что теоретическая задержка и пропускная способность разреженной стратегии согласуются с измерениями на физическом оборудовании 2. Чтобы контекстуализировать прирост эффективности нейроморфных вычислений, мы провели сравнительный анализ SNN с двумя независимо обученными базовыми моделями, развернутыми на NVIDIA Jetson Orin Nano (CUDA) 34. Базовая модель ANN представляет собой нейронную сеть прямого распространения с частотным кодированием и согласованной архитектурой из двух скрытых слоев (80 входных каналов, 128 скрытых нейронов, 9 выходных действий), которая сворачивает временную размерность входных данных посредством усредняющего пулинга перед выполнением единичного прохода прямого распространения. Базовая модель RNN заменяет скрытые слои на GRU 8 — рекуррентную архитектуру, которая поддерживает выученное скрытое состояние на протяжении временных шагов, позволяя последовательно обрабатывать полное 100-шаговое наблюдение. Обе базовые модели используют ту же целевую функцию обучения DQN и пространство действий, что и SNN, что позволяет изолировать влияние вычислительной парадигмы (импульсная обработка на основе событий против прямого распространения с частотным кодированием против рекуррентной вентильной обработки) от архитектурных различий..

2.7.1 Аппаратно-совместимое снижение размерности

Сопряжение биологически масштабных симуляций с нейроморфным аппаратным обеспечением сверхнизкого энергопотребления сталкивается с несоответствием пропускной способности каналов. Биофизическая симуляция генерирует импульсные выходные сигналы от $N=80$ независимых нейронов. Однако SynSense XyloAudio 3 поддерживает максимум 16 входных каналов. Это несоответствие было устранено путем внедрения слоя пространственного усредняющего пулинга, который уменьшает размерность пространства состояний с $C_{in}=80$ до $C_{out}=16$ с использованием операции пулинга с шагом без перекрытия. Для входного импульсного тензора $X\in\mathbb{R}^{B\times T\times C_{in}}$ выход $Y$ вычисляется как:

$$Y_{b,t,k}=\frac{1}{K}\sum_{i=1}^{K}X_{b,t,(k-1)K+i}$$ (12)

где $b$ и $t$ индексируют размерности пакета и времени соответственно, $K=5$ — это размер ядра и шаг, а $k\in\{1,\dots,16\}$ — индекс выходного канала. Эта операция эффективно агрегирует активность кластеров из 5 соседних нейронов в единый канал «супернейрона». Данная специфическая стратегия понижающей дискретизации сохраняет статистику частоты импульсов субзон ядра без внесения сложных вычислительных накладных расходов, гарантируя, что сигнальная цепь остается строго энергоэффективной и пригодной для развертывания на Edge AI. Учитель и каждый дистиллированный ученик обучаются и оцениваются на идентичном 16-канальном представлении.

2.7.2 Архитектура и конвейер развертывания

XyloAudio 3 — это асинхронный процессор со смешанными сигналами, разработанный для постоянно активной обработки с энергопотреблением менее милливатта 4. Наша реализация использует цифровое SNN ядро устройства для обработки прямой инъекции импульсов. Поскольку ядро работает на основе событий, состояния инстанцированных LIF нейронов обновляются только при поступлении входных импульсов, что минимизирует динамическое энергопотребление в периоды низкой нейронной активности..

Для согласования высокоуровневого моделирования с низкоуровневыми аппаратными ограничениями мы использовали библиотеку Rockpool 30. Архитектура Xylo опирается на 8-битное целочисленное представление как для синаптических весов, так и для мембранных потенциалов. Соответственно, мы реализовали конвейер обучения с учетом квантования, используя суррогатные градиентные слои Rockpool, которые учитывают эффекты усечения во время обучения для предотвращения снижения производительности при развертывании. Используя стандартизированные промежуточные представления 38, обученный вычислительный граф отображается на физические ресурсы ядра Xylo, оптимизируя распределение нейронных блоков и синаптической памяти. Наконец, отображенная сеть преобразуется в двоичный конфигурационный поток битов и загружается через интерфейс среды выполнения Samna на аппаратное обеспечение, где частота тактового сигнала ядра может быть настроена для оптимального баланса между пропускной способностью вывода и энергопотреблением..

2.7.3 Протокол сравнительного тестирования

Для количественной оценки преимущества нейроморфного подхода мы выполнили протокол автономного тестирования, используя идентичные входные данные в виде синтетических импульсных последовательностей длительностью 100 временных шагов с разрешением 10 мс для всех моделей. Для Xylo SNN необработанные последовательности импульсной активности из биофизического моделирования агрегировались посредством пространственного пулинга и передавались во входной буфер оборудования в виде пакетов Address Event Representation; ядро работало на частоте 6,25 МГц, а мощность измерялась с частотой 20 Гц через встроенный интерфейс мониторинга. Мощность на базовых моделях Jetson записывалась с использованием tegrastats с интервалами 100 мс во время инференса. Энергия на один инференс представляет собой произведение средней мощности инференса и задержки выполнения, что соответствует недавним протоколам тестирования эффективных временных архитектур на периферийном оборудовании 39.

2.7.4 Учет мощности стимуляции

Мощность, которую стимулятор подает в ткань, отличается от мощности, которую он потребляет от имплантата, и только последняя определяет срок службы батареи (Таблица 2). Стандартная метрика TEED 19 дает мощность, подаваемую в ткань $P_{\mathrm{tissue}}=(V^{2}f\,\delta)/Z$, но она учитывает только резистивное рассеяние на границе раздела электрод-ткань. Поскольку ток, доставляющий этот заряд, поступает от шины напряжения, поддерживаемой значительно выше падения напряжения на ткани, драйвер рассеивает разницу. Измеренная эффективность драйверов тока для имплантируемых стимуляторов составляет около $\eta_{\mathrm{driver}}\approx 0.36$–$0.48$ 35. Таким образом, мы определяем мощность, потребляемую устройством, как $P_{\mathrm{drawn}}=P_{\mathrm{tissue}}/\eta_{\mathrm{driver}}$, принимая $\eta_{\mathrm{driver}}=0.45$ из этого измеренного диапазона. Мы учитываем только стимуляцию и инференс — две затраты, которыми фактически управляют архитектура контроллера и энергоэффективная политика. Фиксированный показатель накладных расходов устройства, такой как телеметрия, сенсорика и тактирование 41, добавлялся бы в равной степени ко всем условиям и лишь размывал бы относительный процент сэкономленной энергии. Поэтому его исключение является консервативным подходом и не меняет относительных сравнений. Более того, поскольку токи масштаба грызунов, используемые в моделировании ($\leq$250 $\mu$A), занижают клиническую доставку заряда примерно на порядок, мы привязываем абсолютные значения к клиническому эталону cDBS (130 Гц, 90 $\mu$с, 3.5 В, $Z=1$ к$\Omega$). Измеренное снижение заряда для каждого контроллера относительно cDBS (Рис. 4) затем масштабирует этот базовый уровень, оставаясь при этом независимым от конкретных границ устройства..

3 Результаты

3.1 Терапевтическая эффективность при патологическом состоянии

Мы обучили контроллер SNN, получающий вознаграждение совместно за (1) подавление патологических $\alpha$-$\beta$ осцилляций и (2) минимизацию энергии нейростимуляции, в замкнутом контуре с биофизической моделью цепи CBGT с дефицитом дофамина. Мы отдельно развернули сжатую версию этой стратегии на нейроморфном процессоре SynSense XyloAudio 3 для измерения его мощности и задержки на аппаратном обеспечении. Полный конвейер показан на рис. 2, с дополнительными подробностями в разделе Методы..

Сначала мы подтвердили способность контроллера смягчать симптомы во время активной фазы заболевания. В биофизической модели с дефицитом дофамина популяция GPi демонстрирует преувеличенные $\alpha$-$\beta$ осцилляции, являющиеся характерным электрофизиологическим признаком паркинсонической акинезии (Рис. 3A).

⟦Figure 3: Терапевтическая эффективность нейроморфного контроллера. (A1–A2) Временно-частотные спектрограммы спайковой активности популяции GPi (краткосрочная спектрограмма Фурье, репрезентативное начальное значение). Нестимулированное состояние (A1) демонстрирует устойчивую высокомощную активацию в диапазоне $\alpha$-$\beta$ (7–35 Гц, белые пунктирные линии); состояние замкнутого контура SNN (A2) показывает быстрое подавление этой патологической синхронизации. (B) Сравнение спектральной плотности мощности (PSD) с использованием мульти-тейперного метода между нестимулированным состоянием и состоянием под управлением SNN. Заштрихованные области указывают на стандартную ошибку среднего (SEM) по $n=10$ начальным значениям, а серая заливка указывает на частоты вне диапазона $\alpha$-$\beta$. (C) Временная динамика мощности в диапазоне $\alpha$-$\beta$ в течение 4-секундного острого окна; заштрихованные области представляют собой SEM ($n=10$). (D) Параметры адаптивной стимуляции в течение того же окна; заштрихованные области представляют собой SEM ($n=10$). Частота (сплошная синяя линия) возрастает до предела 180 Гц; амплитуда (сплошная оранжевая линия) начинается около 250 $\mu$А и постепенно снижается в течение окна стимуляции; длительность импульса (пунктирная зеленая линия) демонстрирует большую вариативность между начальными значениями. (E) Средняя интегральная мощность в диапазоне $\alpha$-$\beta$ для исходного состояния PD и контроллера SNN (среднее $\pm$ SEM, $n=10$ начальных значений). На панелях B и E используется мульти-тейперный точечный оценочный метод для окон по 100 мс, что согласуется с онлайн-биомаркером и другими экспериментами, в то время как на спектрограммах A1–A2 используется краткосрочная оценка Фурье для временно-частотного разрешения. Рост спектральной мощности в сторону более высоких частот отражает нижний предел частоты спайков точечного процесса, а не отчетливый осцилляторный пик, поэтому терапевтический эффект заключается в широкополосном снижении мощности в диапазоне $\alpha$-$\beta$, а не в подавлении изолированного бета-пика..

По результатам 10 независимых запусков контроллер SNN снижает интегральную мощность в диапазоне $\alpha$-$\beta$ на $45.2\%$ (95% ДИ [42.6, 47.7]; $n=10$; диапазон 40–50% по результатам запусков; рис. 3E). Это снижение является значительным и высокодостоверным по сравнению с исходным состоянием при болезни Паркинсона без стимуляции (двусторонний парный $t(9)=31.9$, $p=$1.4\text{\times}{10}^{-10}$$; $d_{z}=10.1$ Коэна; критерий знаковых рангов Уилкоксона $p=0.002$). Агент RL быстро обнаруживает патологическое состояние на основе обратной связи от GPi и инициирует высокочастотную стимуляцию для прерывания рекуррентной синхронизации между STN и наружным бледным шаром (GPe), выравнивая кривую спектральной плотности мощности (PSD) в диапазоне 7–35 Гц (рис. 3B).

Сравнения спектрограмм (рис. 3A2) показывают, что контроллер восстанавливает десинхронизированный режим импульсации, сопоставимый со здоровым базовым состоянием. Как показано на рис. 3D, SNN контроллер демонстрирует четкую стратегию постепенного наращивания. Начиная с исходного состояния стимуляции (частота 40 Гц, амплитуда 250 $\mu$A и длительность импульса 0,3 мс), SNN быстро увеличивает частоту до предельных 180 Гц, в то время как амплитуда постепенно снижается от своего начального максимума. Длительность импульса незначительно варьируется в зависимости от начальных условий, что согласуется с его узким трехшаговым диапазоном действий, а не с выраженным предпочтением стратегии. В этом фиксированном состоянии дефицита дофамина, при отсутствии здоровых интервалов для снижения регуляции, стимуляция с максимальным воздействием является оптимальной стратегией с точки зрения вознаграждения. Чтобы подтвердить, что эта решительная модуляция обусловлена динамическим наблюдением с обратной связью, а не вырожденной стратегией с разомкнутым контуром, мы провели исследование с сенсорной абляцией (Приложение F). Результаты демонстрируют, что сеть активно отслеживает лежащую в основе физиологическую динамику, возвращаясь в спокойное состояние с нулевой стимуляцией при отсутствии входных спайков..

3.2 Энергоэффективность стимуляции

Для количественной оценки экономии энергии стимуляции при использовании стратегии с учетом энергопотребления мы сравнили контроллер SNN с традиционными стратегиями DBS и двумя базовыми моделями без импульсных нейронных сетей при чередующихся здоровом и паркинсоническом состояниях (Рис. 4). Было оценено шесть условий: отсутствие стимуляции (патологический базовый уровень), cDBS (130 Гц, 300 $\mu$A, 0.3 мс), клиническая эвристика aDBS с двойным порогом, которая переключает стимуляцию на основе $\beta$-power 25; 46, базовая модель прямого распространения ANN (Deep Q-Network, DQN), базовая модель рекуррентной RNN (Gated Recurrent Unit, GRU-DQN) и наш адаптивный контроллер SNN. Функция вознаграждения, пространство действий и среда остаются неизменными для всех трех обученных контроллеров. Стратегия с двойным порогом представляет собой текущий клинический стандарт для адаптивной DBS, при котором стимуляция включается или выключается, когда спектральный биомаркер пересекает заданные верхнюю и нижнюю границы. Это требует непрерывной онлайн-оценки мощности $\beta$-диапазона на основе локального полевого потенциала (LFP). Контроллер SNN, напротив, получает только необработанный многоканальный растр импульсов и, следовательно, не вычисляет спектральный биомаркер ни на одном из этапов..

Стратегия SNN обеспечивает сокращение совокупной подачи заряда на 80,0% по сравнению с cDBS (рис. 4E), при этом поддерживая $\beta$-мощность значительно ниже терапевтического порога во время паркинсонических блоков. SNN также превосходит эвристику с двойным порогом, которая представляет собой текущий клинический стандарт для адаптивной DBS. В эксперименте с цикличностью эвристика aDBS с двойным порогом снижает совокупный заряд лишь на 57,0% по сравнению с cDBS, поэтому SNN подает на 53,5% меньше заряда, чем эвристика. Эта большая экономия не требует затрат в плане эффективности: на протяжении паркинсонических блоков данного эксперимента SNN удерживает $\beta$-мощность GPi на 85,9% ниже уровня без стимуляции (среднее значение $46.0$ $\mu V^{2}$) против 56,2% для aDBS с двойным порогом (среднее значение $142.6$ $\mu V^{2}$, которое по своей структуре отслеживается чуть ниже порога $\tau_{\beta}=150~\mu V^{2}$). Часть этого запаса является структурной, поскольку эвристика переключает стимуляцию при фиксированных параметрах включения cDBS, в то время как SNN также может модулировать ширину и амплитуду импульса, поэтому контроллер с двойным порогом и оптимизированным по энергии состоянием включения сократил бы этот разрыв. Даже с учетом этого предостережения, SNN обеспечивает как меньший заряд, так и более глубокое подавление, чем эвристика. Вместо бинарного переключения вкл/выкл, SNN непрерывно модулирует амплитуду в диапазоне $\sim$200–230 $\mu$A, поддерживая частоту на уровне 180 Гц и ширину импульса 0,06 мс (рис. 4B–D). Эта стратегия узких импульсов с субмаксимальной амплитудой минимизирует заряд на импульс, сохраняя при этом терапевтическую нейронную рекрутируемость (см. приложение E). Сравнение цикличности представляет собой единичный репрезентативный прогон данного протокола чередующихся состояний, в то время как статистическая валидация по нескольким начальным значениям в данной работе охватывает результат острого подавления (рис. 3).

Ни один из базовых методов без импульсных нейронных сетей не позволил получить жизнеспособную стратегию управления. ANN, работающая на основе усредненной частоты импульсного входного сигнала, сошлась к вырожденной стратегии, которая минимизирует амплитуду до порогового значения (фактически не осуществляя стимуляцию), что обеспечивает снижение заряда на 94,8%, но без подавления $\beta$ (Рис. 4A). RNN, которая обрабатывает полное наблюдение из 100 временных шагов через рекуррентные вентили, не смогла обучиться адаптивному поведению, вместо этого приняв статичную, не зависящую от состояния стратегию, которая фиксирует все три параметра на их максимальных значениях (180 Гц, 0,4 мс, 250 $\mu$А) непрерывно, независимо от физиологического состояния. Хотя это подавляет $\beta$-осцилляции, потребление энергии при этом на 50,6% выше, чем при cDBS..

⟦Figure 4: Сравнение энергоэффективной стимуляции при чередующихся здоровых и паркинсонических состояниях. (A) Мощность $\beta$-диапазона в бледном шаре при шести условиях: без стимуляции (темно-синий), непрерывная DBS (серый), клиническая aDBS с двойным порогом (зеленый), базовый ANN (оранжевый), базовый RNN (фиолетовый) и адаптивный SNN-контроллер (синий). Светло-розовая заливка обозначает блоки с болезнью Паркинсона (PD). Горизонтальная пунктирная линия отмечает терапевтический порог ($\tau_{\beta}=150~\mu V^{2}$). (B–D) Траектории параметров стимуляции для частоты, амплитуды и длительности импульса. (E) Совокупная подача заряда за 50 с симуляции. ANN (снижение заряда на 94,8%, отсутствие подавления $\beta$) и RNN (на 50,6% больше энергии, чем cDBS, отсутствие адаптивного снижения интенсивности) не смогли найти энергоэффективную стратегию, в то время как SNN обучилась эффективной стратегии модуляции..

3.3 Аппаратно-эффективное сжатие посредством ограничений разреженности

Установленная выше экономия энергии стимуляции имеет клиническое значение только в том случае, если сам контроллер укладывается в бюджет мощности имплантата. Учитель и каждый дистиллированный ученик используют одни и те же входные данные и топологию, различаясь только синаптической активностью. Исходный 80-канальный выход CBGT подвергается пространственной понижающей дискретизации до 16 каналов (применяется идентично при обучении и развертывании, см. Методы) и подается на идентичную двухслойную сеть. При обучении без ограничений на частоту импульсов учитель генерирует плотный поток со скоростью 60,8 синаптических операций (SynOps; одно накопление веса на импульс на исходящий синапс) в миллисекунду, что превышает энергоэффективный режим целевого аппаратного обеспечения. Поскольку динамическая мощность на нейроморфных ядрах масштабируется в зависимости от частоты SynOps, контроллер должен генерировать меньше импульсов без потери терапевтической эффективности. Поиск этого баланса напрямую с помощью RL непрактичен. Каждый эпизод запускает биофизическую симуляцию $\sim$50$\times$ медленнее реального времени, что делает тестирование множества настроек разреженности непомерно дорогим. Дистилляция от единого фиксированного учителя позволяет избежать этих затрат, поскольку регуляризация каждого ученика в направлении целевой частоты импульсов позволяет нам перебрать десятки конфигураций разреженности за часы, вместо того чтобы заново запускать RL с нуля для каждой из них..

Мы интегрировали аппаратные ограничения непосредственно в целевую функцию дистилляции, дополнив функцию потерь штрафным слагаемым за разреженность ($\lambda$, Eq. 11). Студенческая сеть обучается представлять терапевтическую стратегию, используя разреженность активаций, что позволяет получить «аппаратно-эффективную» стратегию, которая минимизирует количество SynOps наряду с выполнением основной терапевтической задачи..

Мы провели детальный перебор гиперпараметров для систематической характеристики взаимосвязи между разреженностью и терапевтической емкостью. Мы обучили 80 студенческих стратегий для различных целевых уровней разреженности ($\rho\in\{0.01,0.015,0.02,0.025,0.03,0.04,0.05,0.10\}$) и весов штрафов ($\lambda\in\{500,600,700,\ldots,1500,2000\}$), как показано на Рисунке 5. Лучшая по Парето студенческая модель ($\rho=0.015$, $\lambda=1500$) соответствует эффективности учительской модели при $16.8$ SynOps/мс, что на $3.6\times$ меньше SynOps, чем у учителя (Рис. 5B). На другом конце диапазона перебора чрезмерно разреженные модели не дают преимуществ по сравнению с отсутствием стимуляции при болезни Паркинсона. Более высокий вес штрафа при умеренной целевой разреженности стабильно сохраняет эффективность — закономерность, заметная на тепловой карте (Рис. 5A). При оценке по тому же конвейеру с использованием мульти-тейперного анализа, что и у учителя (10 начальных значений, 4-секундное окно), лучшая студенческая модель подавляет мощность $\alpha$-$\beta$ на $45.9\%$ ($\pm 1.23\%$ SEM; $n=10$), что статистически неотличимо от показателя учителя $45.2\%$ (парный $t(9)=-1.47$, $p=0.176$; критерий Уилкоксона $p=0.232$). Таким образом, сжатие оказывает минимальное влияние на терапевтический эффект, позволяя студенческой модели достичь эквивалентной эффективности при $3.6\times$ меньшем количестве SynOps..

⟦Figure 5: Компромисс между энергоэффективностью и разреженностью при дистилляции. (A) Тепловая карта снижения мощности в диапазоне $\alpha$-$\beta$ (та же метрика, что и на рис. 3; 10 запусков, 4-секундное окно) по сетке гиперпараметров $\rho\times\lambda$ (8 $\times$ 10, 80 моделей). Увеличение подавления $\beta$ приводит к переходу от красного цвета через желтый к зеленому. (B) Фронт Парето для SynOps/мс против мощности в диапазоне $\alpha$-$\beta$ (нижний левый угол лучше). Красная линия обозначает базовый уровень при болезни Паркинсона без стимуляции; модели выше этой линии работают хуже, чем отсутствие стимуляции. Желтая пунктирная линия обозначает эффективность учителя ($45.2\%$ при $60.8$ SynOps/мс). Из 80 учеников 18 находятся в пределах 3 процентных пунктов от учителя при 1.7–4.1$\times$ меньшем количестве SynOps, в то время как 21 модель находится выше базового уровня при болезни Паркинсона. Лучший ученик, эффективный по Парето ($\rho=0.015$, $\lambda=1500$), достигает $45.9\%$ при $16.8$ SynOps/мс, $3.6\times$ меньшем количестве SynOps при эквивалентной эффективности..

3.4 Эффективность нейроморфного оборудования

Сравнение лучшего студента на SynSense XyloAudio 3 4 с эквивалентными базовыми моделями на NVIDIA Jetson Orin Nano (CUDA) выявило разрыв в энергопотреблении примерно в 11,000$\times$. Этот студент достигает $45.9\%$ подавления $\alpha$-$\beta$ при $16.8$ SynOps/мс, что соответствует эффективности учителя при $3.6\times$ более низкой синаптической пропускной способности (см. выше).

3.4.1 Энергопотребление и задержка вывода

На рисунке 6 представлены измеренные показатели энергопотребления, задержки и энергии на один вывод для всех конфигураций. Средняя системная мощность вывода Xylo SNN составила 0,52 мВт (включая ввод-вывод и аналоговый интерфейс) по сравнению с 5,7 Вт (ANN) и 5,6 Вт (RNN) у Jetson Orin Nano на шине VDD_IN. Чтобы соотнести это различие с клиническим применением, отметим, что питание модуля Jetson от гипотетической неперезаряжаемой батареи DBS емкостью 5 Вт·ч привело бы к исчерпанию всей емкости имплантата менее чем за 53 минуты только за счет накладных расходов на обработку. Напротив, мощность вывода процессора Xylo, равная 0,52 мВт, позволяет обеспечить более одного года непрерывной работы в режиме постоянной активности ($\sim$9600 часов, рассчитано как 5 Вт·ч / 0,52 мВт). Эти измерения отражают различные границы систем (автономный нейроморфный чип против полноценного модуля Edge AI). Хотя оба процессора в конечном итоге потребуют интеграции с системой сбора данных имплантата, данное сравнение иллюстрирует базовый уровень мощности, необходимый для выполнения нейронных сетей в рамках этих двух вычислительных парадигм..

⟦Figure 6: Сравнение аппаратных показателей нейроморфной реализации (Xylo Audio 3) и edge AI (Jetson Orin Nano CUDA). (A) Задержка вывода. (B) Потребляемая мощность. (C) Энергия на один вывод. Развернутая на Xylo SNN потребляет на 28.1$\times$ меньше энергии на вывод, чем ANN, и на 72.5$\times$ меньше, чем RNN на Jetson, несмотря на то, что она на $\sim$390$\times$ медленнее, из-за того, что ее энергопотребление ниже на $\sim$11,000$\times$..

Развернутая на Xylo SNN затрачивала в среднем 315,10 мс на один вывод по сравнению с 0,81 мс (ANN) и 2,13 мс (RNN) на базовых моделях Jetson CUDA, жертвуя скоростью ради энергоэффективности. Большая задержка RNN по сравнению с ANN отражает последовательную природу рекуррентности GRU, которая не может быть полностью распараллелена на GPU. Задержка вывода в 315 мс является умеренной по отношению к окну наблюдения в 1 с, на основе которого вычисляется каждое состояние (100 шагов $\times$ 10 мс/шаг), что дает общую задержку цикла $\sim$1,3 с на решение. Это согласуется с временным масштабом, в котором варьируются огибающие мощности $\beta$-диапазона при паркинсоническом состоянии 25, а также с опубликованными адаптивными системами DBS, которые обновляют стимуляцию с секундным или досекундным интервалом 46.

3.4.2 Энергопотребление на одну операцию вывода

Энергия на один вывод представляет собой произведение средней мощности вывода и задержки выполнения. Накапливаясь за время работы контроллера в непрерывном режиме, именно она разряжает аккумулятор. Студенческая модель Xylo потребляла $1.64\times 10^{-4}$ Дж на один вывод по сравнению с $4.61\times 10^{-3}$ Дж для ANN и $1.19\times 10^{-2}$ Дж для RNN на Jetson CUDA, что соответствует сокращению на 28.1$\times$ и 72.5$\times$ соответственно. Более высокое энергопотребление RNN отражает как более длительный последовательный вывод, так и постоянное потребление мощности на уровне ватт у Jetson. Как и в случае со сравнением мощности, эти коэффициенты противопоставляют ядро Xylo всей системе Jetson..

Работа, управляемая событиями, также позволяет процессору Xylo динамически масштабировать свою мощность, переходя в состояние низкого энергопотребления в режиме ожидания ($<100$ $\mu$Вт), когда входные спайки отсутствуют, в отличие от Jetson, который работает непрерывно независимо от входной активности. Для разреженных паттернов возбуждения, характерных для биологических сигналов, такая эффективность в режиме ожидания еще больше увеличила бы разрыв при развертывании в реальных условиях..

3.4.3 Бюджет мощности имплантата

Контроллер нейронной сети является лишь одним из компонентов общего энергопотребления системы. Сам нейростимулятор потребляет значительную часть энергетического бюджета, что также необходимо учитывать. Чтобы оценить, приводят ли меры по экономии стимуляции из раздела 3.2 к существенному увеличению срока службы батареи, мы сравнили мощность стимуляции, потребляемую устройством, с измеренной мощностью вывода для каждой платформы (Таблица 2). При использовании контроллера класса Jetson мощность вывода превышает даже клинический уровень стимуляции на четыре порядка, что делает систему неработоспособной независимо от эффективности управления стимуляцией, и именно поэтому нейроморфный вывод с потреблением менее милливатта является необходимым условием для имплантируемости. Только в этом режиме обе величины становятся сопоставимыми: на долю стимуляции приходится около 38% энергетического бюджета системы Xylo при использовании клинического cDBS в качестве эталона. Сокращение мощности стимуляции на 85,6% за счет стратегии SNN в сочетании с низкой мощностью вывода позволяет снизить долю стимуляции ниже 10% и довести общее потребление системы до $\sim$0,57 мВт, что обеспечивает примерно год непрерывной работы от элемента питания емкостью 5 Вт·ч. RNN не удается достичь такого сокращения, потребляя на 28,2% больше энергии, чем cDBS..

⟦Table 2: Прогнозируемый бюджет мощности имплантата. Стимуляция представлена как мощность, потребляемая устройством, $P_{\mathrm{drawn}}=P_{\mathrm{tissue}}/\eta_{\mathrm{driver}}$, где мощность, доставляемая в ткани $P_{\mathrm{tissue}}$, берется из TEED 19 при клиническом эталонном значении cDBS (130 Гц, 90 $\mu$с, 3,5 В, $Z=1$ к$\Omega$, что дает $\approx$143 мВт$\cdot\Omega$ в нижней границе сообщаемого клинического диапазона 145–220 мВт$\cdot\Omega$ 15), а эффективность драйвера тока $\eta_{\mathrm{driver}}\approx 0.45$ взята из измерений имплантируемых стимуляторов 35. Изученный профиль заряда каждого контроллера затем масштабирует этот базовый уровень. Мощность вывода измеряется на кристалле (Xylo) и на системной шине (Jetson), а срок службы батареи прогнозируется для неперезаряжаемого IPG емкостью 5 Вт·ч. Абсолютные значения стимуляции являются проекцией клинического масштаба, тогда как относительное снижение измеряется напрямую и не зависит от границ устройства..

Component	Xylo SNN	Jetson ANN	Jetson RNN
Stim. power, cDBS ref. (drawn)	0.32 mW	0.32 mW	0.32 mW
Stim. power, learned policy (drawn)	0.05 mW	${\approx}0$ mW$\dagger$	0.41 mW
Inference (measured)	0.52 mW	5,703 mW	5,592 mW
Total (learned policy + inference)	0.57 mW	5,703 mW	5,592 mW
Stim. share at cDBS baseline	38%	$<$0.01%	$<$0.01%
Stim. TEED reduction versus cDBS	85.6%	—	$-$28.2%
Projected battery life (5 Wh)	$\sim$1.0 yr	$<$1 hr	$<$1 hr

⟦$\dagger$ANN сошлась к стимуляции, близкой к нулевой (снижение заряда на 94,8% по сравнению с cDBS; отсутствие терапевтического подавления). Эталон cDBS: 130 Гц, 90 $\mu$с, 3,5 В, $Z=1$ к$\Omega$, $\eta_{\mathrm{driver}}\approx 0.45$ (проекция клинического масштаба). В моделировании использовались 130 Гц, 300 $\mu$А, 0,3 мс; см. Методы.

4 Обсуждение и заключение

Аппаратная эффективность является обучаемым свойством нейронного контроллера, которое целевая функция обучения может оптимизировать напрямую. Этот вывод выходит за рамки энергоэффективного вывода: включение энергии стимуляции в вознаграждение заставляет стратегию находить способы эффективного расхода заряда, которые стандартная целевая функция не обнаружила бы. Как только контроллер укладывается в тепловой бюджет имплантата, стимуляция становится основной остаточной стоимостью, и только сигнал вознаграждения, наказывающий за нее, побудит агента к ее снижению..

Совместная оптимизация энергии контроллера и актуатора. Сокращение только одной из двух статей энергопотребления не обеспечивает экономии, что наглядно демонстрирует прогнозируемый бюджет мощности (Таблица 2). Субмилливаттный инференс является обязательным условием. Без него один только контроллер превышает весь бюджет мощности имплантата, и любая экономия на стимуляции становится неактуальной. Однако одного лишь низкопотребляющего инференса недостаточно, поскольку стимулятор по-прежнему составляет значительную часть бюджета мощности. Эта совместная оптимизация отличает представленную структуру от подходов, которые оптимизируют только протоколы стимуляции 7 или только эффективность инференса в отрыве от остального, поскольку терапевтическая экономия энергии достижима только на оборудовании, которое не нивелирует её. Энергопотребление на один инференс, которое на 28.1$\times$ ниже, чем у базовой модели ANN Jetson (Рис. 6C), показывает, что преимущество сохраняется при расчете на один инференс, хотя оно и наследует асимметрию системных границ из сравнения мощностей (Рис. 6B). Кроме того, Jetson является универсальным Edge AI модулем, а не самым энергоэффективным традиционным вариантом; маломощный микроконтроллер, выполняющий квантованную ANN, потреблял бы гораздо меньше ватт, ограничивая разрыв $\sim$11,000$\times$ по сравнению с универсальным Edge AI, а не со специализированным маломощным решением. Тем не менее, потребление на уровне ватт полносистемных AI ускорителей неосуществимо для хронических имплантатов, где операция по замене батареи является основным ограничением 42; 36.

Компромисс между энергоэффективностью и сбоями дистилляции. Структура Парето на рис. 5B напрямую следует из функции вознаграждения в виде ступенчатой функции. Ученик, который не может поддерживать подавление при различных начальных значениях, не получает терапевтического подкрепления. Поскольку обучение формируется только штрафом за разреженность, оно сходится к минимальным частотам импульсов и подаче стимуляции, не обеспечивая улучшения по сравнению с состоянием без стимуляции. Таким образом, чрезмерная разреженность приводит к тому же вырожденному результату, что и ANN, а не к постепенному снижению эффективности. Более того, штраф за разреженность обеспечивает успешное сжатие, заставляя ученика тратить свой ограниченный репрезентативный бюджет на воспроизведение стратегии учителя. Этого достаточно при умеренной регуляризации; дальнейшее ее усиление привело бы к тому, что ученик потерял бы способность поддерживать подавление при изменчивости от начального значения к начальному значению..

Обобщаемость. Выявленный здесь компромисс между энергопотреблением и эффективностью не является специфичным для болезни Паркинсона (Рис. 5). Системы адаптивной нейростимуляции при эпилепсии 31 и стимуляторы спинного мозга с замкнутым контуром для лечения хронической боли 28 сталкиваются с теми же эксплуатационными ограничениями: входные данные нейронных биомаркеров, параметры актуатора с границами безопасности и ограничения по мощности хронических имплантатов в диапазоне милливатт. В каждом случае доставка заряда стимуляции становится доминирующей стоимостью актуатора, как только инференс становится эффективным, что делает формулировку вознаграждения с учетом энергопотребления применимой к этим условиям. Этапы дистилляции с ограничением разреженности и развертывания на neuromorphic оборудовании также не зависят от архитектуры, требуя для адаптации только соответствующей задаче среды моделирования. По мере того как клиническая нейромодуляция переходит от жестких эвристик к непрерывному управлению, зависящему от состояния, совместное проектирование аппаратного и программного обеспечения такого рода станет необходимым, чтобы энергопотребление контроллера не нивелировало терапевтическую экономию энергии, которую он обеспечивает..

Импульсная динамика как индуктивное смещение. При фиксированных вознаграждении, пространстве действий и среде для всех трех моделей, трехстороннее абляционное исследование (ANN, RNN, SNN) позволяет изолировать вклад временной обработки и импульсной динамики в качество стратегии. Изменения касаются архитектуры и способа обработки входных данных каждой моделью: усредненный по пулингу 80-канальный вектор для ANN, полная 80-канальная последовательность для RNN и пространственно-пулированная 16-канальная последовательность для SNN. Учитывая только эти различия, две базовые модели потерпели неудачу в противоположных направлениях. При усреднении временных характеристик импульсов внутри окна, ANN коллапсировала до нижнего предела амплитуды и прекратила стимуляцию. RNN повела себя иначе, зафиксировав каждый параметр на верхнем пределе безопасности и никогда не снижая уровень (Рис. 4A). SNN оказалась единственной архитектурой, которая нашла энергоэффективную стратегию, модулируя амплитуду при удержании частоты и ширины импульса на их граничных значениях..

Поскольку RNN сохраняет как полную временную структуру, так и более богатую канальную информацию, но все же не может найти эффективную стратегию, неудачу ANN нельзя объяснить только потерей временных характеристик импульсов. Временная обработка необходима, но недостаточна. Динамика leaky integrate-and-fire в SNN накладывает структурное ограничение, отсутствующее в GRU-гейтах с непрерывными значениями. Активации являются разреженными и бинарными, с затуханием состояния на уровне мембраны. Эта динамика ограничивает репрезентативную способность сети таким образом, что предотвращает сходимость к локальному оптимуму методом грубой силы, который находит RNN. В нашей настройке механизм импульсов, по-видимому, действует как неявный архитектурный регуляризатор, параллельный роли явного ограничения разреженности во время дистилляции. Оба метода предотвращают сходимость к вырожденным стратегиям, но через разные механизмы (нейронная динамика против штрафа функции потерь).).

Возможность клинического внедрения. Современные клинические стандарты, такие как Medtronic PerceptTM PC 43; 6; 46, опираются на жесткие эвристики с двумя порогами, которые сводят многомерную нейронную динамику к медленным спектральным средним по одной переменной. Они также требуют калибровки порогов для каждого пациента. Обрабатывая непосредственно исходный растр спайков, SNN не нуждается в настройке порогов и вместо этого может обучаться нелинейным, зависящим от состояния стратегиям, которые одновременно координируют частоту, амплитуду и ширину импульса — комбинаторная задача, с которой жесткие эвристики с трудом справляются в динамике 26. Асинхронная архитектура процессора Xylo, управляемая событиями, выполняет эти стратегии при энергопотреблении менее милливатта, совместимом с IPG. Работая в пределах безопасного лимита нагрева тканей в 2∘C 36 и обеспечивая более года непрерывной работы от стандартной батареи IPG, это решает аппаратное ограничение, которое ранее препятствовало использованию контроллеров на базе нейронных сетей в хронических имплантатах. Нейроморфное ядро медленнее в расчете на один вывод, чем базовые модели на GPU, но для aDBS с огибающей амплитуды ограничивающими факторами являются мощность и энергия, а не скорость. Эта задержка также является проектным решением, а не внутренним ограничением, поскольку ядро Xylo работало на частоте 6,25 МГц, а разрыв $\sim$390$\times$ по сравнению с Jetson можно было бы компенсировать за счет мощности путем повышения тактовой частоты..

Ограничения. Несмотря на то что наша нейроморфная архитектура обеспечивает терапевтическое управление по замкнутому контуру в рамках прогнозируемых бюджетов мощности имплантата, биофизическая среда моделирования вводит ряд практических ограничений. Во-первых, поскольку наши результаты основаны на биофизической модели грызуна, они представляют собой аппроксимацию кортико-базально-ганглионарно-таламической цепи человека, что означает, что перенос в клинические условия в конечном итоге потребует валидации на моделях, специфичных для пациента, и проведения экспериментов in vivo. Величина, которую мы рассчитываем перенести через этот разрыв, — это относительная экономия, а не абсолютное значение масштаба грызуна, поскольку вознаграждение с учетом энергопотребления оптимизирует нормализованный заряд, и стратегия, снижающая подаваемый заряд на 80%, обеспечивает такую же долю экономии независимо от абсолютного значения тока. При клинических амплитудах та же доля соответствует большей абсолютной экономии, хотя точное значение для человека будет зависеть от динамики, специфичной для пациента. Во-вторых, контроллер в настоящее время оптимизирует один биомаркер (мощность в $\beta$-диапазоне). Внедрение подходов с использованием нескольких биомаркеров 12 увеличило бы размерность входных данных и потребовало бы более крупных архитектур SNN, что вызвало бы необходимость переоценки с учетом выявленных здесь аппаратных ограничений. Наконец, скорость биофизического моделирования, которая примерно в 50$\times$ раз медленнее реального времени, стала основным узким местом обучения, ограничивающим пропускную способность эпизодов и систематическое исследование архитектур нейронных сетей, формулировок вознаграждения и конфигураций гиперпараметров. Тем не менее, эти результаты демонстрируют полезность обучения с учетом энергопотребления для имплантируемой нейромодуляции, где подавление патологической $\beta$ служит демонстрационным примером использования, который одновременно повышает эффективность контроллера и улучшает управление энергопотреблением нейростимулятора..

Благодарности и раскрытие информации о финансировании

Для данной работы не было получено специального внешнего финансирования, и авторы заявляют об отсутствии конфликта интересов. Все данные сгенерированы программным путем с помощью биофизической симуляционной модели CBGT; внешние наборы данных не использовались. Код для воспроизведения всех экспериментов доступен по адресу https://github.com/howyoubinh/CL-DBS-RL.

Приложение

Appendix A Детальная нейронная динамика и кинетика гейтирования

В этом разделе представлен полный набор алгебраических уравнений, определяющих зависящие от напряжения переменные ворот для биофизической сетевой модели, описанной в методах основного текста..

A.1 Нейроны субталамического ядра (STN)

Модель нейрона субталамического ядра включает вклады токов от натриевых ($I_{Na}$), калиевых ($I_{K}$), калиевых A-типа ($I_{A}$), кальциевых L-типа ($I_{L}$), кальциевых T-типа ($I_{T}$) и кальций-зависимых калиевых ($I_{CaK}$) каналов. Функции активации/инактивации в установившемся состоянии ($x_{\infty}$) и постоянные времени ($\tau_{x}$) для переменной ворот $x$ определены ниже. Напряжение $V$ указано в мВ, а $[Ca]$ представляет внутриклеточную концентрацию кальция..

• ⟦ Натриевый ток ($I_{Na}$): кинетика $m^{3}h$

  $$m_{\infty}(V)=\frac{1}{1+\exp\left(\frac{-(V+40)}{8}\right)},\quad\tau_{m}(V)=0.2+\frac{3}{1+\exp\left(\frac{-(V+53)}{-0.7}\right)}$$ (S1)

  $$h_{\infty}(V)=\frac{1}{1+\exp\left(\frac{V+45.5}{6.4}\right)},\quad\tau_{h}(V)=\frac{24.5}{\exp\left(\frac{-(V+50)}{-15}\right)+\exp\left(\frac{-(V+50)}{16}\right)}$$ (S2)

• ⟦ Калиевый ток ($I_{K}$): кинетика $n^{4}$

  $$n_{\infty}(V)=\frac{1}{1+\exp\left(\frac{-(V+41)}{14}\right)},\quad\tau_{n}(V)=\frac{11}{\exp\left(\frac{-(V+40)}{-40}\right)+\exp\left(\frac{-(V+40)}{50}\right)}$$ (S3)

• ⟦ А-тип калиевого тока ($I_{A}$): кинетика $a^{2}b$

  $$a_{\infty}(V)=\frac{1}{1+\exp\left(\frac{-(V+45)}{14.7}\right)},\quad\tau_{a}(V)=1+\frac{1}{1+\exp\left(\frac{-(V+40)}{-0.5}\right)}$$ (S4)

  $$b_{\infty}(V)=\frac{1}{1+\exp\left(\frac{V+90}{7.5}\right)},\quad\tau_{b}(V)=\frac{200}{\exp\left(\frac{-(V+60)}{-30}\right)+\exp\left(\frac{-(V+40)}{10}\right)}$$ (S5)

• ⟦ L-тип кальциевого тока ($I_{L}$): кинетика $c^{2}d_{1}d_{2}$

  $$c_{\infty}(V)=\frac{1}{1+\exp\left(\frac{-(V+30.6)}{5}\right)},\quad\tau_{c}(V)=45+\frac{10}{\exp\left(\frac{-(V+27)}{-20}\right)+\exp\left(\frac{-(V+50)}{15}\right)}$$ (S6)

  $$d_{1\infty}(V)=\frac{1}{1+\exp\left(\frac{V+60}{7.5}\right)},\quad\tau_{d1}(V)=400+\frac{500}{\exp\left(\frac{-(V+40)}{-15}\right)+\exp\left(\frac{-(V+20)}{20}\right)}$$ (S7)

  $$d_{2\infty}([Ca])=\frac{1}{1+\exp\left(\frac{[Ca]-0.1}{0.02}\right)},\quad\tau_{d2}(V)=130\quad(\text{constant})$$ (S8)

• ⟦ Т-тип кальциевого тока ($I_{T}$): кинетика $p^{2}q$

  $$p_{\infty}(V)=\frac{1}{1+\exp\left(\frac{-(V+56)}{6.7}\right)},\quad\tau_{p}(V)=5+\frac{0.33}{\exp\left(\frac{-(V+27)}{-10}\right)+\exp\left(\frac{-(V+102)}{15}\right)}$$ (S9)

  $$q_{\infty}(V)=\frac{1}{1+\exp\left(\frac{V+85}{5.8}\right)},\quad\tau_{q}(V)=\frac{400}{\exp\left(\frac{-(V+50)}{-15}\right)+\exp\left(\frac{-(V+50)}{16}\right)}$$ (S10)

• ⟦ Кальций-зависимый калиевый ток ($I_{CaK}$): кинетика $r^{2}$

  $$r_{\infty}([Ca])=\frac{1}{1+\exp\left(\frac{-([Ca]-0.17)}{0.08}\right)},\quad\tau_{r}(V)=2\quad(\text{constant})$$ (S11)

  ⟧
• ⟦ Динамика внутриклеточного кальция ($[Ca]$):

  $$\frac{d[Ca]}{dt}=-\alpha(I_{L}+I_{T})-k_{Ca}[Ca]$$ (S12)

  где $\alpha=1/(ZF)=5.18\times 10^{-6}$ — коэффициент преобразования, описывающий поток ионов на единицу тока ($Z=2$ — валентность иона кальция, а $F=96{,}485$ Кл/моль — постоянная Фарадея), а скорость выведения кальция равна $k_{Ca}=2\times 10^{-3}\text{ ms}^{-1}$.

A.2 Другие нейронные популяции

Нейрональные характеристики и переменные стробирования для нейронов бледного шара (GPe/GPi), таламуса (Th) и стриатума (D1/D2) основаны на общепринятых моделях в стиле Ходжкина-Хаксли, первоначально разработанных Рубином и Терманом 40. Однако конкретные уравнения, параметры и реализации кортикальных нейронов Ижикевича, используемые в данном моделировании, заимствованы из комплексной сетевой модели кортико-базально-ганглиозно-таламической (CBGT) системы крысы, описанной Кумаравелу и соавторами 21.

A.3 Синаптическая динамика

Синапсы между популяциями моделируются с использованием кинетики на основе проводимости. Синаптический ток для заданного соединения равен:

$$I_{syn}(t)=g_{max}S(t)(V(t)-E_{rev})$$ (S13)

где $g_{max}$ — максимальная синаптическая проводимость, $E_{rev}$ — потенциал синаптического реверса, а переменная синаптического гейтирования $S(t)$ следует кинетике второго порядка с различными постоянными времени нарастания ($\tau_{r}$) и спада ($\tau_{d}$). Это вводит реалистичные временные задержки (например, N-метил-D-аспартат (NMDA) $\tau_{decay}\approx 67$–$90$ мс), которые должен учитывать нейроморфный контроллер.

A.4 Многоконусный спектральный анализ точечных процессов ⟦K0⟧

Для автономной валидации и спектрального анализа мы вычислили спектральные плотности мощности непосредственно из дискретных моментов спайков популяции GPi, используя метод мультитаперного точечного процесса. Этот подход оценивает спектральную дисперсию путем усреднения независимых оценок, полученных из набора $K$ ортогональных таперов данных, вычисленных в точные моменты спайков. Оценка спектра на частоте $f$ для набора $N_{sp}$ моментов спайков $\{t_{j}\}$ определяется как:

$$J_{k}(f)=\sum_{j=1}^{N_{sp}}h_{k}(t_{j})e^{-i2\pi ft_{j}}-\frac{N_{sp}}{N\Delta t}H_{k}(f)$$ (S14)

$$S(f)=\frac{1}{K}\sum_{k=1}^{K}\left|J_{k}(f)\right|^{2}$$ (S15)

где $h_{k}(t_{j})$ представляет собой $k$-й ортогональный конус Слепяна (дискретную вытянутую сфероидальную последовательность), интерполированный до момента спайка $t_{j}$, а второе слагаемое $J_{k}(f)$ центрирует точечный процесс путем вычитания компоненты средней частоты, при этом $H_{k}(f)$ определяет преобразование Фурье конуса на всей длительности $N\Delta t$. Мы выбрали произведение времени и полосы пропускания $NW=3$, что математически допускает максимум $K=2NW-1=5$ сильно концентрированных конусов Слепяна. Усреднение по этим $K=5$ независимым конусам обеспечивает надежную оценку колебательной мощности с низкой дисперсией, не зависящую от допущений синаптической фильтрации или артефактов дискретного временного биннинга.

Appendix B Параметры сети

Внутренние параметры для каждого типа нейронов, используемые в моделировании, приведены в Таблице S1.

⟦Table S1: Максимальная проводимость ($mS/cm^{2}$) и потенциалы реверсии ($mV$) для биофизической модели.

Parameter	Thalamus	STN	GPe	GPi	Striatum (D1/D2)
Leak Conductance ($g_{Leak}$)	0.05	0.35	0.1	0.1	0.1
Leak Reversal ($E_{Leak}$)	-70	-60	-65	-65	-67
Sodium ($g_{Na}$)	3.0	49.0	120.0	120.0	100.0
Potassium ($g_{K}$)	5.0	57.0	30.0	30.0	80.0
A-Type Potassium ($g_{A}$)	–	5.0	–	–	–
T-type Calcium ($g_{T}$)	5.0	5.0	0.5	0.5	–
L-type Calcium ($g_{L}$)	–	15.0	–	–	–
High-Thresh Ca ($g_{Ca}$)	–	–	0.15	0.15	–
Ca-dependent K ($g_{CaK}$)	–	1.0	–	–	–
AHP Conductance ($g_{AHP}$)	–	–	10.0	10.0	–

AHP: проводимость послегиперполяризации.

⟦Table S2: Синаптические параметры, используемые в моделировании нейронной сети. $\tau_{rise}$ и $\tau_{decay}$ управляют переменной синаптического гейтинга $S(t)$. Задержки ($t_{d}$) представляют время аксонального распространения.

Source $\to$ Target	Receptor	Delay ($t_{d}$ ms)	$\tau_{rise}$ (ms)	$\tau_{decay}$ (ms)
Cortex $\to$ STN	AMPA	5.9	0.5	2.49
Cortex $\to$ STN	NMDA	5.9	2.0	90.0
Cortex $\to$ Striatum	AMPA	5.1	–	5.0*
STN $\to$ GPe	AMPA	2.0	0.4	2.5
STN $\to$ GPe	NMDA	2.0	2.0	67.0
STN $\to$ GPi	AMPA	1.5	–	5.0*
GPe $\to$ STN	GABA	4.0	0.4	7.7
GPe $\to$ GPi	GABA	3.0	–	5.0*
GPe $\to$ GPe	GABA	1.0	–	5.0*
GPi $\to$ Thalamus	GABA	5.0	–	5.0*
Striatum (D2) $\to$ GPe	GABA	5.0	–	5.0*
Striatum (D1) $\to$ GPi	GABA	4.0	–	5.0*
Thalamus $\to$ Cortex	AMPA	5.0	–	5.0*

*Моделируется с использованием одиночного экспоненциального затухания ($\alpha$-функция), где $\tau_{decay}$ доминирует в динамике. AMPA: $\alpha$-амино-3-гидрокси-5-метил-4-изоксазолпропионовая кислота; NMDA: N-метил-D-аспартат; GABA: $\gamma$-аминомасляная кислота.

Appendix C EA-DSQN: Полные детали реализации

В этом разделе расширяется Алгоритм 1 из основного текста, предоставляя полную процедуру на уровне реализации, необходимую для точной воспроизводимости. Ключевыми дополнениями по отношению к версии из основного текста являются: (i) 3-головочное декодирование действий по независимым выходным субпопуляциям; (ii) явное считывание Q-значений посредством накопления мембранного потенциала; (iii) целевые значения Беллмана для каждой головы; (iv) функция потерь регуляризации разреженности, применяемая к двум скрытым слоям LIF; и (v) отсечение градиентов через clip_grad_value_(100) вместо отсечения по норме..

⟦Algorithm S1 EA-DSQN — Полная реализация

1: Среда $\mathcal{E}$; политика SNN $\mathcal{S}_{\theta}$; целевая SNN $\mathcal{S}_{\theta^{\prime}}$

2: Буфер воспроизведения $\mathcal{D}$; размер пакета $B$; дисконт $\gamma$; коэффициент мягкого обновления $\tau_{\mathrm{tgt}}$

3: Исследование $\epsilon$; $\beta$-порог $\tau_{\beta}$; вес энергетического баланса $\alpha$; штраф за подавление $\kappa$

4: Разреженность весов $\lambda$; целевая разреженность $\rho$

5: Инициализировать $\theta$ случайно; $\theta^{\prime}\leftarrow\theta$

6: Инициализировать оптимизатор AdamW с коэффициентом обучения $\eta$

7: для эпизод $=1,\dots,N$ делать

8:   Сброс $\mathcal{E}$; получить начальное состояние $\mathbf{s}_{1}$

9:   Сбросить все мембранные потенциалы LIF в $\mathcal{S}_{\theta}$ и $\mathcal{S}_{\theta^{\prime}}$

10:   для $t=1,\dots,T_{\max}$ делать

11:   // Выбор действия (3-head $\epsilon$-жадный)

12:    $\mathbf{U}^{S},\,\mathbf{Z}^{S}\leftarrow\mathcal{S}_{\theta}(\mathbf{s}_{t})$ $\triangleright$ Прямой проход; $\mathbf{Z}^{S}$ — это скрытые импульсные последовательности

13:    $\hat{\mathbf{u}}\leftarrow\sum_{k}\mathbf{U}^{S}_{k}\in\mathbb{R}^{9}$ $\triangleright$ Накапливать мембранные потенциалы по временным шагам

14:    С вероятностью. $\epsilon$ выборка случайная $a_{t}$; иначе

15:    $a_{t}^{(j)}\leftarrow\arg\max\,\hat{\mathbf{u}}_{[3j:3j+3]},\ j\in\{0,1,2\}$ $\triangleright$ $j{=}0,1,2$: $f$, $\delta$, $A$

16:   // Шаг среды

17:    Выполнить $a_{t}$ в $\mathcal{E}$; наблюдать $\mathbf{s}_{t+1}$, $\beta$-энергопотребление $\beta_{t}$, энергоэффективность $E_{t}$

18:   // Вознаграждение (адаптивное)

19:    если $\beta_{t}>\tau_{\beta}$ затем

20:      $r_{t}\leftarrow-\kappa\cdot(\beta_{t}-\tau_{\beta})$ $\triangleright$ Клинический штраф за подавление

21:    иначе

22:      $\bar{E}\leftarrow\min(E_{t}/E_{\max},\;1.0)$

23:      $r_{t}\leftarrow\tau_{\mathrm{reward}}\cdot\bigl((1-\alpha)+\alpha\,(1-\bar{E})\bigr)$ $\triangleright$ Градиент энергосбережения

24:    конец если

25:    Хранить $(\mathbf{s}_{t},\,a_{t},\,r_{t},\,\mathbf{s}_{t+1})$ в $\mathcal{D}$;  $\mathbf{s}_{t}\leftarrow\mathbf{s}_{t+1}$;  затухание $\epsilon$

26:   // Оптимизация

27:    если $|\mathcal{D}|\geq B$ затем

28:      Образец $\{(\mathbf{s}_{i},a_{i},r_{i},\mathbf{s}_{i+1})\}_{i=1}^{B}\sim\mathcal{D}$

29:      $\mathbf{U}^{S},\,\mathbf{Z}^{S}\leftarrow\mathcal{S}_{\theta}(\mathbf{s}_{i})$ $\triangleright$ Прямой проход стратегии

30:      $\hat{\mathbf{u}}_{i}\leftarrow\sum_{k}\mathbf{U}^{S}_{k}\in\mathbb{R}^{B\times 9}$

31:      $\mathbf{q}_{i}\leftarrow\hat{\mathbf{u}}_{i}\bigl[\,[0,3,6]+a_{i}^{(j)}\,\bigr]\in\mathbb{R}^{B\times 3}$ $\triangleright$ Собрать Q-значения для каждой головы

32:      $\mathbf{U}^{T},\,\mathbf{Z}^{T}\leftarrow\mathcal{S}_{\theta^{\prime}}(\mathbf{s}_{i+1})$ $\triangleright$ Целевой прямой проход

33:      $\hat{\mathbf{u}}^{T}_{i}\leftarrow\sum_{k}\mathbf{U}^{T}_{k}\in\mathbb{R}^{B\times 9}$

34:      $\mathbf{y}_{i}\leftarrow r_{i}+\gamma\,\max_{a^{\prime}}\,\hat{\mathbf{u}}^{T}_{i,[3j:3j+3]},\quad j\in\{0,1,2\}$ $\triangleright$ Целевое значение Беллмана для каждой головы $\in\mathbb{R}^{B\times 3}$

35:      $\mathcal{L}_{\mathrm{TD}}\leftarrow\frac{1}{B}\sum_{i=1}^{B}\mathrm{SmoothL1}(\mathbf{q}_{i},\,\mathbf{y}_{i})$

36:     // Регуляризация разреженности скрытых слоев LIF ⟦K0⟧

37:      $\bar{z}^{(l)}\leftarrow\mathrm{mean}(\mathbf{Z}^{S,(l)}),\quad l\in\{1,2\}$

38:      $\mathcal{L}_{\mathrm{sp}}\leftarrow\lambda\sum_{l=1}^{2}\mathrm{KL}\!\left(\rho\;\|\;\bar{z}^{(l)}\right)$

39:      $\mathcal{L}\leftarrow\mathcal{L}_{\mathrm{TD}}+\mathcal{L}_{\mathrm{sp}}$

40:      $\theta\leftarrow\textsc{AdamW}\!\left(\theta,\;\nabla_{\theta}\mathcal{L},\;\texttt{clip\_grad\_value\_(100)}\right)$

41:      $\theta^{\prime}\leftarrow\tau_{\mathrm{tgt}}\,\theta+(1-\tau_{\mathrm{tgt}})\,\theta^{\prime}$ $\triangleright$ Обновление мягких целевых значений

42:    конец если

43:   конец для

44: конец для

Заметка о градиентном клиппинге.

В реализации используется clip_grad_value_(100), который ограничивает каждый отдельный элемент градиента до $[-100,100]$, вместо более распространенного clip_grad_norm_. Этот выбор предотвращает дестабилизацию начального этапа обучения выбросами градиентов, когда мембранные потенциалы SNN инициализируются случайным образом..

⟦Table S3: Гиперпараметры EA-DSQN, использованные во всех представленных экспериментах.

Hyperparameter	Symbol	Value
Discount factor	$\gamma$	0.99
Soft update coefficient	$\tau_{\mathrm{tgt}}$	0.005
Learning rate	$\eta$	$1\times 10^{-3}$
Replay buffer size	$|\mathcal{D}|_{\max}$	100,000
Mini-batch size	$B$	128
$\epsilon$ initial	$\epsilon_{0}$	0.9
$\epsilon$ final	$\epsilon_{\min}$	0.05
$\epsilon$ decay steps	—	2,000
Energy-balance weight	$\alpha$	0.5
Base therapeutic reward	$\tau_{\mathrm{reward}}$	3000
Suppression penalty	$\kappa$	30
$\beta$-power threshold	$\tau_{\beta}$	150 $\mu$V2
Max stimulation energy	$E_{\max}$	250.0 $\mu$A
Sparsity weight	$\lambda$	0.0 (teacher/baseline); grid-searched in KD
Target sparsity	$\rho$	0.0 (teacher/baseline); grid-searched in KD
Gradient clip value	—	100
SNN time steps per obs.	$T_{\mathrm{win}}$	100

Appendix D Алгоритм дистилляции знаний с ограничением разреженности

⟦Algorithm S2 Дистилляция знаний с ограничением разреженности для SNN с аппаратными ограничениями

1: Обученная учительская SNN $\mathcal{T}_{\theta_{T}}$; среда $\mathcal{E}$

2: Температура $T_{\mathrm{KD}}$; целевая частота импульсов $\rho^{*}$; разреженность весов $\lambda$; скорость обучения $\eta$; эпохи $N$

3: Инициализировать SNN студента $\mathcal{S}_{\theta_{S}}$ со случайными весами

4: Инициализировать оптимизатор Adam с коэффициентом обучения $\eta$

5: для $n=1,\dots,N$ делать

6:   Сброс $\mathcal{E}$; получить необработанный поток импульсов $\mathbf{X}\in\{0,1\}^{T\times C}$

7:   $\mathbf{x}\leftarrow\textsc{AvgPool}(\mathbf{X})$ $\triangleright$ Понижающая дискретизация $C{=}80\to 16$ каналы

8:

9:   $\mathbf{U}^{T}\leftarrow\mathcal{T}_{\theta_{T}}(\mathbf{x})$ $\triangleright$ Прямой проход учителя (замороженный)

10:   $\mathbf{q}^{T}\leftarrow\sum_{t}\mathbf{U}^{T}_{t}$ $\triangleright$ Временная интеграция $\to$ Q-значения

11:

12:   $\mathbf{U}^{S},\;\{\mathbf{s}^{(l)}\}_{l=1}^{L_{h}}\leftarrow\mathcal{S}_{\theta_{S}}(\mathbf{x})$ $\triangleright$ Прямой проход студента

13:   $\mathbf{q}^{S}\leftarrow\sum_{t}\mathbf{U}^{S}_{t}$

14:

15:   $\hat{\mathbf{p}}^{T}\leftarrow\mathrm{softmax}\!\bigl(\mathbf{q}^{T}/T_{\mathrm{KD}}\bigr)$ $\triangleright$ Мягкие целевые показатели учителя

16:   $\hat{\mathbf{p}}^{S}_{\log}\leftarrow\log\text{-}\mathrm{softmax}\!\bigl(\mathbf{q}^{S}/T_{\mathrm{KD}}\bigr)$ $\triangleright$ Лог-вероятности студента

17:   $\mathcal{L}_{\mathrm{KD}}\leftarrow T_{\mathrm{KD}}^{2}\,D_{\mathrm{KL}}\!\bigl(\hat{\mathbf{p}}^{S}_{\log}\,\|\,\hat{\mathbf{p}}^{T}\bigr)$ $\triangleright$ Функция потерь соответствия поведению

18:

19:   для $l=1,\dots,L_{h}$ делать $\triangleright$ Штраф за разреженность скрытых слоев LIF ⟦K0⟧

20:    $\bar{\rho}_{l}\leftarrow\mathrm{mean}(\mathbf{s}^{(l)})$ $\triangleright$ Эмпирическая средняя частота импульсации

21:   конец для

22:   $\mathcal{L}_{\mathrm{sparse}}\leftarrow\lambda\sum_{l=1}^{L_{h}}D_{\mathrm{KL}}^{\,\mathrm{Bern}}\!\bigl(\rho^{*}\,\|\,\bar{\rho}_{l}\bigr)$ $\triangleright$ Штраф за аппаратную неэффективность

23:

24:   $w\leftarrow\min\!\bigl(1,\;2n/N\bigr)$ $\triangleright$ Прогрев: линейное нарастание в течение первых 50%

25:   $\mathcal{L}\leftarrow\mathcal{L}_{\mathrm{KD}}+w\cdot\mathcal{L}_{\mathrm{sparse}}$ $\triangleright$ Общие потери

26:

27:   $\theta_{S}\leftarrow\textsc{Adam}(\theta_{S},\;\nabla_{\theta_{S}}\mathcal{L},\;\mathrm{clip\_norm}{=}1.0)$ $\triangleright$ Обновление весов студента

28: конец для

29: вернуть $\theta_{S}$

Appendix E Экспериментальный протокол стимуляции с учетом энергоэффективности

Для количественной оценки экономии энергии стимуляции при использовании стратегии управления с учетом энергопотребления мы провели циклический эксперимент, сравнивающий шесть условий при чередовании здорового состояния и состояния при болезни Паркинсона. Симуляция циклически проходила через пять блоков по 100 шагов (по 10 с каждый): Healthy $\rightarrow$ PD $\rightarrow$ Healthy $\rightarrow$ PD $\rightarrow$ Healthy, что в сумме составило 500 шагов (50 с). Было оценено шесть условий:

1. ⟦ Без стимуляции: стимуляция не применяется (патологическая базовая линия)).
2. ⟦ Постоянная глубокая стимуляция мозга (cDBS): фиксированная стимуляция на частоте 130 Гц, 300 $\mu$А, 0,3 мс.
3. ⟦ Клиническая адаптивная DBS (aDBS; с двойным порогом): эвристика с двойным порогом, смоделированная на основе клинического протокола, валидированного с использованием нейростимулятора Medtronic Activa PC. Эвристика использует мгновенную мощность $\beta$-диапазона в GPi в качестве единственного биомаркера и применяет гистерезисную полосу для предотвращения быстрого циклического переключения стимуляции: стимуляция активируется с клиническими параметрами (130 Гц, 300 $\mu$А, 0,3 мс), когда мощность $\beta$ превышает верхний порог ($\tau_{\mathrm{upper}}=160~\mu V^{2}$), и деактивируется, когда она опускается ниже нижнего порога ($\tau_{\mathrm{lower}}=140~\mu V^{2}$). Между двумя границами сохраняется предыдущее состояние стимуляции..
4. ⟦ Базовая модель ANN (DQN): прямоточная глубокая Q-сеть, обрабатывающая матрицу импульсов как вектор частоты, усредненный по пулингу.
5. ⟦ Базовая модель RNN (GRU-DQN): рекуррентная сеть GRU, обрабатывающая полное наблюдение из 100 временных шагов посредством управляемых рекуррентных блоков.
6. ⟦ Адаптивная SNN: энергоэффективный контроллер SNN, который непрерывно совместно модулирует все три параметра стимуляции.

Appendix F Абляция сенсорных данных, зависящая от состояния

Чтобы исключить гипотезу о том, что контроллер SNN с учетом энергопотребления перешел к стратегии с разомкнутым контуром, мы провели исследование сенсорной абляции во время непрерывного моделирования. Этот эксперимент изолирует динамически вычисляемые действия сети, зависящие от состояния, от ее укоренившихся структурных базовых реакций путем полного отключения пути сенсорного ввода..

Импульсная нейронная сеть была оценена в ходе семи 500-шаговых имитационных блоков, подвергая контроллер симметричной последовательности состояний окружающей среды и сенсорной депривации (Рисунок S1⟧):

1. ⟦ Здоровое состояние (Блок 1): Естественная физиологическая импульсная активность из здорового бледного шара.
2. ⟦ Паркинсоническое состояние (Блок 2): управление с обратной связью против высокочастотных $\beta$-диапазонных осцилляций, типичных для болезни Паркинсона.
3. ⟦ Тихий мозг (Блок 3): Сенсорные пути математически разорваны ($X=0$), что имитирует полный отказ датчиков в рамках патологического состояния..
4. ⟦ Здоровое восстановление (Блок 4): Сенсорные пути повторно подключаются к здоровой нейронной активности.
5. ⟦ Тихий мозг (Блок 5): Второй период сенсорного затемнения.
6. ⟦ Восстановление при болезни Паркинсона (Блок 6): Немедленное противодействие патологическому состоянию.
7. ⟦ Здоровое состояние (Блок 7): Окончательное возвращение к здоровому физиологическому базовому уровню.

⟦Figure S1: Исследование сенсорной абляции, тестирующее поведение замкнутого контура на 3500-шаговой последовательности состояний: здорового, паркинсонического и «тихого» (сенсорная депривация).

Во время активных периодов с замкнутым контуром (блоки 2 и 6) SNN подавляет патологические осцилляции GPi с базового уровня ${\sim}325~\mu V^{2}$ до $77.46~\mu V^{2}$ и $82.12~\mu V^{2}$ соответственно, что значительно ниже клинического порога $150~\mu V^{2}$. Эти значения отражают динамику данного конкретного протокола чередующихся состояний и не являются напрямую сопоставимыми с измерениями острой эффективности в основном тексте; цель здесь состоит в том, чтобы охарактеризовать, как выученная динамика SNN сохраняется и реактивируется при переходах между состояниями, а не в воспроизведении конкретного терапевтического результата..

Когда симуляция переходит к блокам Silent Brain (блоки 3 и 5), векторы сенсорного ввода падают до нуля. Внутренние мембранные потенциалы и синаптические токи SNN естественным образом затухают при отсутствии входных спайков. Вместо вывода хаотичных или чрезмерно стимулирующих параметров, SNN безопасно переходит к амплитуде стимуляции $0.00~\mu$A. В результате необработанная сеть GPi возвращается в свое полное патологическое состояние (${\sim}320\text{--}325~\mu V^{2}$). Такое отказоустойчивое поведение подтверждает, что SNN действует как чисто реактивный контроллер, который ведет себя стабильно и предсказуемо при отсутствии входных данных..

Контроллер демонстрирует высокую устойчивость и быстрое восстановление после сенсорной депривации. При переходе от блока 5 к блоку 6, сразу после 500 шагов в полностью слепом состоянии со стимуляцией $0.00~\mu$A, SNN повторно подвергается воздействию живой патологической паркинсонической обратной связи. Она мгновенно возобновляет управление по замкнутому циклу, быстро увеличивая амплитуду стимуляции обратно до ${\sim}60~\mu$A и успешно восстанавливая подавление биомаркеров. Наконец, во время здоровых блоков, следующих непосредственно за тихими блоками (блоки 4 и 7), средний локальный полевой потенциал (LFP) остается временно повышенным (${\sim}210\text{--}220~\mu V^{2}$) по сравнению с исходным здоровым базовым уровнем. Этот гистерезис возникает из-за того, что биофизическая популяция GPi, оставленная без лечения в состоянии выраженной патологии во время тихих блоков, устанавливает устойчивую резонансную осцилляцию, которой требуется время для естественного затухания после того, как среда переключается обратно в здоровое состояние без активных патологических входных сигналов, стимулирующих SNN..