Интеллектуальная навигация группы беспилотных летательных аппаратов в ITNTN: иерархический подход на основе LLM Электронные адреса: {zijiang, pingw, hinat}@yorku.ca, haozhou029@gmail.com, wael.jaafar@etsmtl.ca, jianhuapei98@gmail.com, halim@sce.carleton.ca.

Аннотация

Развертывание высокоскоростных беспилотных летательных аппаратов в трехмерных воздушных коридорах требует надежной координации физической кинематики полета и многоуровневых сетевых переключений. В то время как Deep Reinforcement Learning предлагает быстрое тактическое управление, ему не хватает стратегического рассуждения с нулевым количеством примеров, необходимого для быстрой адаптации к динамическим Integrated Terrestrial and Non-Terrestrial Networks. Напротив, LLM превосходно справляются с семантическим рассуждением, но страдают от высокой задержки вывода, что делает их непригодными для аэродинамического управления в реальном времени. Чтобы преодолеть этот разрыв, мы предлагаем новую иерархическую систему управления на основе LLM. Масштабная облачная LLM, развернутая на High-Altitude Platform Station, управляет глобальной балансировкой нагрузки в медленном временном масштабе, в то время как облегченные edge-LLM на отдельных беспилотных летательных аппаратах преобразуют локальные наблюдения в тактические подцели. Эти подцели направляют физический DRL-контроллер, работающий в быстром временном масштабе, для выполнения траекторий, свободных от столкновений и учитывающих переключения. Результаты моделирования показывают, что наша агентная архитектура значительно снижает частоту столкновений и улучшает совокупную пропускную способность системы по сравнению с существующими базовыми показателями..

I Введение

Стремительное распространение беспилотных летательных аппаратов (UAV) стимулирует концептуализацию трехмерных воздушных магистралей — выделенных коридоров, предназначенных для обеспечения плотной и высокоскоростной автономной логистики [2]. Безопасная эксплуатация в таких условиях требует непрерывных каналов управления и контроля (C2) и телеметрии [9]. Для удовлетворения этих строгих требований к связности архитектуры 6G переходят к интегрированным наземным и неземным сетям (ITNTN) [7], используя высотные платформенные станции (HAPS) для дополнения зоны покрытия наземных базовых станций (TBS). Однако, поскольку UAV перемещаются между этими перекрывающимися уровнями покрытия на высоких скоростях, они неизбежно провоцируют частые сетевые переключения (HO) [13], что требует совместной оптимизации физической кинематики полета и надежности связи..

Хотя глубокое обучение с подкреплением (DRL) широко применяется для планирования траекторий БПЛА и ассоциации сот [3], оно по своей сути опирается на исследование методом проб и ошибок [9]. В многоагентных воздушных коридорах такое исследование часто приводит к локальной и жадной оптимизации, что может повлечь за собой системное истощение общих ресурсов. Нескоординированные агенты могут непреднамеренно перегрузить конкретные TBS или насытить ограниченную пропускную способность HAPS, что в конечном итоге поставит под угрозу как совокупную системную емкость, так и безопасность полетов [6, 10].

В последнее время интеграция генеративного ИИ, особенно LLM, стала трансформационным подходом для управления автономными транспортными средствами [5]. LLM обладают непревзойденными способностями к zero-shot рассуждениям, что позволяет адаптироваться к сложным миссиям и осуществлять глобальное стратегическое планирование [11]. Тем не менее, стандартный вывод LLM страдает от значительных задержек. Опора исключительно на LLM фундаментально несовместима с выполнением задач в быстром временном масштабе, требуемом для субмиллисекундных RF channel handovers и высокочастотного управления роторами [1, 12]. Преодоление разрыва между семантическими рассуждениями в медленном временном масштабе и физическим исполнением в быстром временном масштабе остается открытой проблемой..

Для преодоления этих ограничений в данной статье предлагается новая архитектура иерархической LLM с двумя временными шкалами, которая объединяет когнитивное рассуждение базовых моделей с быстрым исполнением DRL. Действительно, учитывая потенциал Agentic AI и проблемы задержек, присущие динамическим воздушным сетям, мы предлагаем здесь новую облачно-периферийную структуру, которая совместно оптимизирует мобильность UAV и управление передачей обслуживания. В частности, мы сначала формулируем задачу как иерархический многоцелевой частично наблюдаемый марковский процесс принятия решений (H-MO-POMDP), который строго учитывает высокоточную кинематику твердого тела в 3D и реалистичные ограничения пропускной способности ITNTN. Для решения этой сложной иерархии мы внедряем архитектуру с двумя временными шкалами на базе LLM. В частности, стратегический мета-контроллер (Qwen3.5-122B [15]), развернутый на HAPS, работает в медленном временном масштабе для определения глобальных политик балансировки нагрузки. Более того, в отличие от предыдущих исследований, которые полагались исключительно на DRL методом проб и ошибок, мы интегрируем здесь облегченные периферийные агенты (Qwen3.5-9B [15]) непосредственно на отдельные UAV. Последние генерируют когнитивные рефлексии для динамической настройки функций вознаграждения быстродействующей глубокой сети двойного Q-обучения (DDQN), успешно связывая семантическое рассуждение с физическим исполнением в реальном времени. Наконец, обширное моделирование в высокоточной 3D-физической среде демонстрирует, что предложенная структура под управлением LLM смягчает серьезные штрафы за столкновения и максимизирует пропускную способность системы, тем самым превосходя базовые показатели..

Оставшаяся часть данной статьи организована следующим образом. В разделе II описывается системная модель ITNTN, включая высокоточную трехмерную кинематику БПЛА и многоуровневую архитектуру связи. В разделе III задача совместной оптимизации формулируется как H-MO-POMDP. Предложенная двухуровневая иерархическая структура LLM и ее модули когнитивного рассуждения представлены в разделе IV. В разделе V приведены численные результаты и оценки производительности. Наконец, в разделе VI подводятся итоги статьи..

II Системная модель

⟦Figure 1: Трехмерная модель воздушной сети.

II-A Трехмерная воздушная магистраль и архитектура ITNTN

Как показано на рис. 1, мы рассматриваем динамическую трехмерную воздушную магистраль, где набор $M$ БПЛА, обозначаемых как $\mathcal{M}=\{1,2,\dots,M\}$, осуществляют навигацию в общем воздушном пространстве. Каждому БПЛА $m\in\mathcal{M}$ назначена независимая транзитная миссия к уникальной трехмерной целевой путевой точке $\mathbf{x}_{\text{target}}^{m}$, и он должен непрерывно корректировать свою высоту и курс для обхода препятствий и предотвращения столкновений..

Для поддержки критически важных задач C2 и телеметрии воздушное пространство покрывается ITNTN. Сеть включает в себя набор $B$ TBS, обозначаемых как $\mathcal{B}=\{1,2,\dots,B\}$, и одну HAPS, обозначаемую $H$. БПЛА $m$ может подключаться к любому обслуживающему узлу $c\in\mathcal{B}\cup\{H\}$, однако высокоскоростное перемещение инициирует процедуры handover..

II-B Модель связи

Для оценки надежности каналов управления и передачи данных (C2) мы формулируем отношение сигнал/шум плюс помеха (SINR)[4]. Пусть $G_{t}^{m,c}$ обозначает линейное усиление мощности канала между БПЛА $m$ и обслуживающим узлом $c$ в момент времени $t$, включающее как крупномасштабные потери при распространении, так и мелкомасштабные рэлеевские замирания. Принимаемое значение SINR по нисходящей линии связи на БПЛА $m$ определяется как

$$\text{SINR}_{t}^{m,c}=\frac{P_{c}G_{t}^{m,c}}{N_{0}B_{c}+I_{t}},$$ (1)

где $P_{c}$ — это мощность передачи узла $c$, $N_{0}$ — спектральная плотность мощности шума, а $B_{c}$ — выделенная полоса пропускания. Член $I_{t}=\sum_{c^{\prime}\neq c}P_{c^{\prime}}G_{t}^{m,c^{\prime}}$ представляет собой совокупную интерференцию от других активных передающих узлов в ярусе.

Достижимая скорость передачи данных для БПЛА $m$ рассчитывается как

$$R_{t}^{m,c}=B_{c}\log_{2}\left(1+\text{SINR}_{t}^{m,c}\right).$$ (2)

Чтобы штрафовать за задержки и потерю пакетов, связанные с частым переключением сети, мы определяем взвешенную скорость передачи данных с учетом переключения как

$$\text{WR}_{t}^{m,c}=R_{t}^{m,c}-\gamma\mathbb{I}_{\text{HO},t}^{m},$$ (3)

где $\mathbb{I}_{\text{HO},t}^{m}\in\{0,1\}$ — это бинарный индикатор, который равен $1$, если передача обслуживания происходит в момент времени $t$, а $\gamma$ — коэффициент штрафа за передачу обслуживания. Кроме того, HAPS ограничена максимальной совокупной емкостью $C_{\max}^{\mathrm{HAPS}}$, а любой узел $c$ имеет емкость ассоциации пользователей $Q_{c}$, $\forall c\in\mathcal{B}\cup\{H\}$.

II-C Кинематическая модель

Мы используем высокоточную модель кинематики твердого тела в 3D, где физическое состояние БПЛА $m$ в момент времени $t$ определяется его 3D-позицией $\mathbf{x}_{t}^{m}\in\mathbb{R}^{3}$ и линейной скоростью $\mathbf{v}_{t}^{m}\in\mathbb{R}^{3}$. Система развивается с быстрым дискретным временным шагом $\Delta t$ (например, =0.05 с), а непрерывные обновления кинематического состояния регулируются [8]

$$\mathbf{x}_{t+1}^{m}=\mathbf{x}_{t}^{m}+\mathbf{v}_{t}^{m}\Delta t,$$ (4)

$$\mathbf{v}_{t+1}^{m}=\mathbf{v}_{t}^{m}+\left(\frac{\mathbf{F}_{T,m}}{M_{u}}-\mathbf{g}-\mathbf{d}_{m}\right)\Delta t,$$ (5)

где $M_{u}$ — масса БПЛА, $\mathbf{g}$ — вектор ускорения свободного падения, а $\mathbf{d}_{m}$ — аэродинамическое сопротивление. Вектор суммарной тяги $\mathbf{F}_{T,m}$ вычисляется на основе скоростей вращения (RPM) четырех отдельных роторов в режиме реального времени. Для обеспечения безопасности полета налагается строгий штраф за столкновение, если трехмерное евклидово расстояние между любыми двумя БПЛА опускается ниже физического порога безопасности: $\|\mathbf{x}_{t}^{m}-\mathbf{x}_{t}^{j}\|_{2}<d_{\text{safe}}$ для любого $m\neq j$.

III Постановка задачи

Для учета сопряженной динамики полетной кинематики и сетевых переключений в различных операционных временных масштабах мы формулируем систему как H-MO-POMDP, состоящую из глобального мета-контроллера с медленным временным масштабом (HAPS) и тактических граничных агентов с быстрым временным масштабом (UAVs).

III-A Пространства состояний и наблюдений

Из-за ограниченного радиуса действия датчиков отдельных БПЛА, глобальное состояние окружающей среды $\mathcal{S}_{t}$ является частично наблюдаемым. На быстром тактическом временном интервале $t$ каждый БПЛА $m$ получает локальное наблюдение $\mathbf{o}_{t}^{m}\in\Omega$, определяемое как

$$\mathbf{o}_{t}^{m}=\big[\mathbf{x}_{t}^{m},\mathbf{v}_{t}^{m},\mathbf{x}_{\text{target}}^{m},\{\mathbf{x}_{t}^{j},\mathbf{v}_{t}^{j}\}_{j\in\mathcal{N}_{t}^{m}},c_{t}^{m},\text{WR}_{t}^{m,c}\big],$$ (6)

где $\mathcal{N}_{t}^{m}$ — это множество соседних БПЛА в пределах радиуса действия датчиков, $c_{t}^{m}$ — текущий обслуживающий узел, а $\text{WR}_{t}^{m,c}$ — взвешенная скорость передачи данных с учетом процедуры передачи обслуживания. Напротив, на медленном стратегическом временном интервале $T_{\mathrm{HAPS}}$, HAPS получает глобальное мета-наблюдение $\mathbf{o}_{T}^{\mathrm{HAPS}}$, включающее совокупную нагрузку на каждую TBS, доступную пропускную способность транспортной сети HAPS и пространственное распределение роя БПЛА..

III-B Гибридные пространства действий

Пространство действий охватывает как непрерывные физические элементы управления, так и дискретные сетевые решения следующим образом.

III-B1 Стратегическое действие HAPS

На каждом макрошаге $T_{\mathrm{HAPS}}$ агент HAPS выдает дискретное метадействие $\mathbf{a}_{T}^{\mathrm{HAPS}}\in\{\text{Offload},\text{Recall},\text{Idle}\}$. Эти директивы транслируются в конкретные зоны высокой плотности трафика для обеспечения балансировки нагрузки до того, как емкость узлов будет исчерпана..

III-B2 Тактическая деятельность БПЛА

На каждом микрошаге $t$ БПЛА $m$ выполняет совместное гибридное действие $\mathbf{a}_{t}^{m}=[\mathbf{a}_{\text{mot},t}^{m},\mathbf{a}_{\text{tele},t}^{m}]^{\top}$. Непрерывное действие по перемещению $\mathbf{a}_{\text{mot},t}^{m}\in[-1,1]^{4}$ регулирует частоту вращения четырех отдельных роторов для физической 3D-навигации. Одновременно с этим дискретное телекоммуникационное действие $\mathbf{a}_{\text{tele},t}^{m}\in\mathcal{B}\cup\{H\}$ выбирает целевой обслуживающий узел, инициируя передачу обслуживания, если $a_{\text{tele},t}^{m}\neq c_{t}^{m}$.

III-C Многоцелевые функции вознаграждения

Для одновременной оптимизации мобильности и связности мы определяем скаляризованные структуры вознаграждения для уровней периферийных вычислений и HAPS ⟦BROKEN_K0⟧.

III-C1 Награда для периферийных вычислительных узлов БПЛА

Цель БПЛА $m$ заключается в безопасной навигации к своей цели при поддержании надежного канала управления и связи. Награда сформулирована как

$$R_{t}^{m}=\alpha_{1}R_{\text{tran},t}^{m}+\alpha_{2}\text{WR}_{t}^{m,c}+\alpha_{3}\rho_{\text{crash}},$$ (7)

где $R_{\text{tran},t}^{m}=\exp(-\|\mathbf{x}^{m}_{t}-\mathbf{x}_{\text{target}}^{m}\|_{2})-\lambda\|\mathbf{a}_{\text{mot},t}^{m}\|_{2}^{2}$ поощряет движение вперед, наказывая при этом за агрессивные, энергозатратные маневры роторов. Член $\text{WR}_{t}^{m,c}$ максимизирует скорость передачи данных, наказывая за переключения между базовыми станциями. Наконец, $\rho_{\text{crash}}$ применяет значительный отрицательный штраф в случае нарушения безопасной дистанции $d_{\text{safe}}$. Весовые коэффициенты $\alpha_{\{1,2,3\}}$ балансируют вознаграждения и штрафы..

III-C2 Награда HAPS

Целью мета-контроллера HAPS является максимизация совокупной пропускной способности системы при соблюдении ограничений емкости узлов. Его вознаграждение определяется как

$$R_{T}^{\mathrm{HAPS}}=\eta_{1}\sum_{m\in\mathcal{M}}R_{t}^{m,c}-\eta_{2}\sum_{c\in\mathcal{B}\cup\{H\}}\max(0,n_{c,t}-Q_{c}),$$ (8)

где $n_{c,t}$ — количество БПЛА, в настоящее время связанных с узлом $c$. Второй член значительно штрафует любую стратегию, которая приводит к перегрузке сети (то есть превышению емкости $Q_{c}$), сбалансированную весами $\eta_{\{1,2\}}$. Чтобы учесть сопряженную динамику управления трехмерной траекторией и ассоциации сот с учетом передачи обслуживания, мы определяем задачу совместной оптимизации $\mathcal{P}$ ниже. Цель состоит в максимизации совокупной полезности системы при соблюдении физической кинематики и ограничений пропускной способности сети..

В ($\mathcal{P}$), $\mathbf{A}\triangleq\{\mathbf{a}_{t}^{m}\}$ и $\boldsymbol{\alpha}\triangleq\{\boldsymbol{\alpha}_{t}^{m}\}$ ($\forall m\in\mathcal{M},\forall t$) обозначают совместную гибридную стратегию действий и динамически настраиваемые веса многоцелевой функции вознаграждения для всех БПЛА на протяжении операционного горизонта соответственно. $\mathbf{a}_{t}^{m}=[\mathbf{a}_{\text{mot},t}^{m},a_{\text{tele},t}^{m}]^{\top}$ представляет собой вектор гибридных действий. C1 гарантирует, что обновления траектории соответствуют модели физики твердого тела в 3D, определенной в (4)-(5). C2 поддерживает физическую безопасную дистанцию между любыми двумя БПЛА. C3 гарантирует, что каждый БПЛА $m$ связан ровно с одним обслуживающим узлом (TBS или HAPS) в любой момент времени $t$. C4 ограничивает количество связанных пользователей на узел его емкостью $Q_{c}$ для предотвращения перегрузки сети. C5 определяет симплекс $\Delta^{3}$ для весов когнитивного вознаграждения $\alpha_{\{1,2,3\}}$, настраиваемых с помощью edge-LLM..

Задача $\mathcal{P}$ представляет собой высоконевыпуклую смешанно-целочисленную нелинейную задачу оптимизации, связывающую кинематику полета и воздушную связь. Для обеспечения управления в режиме реального времени мы декомпозируем эту оптимизацию с помощью двухуровневой иерархической многоцелевой структуры POMDP, делегируя конкретные ограничения отдельным когнитивным уровням LLM, как описано в следующем разделе..

IV Предложенная иерархическая структура LLM

⟦Figure 2: Иерархическое управление для БПЛА в ITNTN.

Чтобы преодолеть разрыв в задержке между семантическим рассуждением и аэродинамическим управлением в реальном времени, мы предлагаем архитектуру Cloud-Edge Agentic, как показано на рис. 2. Данная структура разделяет процесс принятия решений на три различных временных масштаба: 1) медленный стратегический мета-масштаб ($T_{\mathrm{HAPS}}$), 2) промежуточный тактический масштаб рассуждений ($T_{\mathrm{LLM}}$) и 3) быстрый масштаб физического исполнения ($T_{\mathrm{fast}}$.⟧).

IV-A Облачный мета-контроллер HAPS

На самом высоком уровне иерархии HAPS выступает в роли глобального оркестратора. Поскольку глобальная балансировка нагрузки требует сложного пространственного мышления во всей ITNTN, мы развертываем большую базовую модель, а именно Qwen3.5-122B, размещенную в облачном вычислительном кластере HAPS. Работая на уровне $T_{\mathrm{HAPS}}=5.0$ с, мета-контроллер HAPS оценивает глобальное наблюдение $\mathbf{o}_{T}^{\mathrm{HAPS}}$. В частности, если количество пользователей, связанных с конкретной TBS $n_{c,t}$, близко к $Q_{c}$, LLM генерирует стратегические директивы zero-shot ($\mathbf{a}_{T}^{\mathrm{HAPS}}$), принуждая конкретных периферийных агентов UAV переключать свои каналы C2 на соседние TBS или HAPS.

IV-B Агент на периферии БПЛА

Каждый БПЛА оснащен легковесной периферийной LLM (а именно Qwen3.5-9B), которая работает при $T_{\mathrm{LLM}}=1.0$ с. Когнитивный периферийный агент преобразует локализованное наблюдение ($\mathbf{o}_{t}^{m}$) в структурированную текстовую подсказку. Вместо вывода прямых команд управления двигателями, периферийная LLM выполняет когнитивную рефлексию, то есть, если БПЛА испытывает серьезные штрафы при передаче обслуживания или находится близко к порогу столкновения ($d_{\text{safe}}$), LLM динамически корректирует веса $\alpha_{\{1,2,3\}}$ многоцелевого вектора вознаграждения. Таким образом, это семантическое рассуждение направляет базовый DRL, смещая его приоритет между агрессивным движением вперед и консервативной безопасностью..

IV-C Выполнение DRL в быстром масштабе времени

На самом нижнем уровне DDQN функционирует с физическим временным масштабом $T_{\mathrm{fast}}=0.05$ с (20 Гц). DDQN получает динамические веса вознаграждения, генерируемые edge-LLM, и выполняет непрерывные команды управления двигателями ($\mathbf{a}_{\text{mot},t}^{m}$) и дискретные действия по переключению между базовыми станциями ($\mathbf{a}_{\text{tele},t}^{m}$). Перекладывая семантическое рассуждение на LLM, DDQN действует исключительно как высокоскоростной рефлексивный физический контроллер..

Полный ход выполнения обобщен в алгоритме 1.

Инициализировать: Состояние среды $\mathcal{S}_{0}$, HAPS LLM (Qwen-122B), LLM для БПЛА (Qwen-9B), и сети DDQN.
для каждый физический микрошаг $t=1,2,\dots,T_{\max}$ делать

если $t\pmod{T_{\mathrm{HAPS}}}==0$ затем

     Извлечь глобальное мета-наблюдение $\mathbf{o}_{T}^{\mathrm{HAPS}}$;

         LLM на базе HAPS генерирует стратегическое мета-действие $\mathbf{a}_{T}^{\mathrm{HAPS}}$ для балансировки квот узлов $Q_{c}$;

         для каждый БПЛА $m\in\mathcal{M}$ делать

     Извлечение локальных численных наблюдений $\mathbf{o}_{t}^{m}$;

         если $t\pmod{T_{\mathrm{LLM}}}==0$ затем

         Формат $\mathbf{o}_{t}^{m}$ в динамическую текстовую подсказку $\mathbf{p}_{t}^{\mathrm{dyn}}$;

             Периферийная LLM оценивает порог безопасности $\rho_{\text{thresh}}$;

             Периферийная LLM выдает когнитивную рефлексию для динамической настройки весов вознаграждения $\alpha_{\{1,2,3\}}$;

             DDQN получает настроенные вознаграждения и выбирает гибридное действие $\mathbf{a}_{t}^{m}=[\mathbf{a}_{\text{mot},t}^{m},\mathbf{a}_{\text{tele},t}^{m}]^{\top}$;

         Выполнить $\mathbf{a}_{t}^{m}$, обновление кинематики в $T_{\mathrm{fast}}$, и сохранять переходы в буфере памяти $\mathcal{D}^{m}$;

         Пример мини-пакета из $\mathcal{D}^{m}$ для обучения DDQN;

    

⟦Algorithm 1 Иерархическое управление LLM с двумя временными шкалами

IV-D Дискретизация состояний и проектирование промптов

Чтобы преодолеть разрыв между численной кинематикой и семантическим рассуждением граничной LLM Qwen3.5-9B, мы используем структурированную методологию проектирования промптов. Прямая подача массивов чисел с плавающей запятой высокой точности (например, $\mathbf{v}_{t}^{m}=[12.43,-3.21,0.5]$) часто ухудшает рассуждения LLM и увеличивает задержку вывода. Поэтому мы дискретизируем непрерывное наблюдение $\mathbf{o}_{t}^{m}$ в семантические языковые дескрипторы, обозначенные как $\mathcal{L}(\mathbf{o}_{t}^{m})$. В частности, трехмерное относительное расстояние до соседних БПЛА ($\|\mathbf{x}_{t}^{m}-\mathbf{x}_{t}^{j}\|_{2}$, $\forall j\in\mathcal{M}\backslash\{m\}$) классифицируется по предопределенным семантическим зонам: Безопасная ($d>3d_{\text{safe}}$), Предупреждающая ($d_{\text{safe}}\leq d\leq 3d_{\text{safe}}$) и Критическая ($d<d_{\text{safe}}$). Аналогичным образом, состояние сети с учетом передачи обслуживания $\text{WR}_{t}^{m,c}$ отображается как Стабильное (когда $\text{WR}_{t}^{m,c}\geq 20$ Мбит/с, что указывает на отсутствие перегрузки канала), Ухудшенное (когда $0\leq\text{WR}_{t}^{m,c}<20$ Мбит/с, что указывает на насыщение пропускной способности) или Передача обслуживания (когда $\text{WR}_{t}^{m,c}<0$, вызванное значительным штрафом $\gamma$ во время переключения сети).).

Для улучшения zero-shot обобщения LLM мы используем выбор примеров few-shot на основе расстояния. Вместо использования статических промптов, периферийный агент извлекает набор $K$ исторических состояний из своего локального буфера памяти $\mathcal{D}^{m}$, которые демонстрируют кратчайшее евклидово расстояние до текущего кинематического состояния. Успешные конфигурации весов вознаграждения из этих извлеченных состояний добавляются в качестве примеров in-context learning..

Итоговый синтезированный промпт строго следует модульному шаблону: [Роль], [Текущее состояние], [Исторические примеры] и [Задача]. Иллюстративный пример сгенерированного промпта представлен ниже:

[[Роль]: Вы являетесь автономным периферийным агентом БПЛА, осуществляющим навигацию в трехмерном коридоре. Ваша задача — динамически настраивать веса многоцелевой функции вознаграждения DRL $(\alpha_{1},\alpha_{2},\alpha_{3})$ для эффективности транзита, надежности сети и безопасности. [Текущее состояние]: Расстояние до цели сокращается. Соседний БПЛА-3 находится в зоне предупреждения (7,2 м). Сетевое соединение с TBS-2 стабильно. [Исторический пример]: Когда сосед находился в зоне предупреждения, а соединение было стабильным, оптимальными весами были $(0.2,0.1,0.7)$, чтобы отдать высокий приоритет предотвращению столкновений по сравнению с движением вперед. [Задача]: На основе текущего состояния выведите обновленные веса скаляризации в точном формате [w1, w2, w3]. Не выводите разговорный текст или пояснения..

V Численные результаты

V-A Настройка моделирования

Мы оцениваем предложенную агентную облачно-периферийную структуру, используя высокоточный 3D-симулятор физики мультироторных систем на базе gym-pybullet-drones [8]. Среда ITNTN состоит из 4 TBS и 1 HAPS, обслуживающих ряд UAV $M\in\{10,20,30\}$. LLM на базе Qwen взаимодействуют с физической симуляцией посредством структурированных вызовов API. Подробные параметры симуляции сведены в таблицу I.

Ключевой проблемой при применении генеративного ИИ в высокоскоростных сетях БПЛА является задержка вывода LLM, которая несовместима с быстрым временем реакции, необходимым для аэродинамической стабилизации. Для решения этой проблемы мы приняли двухуровневую архитектуру HAPS–UAV с разделенными когнитивными и управляющими временными шкалами. На периферии БПЛА мы рассматриваем 4-битную квантованную Qwen3.5-9B, развернутую на платформе edge-AI. При средней скорости генерации около $25$ токенов/с структурированный промпт и лаконичный вывод дают расчетную периферийную задержку в $t_{\text{edge}}=0.6$ с. На уровне HAPS более крупный мета-контроллер Qwen3.5-122B работает на высокопроизводительном кластере GPU, при этом общая задержка моделируется как $t_{\text{cloud}}=t_{\text{inf}}+t_{\text{tx}}=2.55$ с.

Эти значения математически обосновывают предложенную нами иерархию временных шкал. Быстрый аэродинамический контур работает с частотой $T_{\mathrm{fast}}=0.05$ с, что делает прямое LLM-вывод в контуре управления физически нецелесообразным. Поэтому мы установили интервал когнитивной рефлексии на уровне БПЛА равным $T_{\mathrm{LLM}}=1.0$ с, а интервал координации на уровне HAPS — $T_{\mathrm{HAPS}}=5.0$ с, строго соблюдая аппаратные ограничения $T_{\mathrm{LLM}}>t_{\text{edge}}$ и $T_{\mathrm{HAPS}}\gg t_{\text{cloud}}$. В течение одного интервала вывода edge-LLM контроллер DDQN по-прежнему может выполнить 20 быстрых непрерывных шагов управления, используя последнюю подтвержденную конфигурацию вознаграждения. Такая асинхронная декомпозиция позволяет избежать сбоев, вызванных вычислительными затратами, обеспечивая при этом надежное стратегическое рассуждение LLM..

В наших симуляциях мы сравниваем предложенную иерархическую структуру LLM-DDQN с базовым методом «DDQN» [13, 16], который опирается на исследование методом проб и ошибок без когнитивной рефлексии LLM или балансировки нагрузки HAPS, а также с методом «Envelope MORL», предложенным в [14]⟧.

⟦Table I: Параметры моделирования

Parameter	Value
Physics & Airspace Parameters
Simulation airspace volume	$1000\times 1000\times 300$ m3
Number of UAVs ($M$)	$\{5,10,15,20,25,30\}$
UAV Mass ($M_{u}$)	$1.5$ kg
Physical safety separation ($d_{\text{safe}}$)	$5.0$ m
Gravity ($\mathbf{g}$)	$9.81$ m/s2
Control frequency ($1/T_{\text{fast}}$)	$20$ Hz ($\Delta t=0.05$ s)
ITNTN Communication Parameters
Number of TBSs ($B$)	$4$
HAPS altitude	$20$ km
Carrier frequencies	$2.0$ GHz (HAPS), $2.1$ GHz (TBS)
Node bandwidth ($B_{c}$)	$20$ MHz
HAPS total capacity ($C^{\text{HAPS}}_{\max}$)	$100$ Mbps
Node transmit power ($P_{c}$)	$40$ dBm ($10,000$ mW)
TBS peak antenna gain ($G_{\max}$)	$8$ dBi
Node capacity quota ($Q_{c}$)	$5$ concurrent users
Path loss exponents	$\eta_{\text{LoS}}=2.0$, $\eta_{\text{NLoS}}=3.5$
Rician LoS factor	$15$ dB
Noise power spectral density ($N_{0}$)	$-174$ dBm/Hz
Algorithm & Cognitive Parameters
HAPS Meta-Controller LLM	Qwen3.5-122B
UAV Edge-Agent LLM	Qwen3.5-9B
HAPS strategic timescale ($T_{\mathrm{HAPS}}$)	$5.0$ s
UAV LLM reasoning interval ($T_{\text{LLM}}$)	$1.0$ s
Edge inference latency ($t_{\text{edge}}$)	$0.6$ s
Cloud inference latency ($t_{\text{cloud}}$)	$2.55$ s
Reflection trigger threshold ($\rho_{\text{thresh}}$)	$-10.0$
Collision crash penalty ($\rho_{\text{crash}}$)	$-100.0$
HAPS reward weights ($\eta_{\{1,2\}}$)	$\{1.0,50.0\}$
UAV reward weights ($\alpha_{\{1,2,3\}}$)	$\{1.0,0.1,0.2\}$
Handover penalty coeff. ($\gamma$)	$5.0$
Energy penalty coeff. ($\lambda$)	$0.1$
Memory retrieval size ($K$)	$5$ experiences
DDQN learning rate	$1\times 10^{-4}$
Discount factor ($\gamma_{d}$)	$0.99$
Target update frequency	$500$ steps

⟦(a) Награда за транспортировку ($R_{\text{tran},t}^{m}$)

⟦(b) Выживаемость (длительность эпизода)

⟦(c) Награда за связь

⟦(d) Вероятность HO

⟦Figure 3: Оценка сходимости обучения и масштабируемости предложенной агентной облачно-периферийной архитектуры.

V-B Результаты моделирования

Для оценки устойчивости в перегруженных воздушных коридорах на рис. 3 представлены ключевые показатели, а именно: вознаграждение за транспортировку, время выживания, вознаграждение за связь и вероятность HO..

На рис. 3(a) и рис. 3(b) проиллюстрирована сходимость вознаграждения за транспортировку и количества шагов выживания соответственно. Как показано на рис. 3(a), традиционный базовый алгоритм DDQN обучается быстро, но достигает насыщения в субоптимальном локальном минимуме. Это связано с тем, что стандартный DRL испытывает трудности при работе с обширным и разреженным пространством исследования, объединяющим 3D-кинематику и выбор сети. Напротив, предложенная структура демонстрирует более крутую и устойчивую кривую обучения, обгоняя DDQN примерно на 1500-м эпизоде и достигая наивысшего установившегося вознаграждения..

Это превосходство напрямую связано с физической безопасностью, что отражено в количестве шагов выживания на рис. 3(b). В частности, в DDQN серьезные столкновения приводят к преждевременному завершению. Поскольку последний полагается только на метод проб и ошибок, он страдает от частых ранних столкновений. Напротив, когда БПЛА в нашей структуре обнаруживает состояние высокого риска, бортовая edge-LLM немедленно изменяет веса скаляризации посредством когнитивной рефлексии, чтобы приоритизировать штраф за столкновение ($\rho_{\text{crash}}$). Это руководство zero-shot позволяет избежать преждевременных завершений и дает предлагаемой структуре возможность сходиться к почти максимальной длине эпизода..

Рис. 3(c) оценивает коммуникационное вознаграждение как функцию от количества TBS. Изначально, при отсутствии TBS, БПЛА подключены к HAPS без какого-либо затухания качества канала. Однако внедрение одной или двух TBS создает серьезные помехи и несогласованные возможности для передачи обслуживания между TBS и HAPS, что вызывает резкое падение коммуникационного вознаграждения для всех методов. Тем не менее, по мере добавления большего количества TBS для обеспечения непрерывного покрытия вознаграждение восстанавливается и достигается лучшая координация. Предложенная структура стабильно поддерживает наивысшее коммуникационное вознаграждение, поскольку мета-контроллер HAPS интеллектуально координирует ассоциации для минимизации межъярусных помех..

На рис. 3(d) показана вероятность передачи обслуживания при увеличении плотности роя БПЛА от $M=5$ до $30$. По мере перегрузки воздушного пространства базовые агенты DRL жадно преследуют сильнейший мгновенный сигнал, что приводит к хаотичным высокочастотным передачам обслуживания. Напротив, мета-контроллер HAPS прогнозирует перегрузку и выдает директивы по пространственной разгрузке в режиме zero-shot. Такая стратегическая координация успешно подавляет ненужные переключения в сети, обеспечивая предложенной структуре самую низкую и стабильную вероятность передачи обслуживания при любой плотности трафика..

VI Заключение

В данной статье мы предложили структуру Cloud-Edge Agentic AI для совместной оптимизации трехмерной мобильности БПЛА и управления передачей обслуживания в ITNTN. За счет разделения стратегического обоснования и быстрого физического управления в различных временных масштабах, данная структура связывает рассуждения LLM с выполнением DRL в режиме реального времени. Мета-контроллер на базе HAPS снижает перегрузку сети, в то время как edge-LLM улучшают локальное принятие решений с учетом безопасности. Результаты моделирования показывают явные преимущества перед традиционным DRL в вопросах безопасности, эффективности обучения и пропускной способности системы. В будущих работах будет исследована легковесная квантовизация для снижения задержки вывода на периферии..