Усиление командной работы с помощью ИИ-агентов как пространственных коллабораторов

Аннотация.

По мере сближения технологий дополненной реальности (AR) и искусственного интеллекта (ИИ) открываются новые возможности для активной поддержки ИИ-агентами совместной работы людей в иммерсивных средах. Хотя предыдущие исследования в основном сосредоточены на диадическом взаимодействии человека и ИИ, меньше внимания уделяется командам "человек-ИИ" (HATs) в AR, где ИИ выступает в роли адаптивного партнера, а не статичного инструмента. В данной позиционной статье с точки зрения динамики команд и организации работы предлагается, что ИИ-агенты в AR должны не только взаимодействовать с отдельными людьми, но и распознавать и реагировать на потребности команды в реальном времени..

Мы утверждаем, что пространственно осознанные ИИ-агенты должны динамически генерировать ресурсы, необходимые для эффективного взаимодействия, такие как виртуальные доски для мозгового штурма, модели ментальных карт для общего понимания и воспроизведение пространственных конфигураций для улучшения запоминания информации и координации задач. Этот подход выходит за рамки предопределенной ИИ-помощи в сторону контекстно-зависимых ИИ-вмешательств, оптимизирующих командную производительность и принятие решений..

1. Введение

Последние достижения в области устройств дополненной реальности (Augmented Reality, AR), таких как Microsoft HoloLens, (Microsoft, 2024), который использует выбор на основе взгляда и речевое управление с помощью ИИ, а также Orion от Meta (Meta, 2024), что обеспечивает повсеместное и контекстно-зависимое взаимодействие, значительно расширило возможности для совместной работы людей. (Li et al., 2019; Zhao and Baghaei, 2024). Эти технологии трансформируют способы коммуникации и совместной работы команд, объединяя цифровые и физические среды, что позволяет создавать более иммерсивные и динамичные взаимодействия между участниками..

Исследования в области взаимодействия человека с компьютером (HCI) широко изучают влияние систем онлайн-коммуникации на динамику команд и предлагают различные решения для повышения продуктивности и эффективности виртуальных встреч. (Harris et al., 2019; Tang et al., 2023; O’hara et al., 2011). Одним из таких подходов является интеграция ИИ-агентов, предназначенных для улучшения координации, облегчения коммуникации и поддержки вовлеченности. Например, система автоматического суммирования встреч "MeetingCoach", (Airgram.io, 2025; Rewatch.com, 2025), обнаруживает различные поведенческие сигналы во время встреч и объединяет их в пост-встречный дашборд для улучшения понимания динамики встреч (Samrose et al., 2021), и «Dittos», персонализированный ИИ-агент, заменяющий членов команды в их отсутствие. (Leong et al., 2024), демонстрируют потенциал ИИ для улучшения командной работы в цифровой среде.

Однако ИИ-агенты по-прежнему сталкиваются со значительными трудностями, особенно в адаптации к реальным условиям многопользовательского взаимодействия. (Paolo et al., 2024; Puig et al., 2020). Большинство систем ИИ работают в текстовых или статических средах. (Bovo et al., 2024; Cohn and Blackwell, 2024), ограничивая их способность понимать пространственные отношения, свойства объектов и взаимодействия в команде в динамических контекстах реального времени (Yan et al., 2023). Это ограничивает эффективность ИИ в обеспечении плавного и адаптивного взаимодействия в иммерсивных средах для командных встреч..

1.1. ИИ-агенты в иммерсивных средах

Для решения этих проблем исследователи XR предлагают разрабатывать ИИ-агенты, глубоко интегрированные в реальные условия, способные наблюдать, взаимодействовать и непрерывно обучаться на основе своего окружения и человеческих коллабораторов динамичным и адаптивным образом. (Hirzle et al., 2023). Перспективным применением данного подхода является разработка LLM-агентов Non-Player Character (NPC), используемых в видеоиграх. (Korkiakoski et al., [n. d.]; Kopel and Smrz, 2018), тренировочные симуляции (Mergen et al., 2023), и виртуальные пространства для совместной работы (Wan et al., 2024). Эти агенты обещают повысить вовлеченность пользователей за счет реакции на входные данные в реальном времени, адаптации к поведению человека и обеспечения интерактивного взаимодействия..

Несмотря на эти достижения, ИИ-агенты в иммерсивных средах по-прежнему имеют значительные ограничения. Современные системы на основе ИИ взаимодействуют в основном с отдельными людьми, а не поддерживают командное сотрудничество, упуская возможность использовать возможности для объединения цифровых и физических сред. Кроме того, большинство ИИ-агентов в иммерсивных средах спроектированы как статические помощники, не способные динамически адаптировать свою роль в зависимости от потребностей команды. Учитывая, что командные встречи часто включают как удалённых, так и присутствующих участников, ИИ-агенты также не понимают проксемику (личное пространство, позиционирование команды, паттерны движения), что напрямую влияет на их взаимодействие в иммерсивных условиях..

Поскольку командные встречи остаются фундаментальным аспектом организационной работы, критически важно разрабатывать ИИ-агенты, выходящие за рамки индивидуального взаимодействия и фокусирующиеся на командном поведении, паттернах координации и коллективных процессах принятия решений. Развитие ИИ-управляемой коллаборации в иммерсивных средах требует систем, способных управлять вниманием множества пользователей, поддерживать командную работу без нарушения рабочих процессов и динамически реагировать на потребности команды..

1.2. Необходимость специализированных ИИ-агентов для дополненной реальности

Хотя развивающаяся область социальных VR предоставила ценные данные о командном поведении в иммерсивных средах, (Sayadi et al., 2024), ограниченное количество исследований изучало эти динамики в дополненной реальности (Wang et al., 2019). Существующие исследования в области VR показывают, что иммерсивные среды могут влиять на сплочённость команды, вовлечённость и доверие, однако AR представляет уникальные вызовы и возможности, которые остаются в значительной степени неисследованными. (van der Land et al., 2011).

Наши предыдущие исследования (Fernandez-Espinosa et al., 2025) исследовали различия между командами, сотрудничающими в виртуальной реальности (VR), и командами, взаимодействующими лицом к лицу. В частности, мы изучили, как возможности VR влияют на ощущение близости между членами команды при её формировании. Наши результаты показали, что новички, знакомящиеся в VR, чувствовали себя более включёнными в команду по сравнению с теми, кто знакомился очно. Наша работа демонстрирует, что восприятие и отношение к сотрудничеству у членов команды формируются средой взаимодействия, а не только межличностными факторами. Таким образом, необходимо расширить исследования за пределы VR и включить дополненную реальность (AR), которая предлагает иные динамики взаимодействия, пространственные ограничения и возможности для AI-опосредованной поддержки..

2. Будущие исследования и вклад в работу семинара

В нашей будущей работе мы планируем проанализировать и использовать возможности пространственных вычислений AR в сочетании с анализом командной динамики для проектирования AI-агентов, улучшающих командные встречи. Эти AI-агенты будут функционировать как активные участники, динамически генерируя и адаптируя вспомогательные материалы для улучшения коммуникации, координации и общего понимания. Например, AI-агенты смогут создавать виртуальные доски для мозгового штурма, субтитры в реальном времени для доступности или 3D-модели по запросу, помогая командам визуализировать сложные концепции. Адаптируясь к потребностям команды в реальном времени, эти AI-агенты смогут устранять пробелы в понимании, облегчать решение задач и улучшать совместное принятие решений в иммерсивных AR-средах..

2.1. Вклад в семинар

В ходе семинара мы стремимся рассмотреть командный подход, продвигая разработку ИИ-агентов для совещаний в реальном времени. Особый интерес представляет обсуждение интеграции ИИ-агентов в AR-ориентированные рабочие процессы команд и их вклада в повышение эффективности и динамики коллаборации. Кроме того, мы планируем представить первые результаты нашего исследования ИИ-агентов в смешанной реальности, внося вклад в текущие дискуссии в научных сообществах AR и ИИ..

Опираясь на предыдущие исследования, в которых были выявлены проблемы виртуальных и очных встреч, мы предлагаем расширить обсуждение на AR-среды и рассмотреть следующие ключевые исследовательские вопросы:

• RQ1: Каковы оптимальные архитектуры ИИ-агентов в дополненной реальности для повышения удобства использования, взаимодействия и эффективной командной работы??

• RQ2: Какие пространственные и проксемические факторы следует учитывать в дополненной реальности для улучшения координации и вовлеченности команды??

• RQ3: Как следует воплощать ИИ-агентов в дополненной реальности (AR), чтобы сосредоточиться на взаимодействиях на уровне команды, а не на межличностных, индивидуальных взаимодействиях??

• RQ4: Когда и как ИИ-агенты должны вмешиваться в командные рабочие процессы в AR? Как они могут определять, когда пользователям требуется помощь, не нарушая совместную работу??

Смещая роль ИИ-агентов от предопределенных инструментов к адаптивным, контекстно-ориентированным участникам команды, мы открываем новые возможности для коллективного интеллекта в AR-средах. Решение этих исследовательских вопросов станет ключевым для проектирования ИИ-агентов, которые органично интегрируются в рабочие процессы команд, оптимизируют взаимодействие в иммерсивных пространствах и в конечном итоге повышают эффективность командной работы и принятия решений..

В рамках данного обсуждения мы стремимся углубить понимание ИИ в дополненной реальности не просто как интерфейса, а как активного инструмента, обеспечивающего совместную работу человека и ИИ..