Универсальное воспроизведение хаотических характеристик с помощью классического и квантового машинного обучения

Аннотация

Воспроизведение хаотических характеристик нелинейной динамики с помощью машинного обучения (ML) в последнее время привлекает широкое внимание. В данной работе мы предлагаем модель ML, обученную прогнозировать состояние на один шаг вперед на основе нескольких последних исторических состояний, которая способна точно воспроизводить бифуркационную диаграмму и показатели Ляпунова дискретных динамических систем. Характеристики для различных значений гиперпараметров универсально охватываются единой моделью ML, в то время как в предыдущих работах рассматривалось обучение модели ML независимо путем фиксации гиперпараметров на конкретных значениях. Наши тесты на одномерных и двумерных логистических отображениях показывают, что вариационные квантовые схемы могут воспроизводить долгосрочные характеристики с более высокой точностью, чем long short-term memory (хорошо известная классическая модель ML). Наша работа выявляет существенное различие между ML для хаотических характеристик и ML для стандартных задач с точки зрения взаимосвязи между производительностью и сложностью модели. Наши результаты показывают, что модель квантовых схем демонстрирует потенциальные преимущества в снижении переобучения, достигая более высокой точности и стабильности..

Введение.— В какой степени модель машинного обучения (ML) может обучаться на динамических данных хаотической системы? Хаос относится к кажущемуся беспорядочным, но детерминированному поведению динамических систем Kantz and Schreiber 2004; Strogatz 2018, которое проявляется в широком спектре реалистичных сценариев, считающихся высоконелинейными (таких как рост популяции May 1976 и атмосфера Lorenz 1963). Хаотическая система обладает рядом экзотических свойств, включая высокую чувствительность к начальным условиям и возмущениям Kantz and Schreiber 2004; Strogatz 2018. Это делает прогнозирование временных рядов (TPS), особенно после длительной эволюции, практически невыполнимым.

Машинное обучение продемонстрировало свою эффективность как мощный подход для прогнозирования временных рядов. Например, нейронные сети, такие как широко признанные сети долгой краткосрочной памяти (LSTM) Hochreiter and Schmidhuber 1997; Yu et al. 2019 и модели transformers, разработанные совсем недавно Vaswani et al. 2017, демонстрируют отличные результаты, например, в прогнозировании погоды Bi et al. 2023; Chen et al. 2023. Прогнозирование временных рядов на основе машинного обучения для хаотических систем включает две ключевые проблемы: (i) краткосрочное прогнозирование состояний системы Pathak et al. 2018; Herzog et al. 2019; Borra et al. 2020 и (ii) долгосрочное прогнозирование/воспроизведение статистических/эргодических динамических характеристик Pathak et al. 2017; Lu et al. 2018; Antonik et al. 2018; Fan et al. 2020; Sun et al. 2023. Сосредоточившись на второй проблеме, предыдущие работы в основном пытались выполнить воспроизведение путем фиксации гиперпараметров динамической системы на определенных значениях (см., например, ссылки Pathak et al. 2017; Lu et al. 2018; Antonik et al. 2018). Использование единой модели машинного обучения для универсального охвата характеристик при изменении гиперпараметров в нетривиальном диапазоне представляет собой более сложную и важную задачу, которая остается открытой..

⟦Figure 1: (Цветная онлайн-версия) Иллюстрация основного процесса прогнозирования временных рядов с помощью машинного обучения. На верхней левой панели в качестве примера показано одномерное логистическое отображение [Ур. (1)]. Путем реализации предварительно обработанного отображения, настроенного с помощью $\mu$ [см. Ур. (4) и (5)], выборка (данные нескольких состояний) отображается в серию векторов, выступающих в качестве входных данных для модели ML, такой как автоматически дифференцируемая квантовая схема (ADQC), проиллюстрированная на нижней левой панели. Модель ML оптимизируется путем минимизации функции потерь, которая берется как среднеквадратичная ошибка прогнозов на один шаг вперед [см. нижнюю правую панель и Ур. (3).

В данной работе мы показываем, что модель ML, обученная предсказывать состояние на один шаг вперед на основе $M$ последних исторических состояний, способна воспроизводить долгосрочные хаотические характеристики дискретных динамических систем. Мы используем как классические, так и квантовые модели ML, а именно LSTM Hochreiter and Schmidhuber 1997; Yu et al. 2019 и вариационную квантовую схему Peruzzo et al. 2014; Cerezo et al. 2021 (в частности, автоматически дифференцируемую квантовую схему Zhou et al. 2021, сокращенно ADQC), для обучения на одномерных и двумерных логистических отображениях May 1976; Yuan et al. 1983; Ferretti and Rahman 1988. Долгосрочные характеристики, включая бифуркационную диаграмму и показатели Ляпунова, моделируются путем итерации отображения ML в течение достаточного количества шагов. Эти характеристики, для которых гиперпараметр логистического отображения варьируется от устойчивых до хаотических областей, успешно воспроизводятся единой моделью ML..

Наши результаты показывают, что повышение сложности модели, как правило, не дает положительного эффекта для улучшения точности воспроизведения долгосрочных характеристик из-за высокой чувствительности к переобучению. ADQC достигает значительно более высокой точности и стабильности, чем LSTM, особенно при воспроизведении показателей Ляпунова. Эти результаты демонстрируют обоснованность и потенциальное преимущество моделей квантовых схем в снижении переобучения при воспроизведении хаотических характеристик..

Классическое и квантовое машинное обучение для прогнозирования временных рядов.— Динамическая система в общем виде может быть записана как отображение $x_{t+1}=f(x_{t})$, где $x_{t}$ называется состоянием системы в (дискретный) момент времени $t$. Здесь мы берем в качестве примера одномерное логистическое хаотическое отображение, которое является фундаментальной нелинейной динамической системой (см. верхнюю левую панель рис. 1), имеющей широкое применение в понимании хаотических явлений и генерации случайных чисел May 1976. Отображение удовлетворяет

$$f(x_{t};\mu)=\mu x_{t}(1-x_{t}),$$ (1)

с $0\leq\mu\leq 4$ гиперпараметром.

Модель ML также по сути является отображением. Рассматривая прогнозирование состояния на один шаг вперед на основе последних $M$ исторических состояний, отображение ML можно формально записать как

$$\tilde{y}=F(x_{1},x_{2},...,x_{M};\boldsymbol{W}),$$ (2)

где $\boldsymbol{W}$ обозначает все вариационные параметры модели ML. Временной ряд, генерируемый динамической системой $f$, используется для обучения модели ML. Соответственно, выборка ML представляет собой фрагмент временного ряда с данными о $M$ состояниях, а меткой этой выборки является истинное значение состояния на один шаг вперед, заданное $f$, то есть $y=f(x_{M})=x_{M+1}$. Состояние в выборке также называется признаком на языке ML.

Модель ML может быть обучена путем минимизации ошибки прогнозирования на так называемых обучающих выборках. Мы дискретизируем гиперпараметр $\mu$ на 50 различных значений в диапазоне $2<\mu\leq 4$. Для каждого значения $\mu$ мы генерируем 2000 выборок в качестве обучающего набора, где каждая выборка получается путем итеративного применения динамического отображения к случайному состоянию $(M-1)$ раз. Вариационные параметры оптимизируются путем минимизации среднеквадратичной ошибки (RMSE)

$$L=\sqrt{\frac{1}{N}\sum_{n}{(\tilde{y}^{[n]}-y^{[n]})}^{2},}$$ (3)

где $\tilde{y}^{[n]}$ обозначает предсказание ML модели для $n$-го образца, $y^{[n]}$ обозначает истинное значение (метку этого образца), а суммирование по $n$ охватывает весь обучающий набор. Метод градиентного спуска используется для обновления вариационных параметров как $\boldsymbol{W}\to\boldsymbol{W}-\eta\frac{\partial L}{\partial\boldsymbol{W}}$, где $\eta$ — малая положительная константа, известная как градиентный шаг или скорость обучения..

Мы здесь рассматриваем LSTM и ADQC для ML. LSTM — это признанная классическая модель ML для TSP. Она относится к разновидностям рекурсивных нейронных сетей Lipton et al. 2015; Salehinejad et al. 2018 и решает проблемы исчезающих и взрывающихся градиентов путем введения так называемых функций вентилей. ADQC относится к вариационным квантовым схемам. Ее главное преимущество заключается в универсальном способе параметризации квантовых вентилей, благодаря чему нет необходимости указывать типы (вращение, фазовый сдвиг, контролируемое НЕ и т. д.) вентилей, а нужно лишь спроектировать структуру схемы. Мы используем структуру «кирпичной стены», как показано на нижней левой панели рис. 1. Прогноз получается путем измерения последнего кубита квантового состояния после реализации ADQC.

Для универсального воспроизведения характеристик динамической системы с изменяющимся гиперпараметром [скажем, $\mu$ в уравнении (1)] с использованием единой ML модели, мы предлагаем внедрить обучаемую предварительную обработку, настраиваемую с помощью $\mu$, для выборок перед их подачей в ML модель. Наша идея заключается в отображении каждого признака (который является скаляром) в вектор посредством обучаемого отображения, настраиваемого с помощью $\mu$, скажем $x^{[n]}_{t}\to\boldsymbol{v}^{[n,t]}=(v^{[n,t]}_{1},v^{[n,t]}_{2},\cdots,v^{[n,t]}_{d})$, где $x^{[n]}_{t}$ — это $t$-й признак $n$-й выборки, а $d=\dim(\boldsymbol{v}^{[n,t]})$ — заданная размерность. Таким образом, выборка отображается в набор векторов. Заметим, что как LSTM, так и ADQC могут принимать набор векторов в качестве входных данных..

Карта предварительной обработки также зависит от некоторых вариационных параметров, которые будут оптимизированы на этапе обучения. Мы определяем карту предварительной обработки здесь как

$$v^{[n,t]}_{k}=\sum_{i,j}\xi_{i}(x^{[n]}_{t};\theta)\xi_{j}(\mu^{[n]};\theta)T_{ijk}.$$ (4)

$(d\times d\times d)$-мерный тензор $\boldsymbol{T}$ будет оптимизирован при обучении ML модели. Векторы $\boldsymbol{\xi}(x^{[n]}_{t};\theta)$ и $\boldsymbol{\xi}(\mu^{[n]};\theta)$, которые оба являются $d$-мерными, получаются с помощью следующего отображения, преобразующего скаляр в нормализованный вектор Stoudenmire and Schwab 2016. Для заданного скаляра (скажем, $a$), $j$-й элемент результирующего вектора $\boldsymbol{\xi}(a;\theta)$ удовлетворяет

$$\xi_{j}(a;\theta)=\sqrt{\binom{d-1}{j-1}}\cos\left(\frac{\theta\pi}{2}a\right)^{d-j}\sin\left(\frac{\theta\pi}{2}a\right)^{j-1}.$$ (5)

Параметр $\theta$ также будет оптимизирован (независимо от $\mu$ и выборок) на этапе обучения. Заметим, что поскольку обучающие выборки получены из динамики, принимающей различные значения $\mu$, следует принять ${\mu}^{[n]}$ в уравнении (4) равным соответствующему значению $\mu$ для $n$-й выборки.

Отображение предварительной обработки может быть обобщено до динамической системы, которая содержит несколько переменных и гиперпараметров. Мы всегда можем использовать Eq. (5) и отобразить эти переменные (гиперпараметры) в несколько $d$-мерных векторов. Более подробную информацию о наборе данных и ML моделях, включая предварительную обработку, прямое и обратное распространение, прогнозирование и настройки гиперпараметров, можно найти в приложениях..

⟦Figure 2: (Цвет онлайн) (а) Бифуркационные диаграммы, полученные с помощью ADQC, LSTM и логистического отображения (см. врезку). Плотность точек данных обозначена интенсивностью цвета. (b) Полулогарифмический график относительной $\varepsilon_{R}$ в зависимости от времени $t$ в различных областях бифуркационной диаграммы. Мы берем $\mu=2.2,3.2,3.4$ и $3.92$, что дает три отрицательных и одно положительное значение для показателя Ляпунова. Экспоненциальный рост $\varepsilon_{R}$ для $\mu=3.92$ аппроксимируется уравнением (7) с экспоненциальным индексом $\eta=0.44$ (см. сплошную черную линию). В таблице на (b) приведены $\eta$ для различных значений $\mu$ в хаотической области.

Численные результаты и обсуждения.— На рис. 2 продемонстрирована способность LSTM и ADQC к прогнозированию состояний с различными значениями $\mu$. На (а) представлены диаграммы бифуркаций, полученные с помощью ADQC и LSTM, которые согласуются с диаграммой, полученной для логистического отображения (см. врезку). Каждая точка данных на диаграммах получена путем итерации отображения (логистического отображения или отображений моделей ML) более 200 раз (что является достаточно большим числом), начиная со случайного состояния. Мы берем 500 случайных состояний для каждого значения $\mu$, которые отличаются от состояний в обучающей выборке. Плотность точек данных обозначена интенсивностью цвета. Заметим, что мы определяем выборки, сгенерированные этими начальными состояниями, как тестовый набор. Поскольку эти выборки не используются для обучения модели ML, тестовый набор используется для выявления так называемой способности к обобщению, которая относится к эффективности модели ML при работе с неизученными выборками..

Сходство между двумя бифуркационными диаграммами может быть охарактеризовано с помощью пикового отношения сигнала к шуму (PSNR) $r_{\text{P}}$, которое широко используется в области компьютерного зрения для характеристики сходства между двумя изображениями Kotevski and Mitrevski 2010. Мы получили $r_{\text{P}}=43.40$ и $43.58$ путем сравнения эталонной диаграммы, полученной с помощью логистического отображения, с диаграммами, полученными с помощью LSTM и ADQC соответственно. Такая согласованность между бифуркационными диаграммами не требует точного прогнозирования состояний, но требует достоверности точного воспроизведения распределения состояний после долгосрочной эволюции..

На рис. 2(b) мы показываем относительную ошибку $\varepsilon_{\text{R}}=\frac{1}{N}\sum_{n=1}^{N}\left|(\tilde{y}^{[n]}-y^{[n]})/y^{[n]}\right|$ для ADQC в зависимости от дискретного времени $t$ для различных значений $\mu$. Заметим, что модели ML всегда обучаются для прогнозирования состояния на один шаг вперед. Суммирование в $\varepsilon_{\text{R}}$ проводится по тестовой выборке. Различные значения $\mu$ выбраны таким образом, чтобы система находилась в областях сходимости ($\mu=2.2$), бифуркации ($\mu=3.2$), квадрифуркации ($\mu=3.4$) и хаоса ($\mu=3.92$). Значения показателя Ляпунова (LE) Parker and Chua 2012; Moon 2008 приведены в легенде, который вычисляется как

$$\lambda=\lim_{T\rightarrow\infty}\frac{1}{T}\sum_{t=1}^{T}\ln\left|\frac{df(x;\mu)}{dx}\right|_{x=x_{t}}.$$ (6)

В наших численных симуляциях мы берем $T>200$, что является достаточно большим.

Наши результаты показывают, что для прогнозирования состояния в сходящихся и бифуркационных областях (с отрицательным LE), ADQC может успешно предсказывать состояние системы после длительной эволюции с относительной ошибкой $\varepsilon_{\text{R}}\sim O(10^{-3})$. Когда система находится в хаотической области (с положительным LE), предыдущие работы указывают на то, что прогнозирование состояния справедливо в течение короткого промежутка времени, обычно характеризуемого временем Ляпунова $T_{\text{LE}}\equiv\lambda^{-1}$ Bezruchko and Smirnov 2010. Наши результаты показывают, что $\varepsilon_{\text{R}}$ растет экспоненциально с $t$, прежде чем сходится к $O(1)$, что подчиняется

$$\varepsilon_{\text{R}}\sim e^{\eta t}.$$ (7)

Таблица на рис. 2(b) показывает, что показатель экспоненты составляет около $\eta\approx 0.4+O(10^{-1})$. Заметим, что система является хаотической для $3.57<\mu<4$ Andrecut 1998.

Вышеприведенные результаты демонстрируют способность моделей ML воспроизводить характеристики вместо прогнозирования состояний. Такая способность дополнительно подтверждается сравнением LE одномерного логистического отображения и отображений ML (обученных LSTM и ADQC), как показано на рис. 3 (a). LE моделей ML получается путем замены дифференциального члена в уравнении 6 на $dF(x_{t-M+1},...,x;\boldsymbol{W}]/dx$ при $x=x_{t}$.

Значения LE при различных $\mu$, полученные с помощью LSTM и ADQC с предварительной обработкой, настроенной по $\mu$ (зеленая и синяя линии с символами), согласуются со значениями, полученными с помощью логистического отображения (эталонные данные, показанные красной сплошной линией). Для сравнения, гораздо худшее соответствие достигается стандартной LSTM без предварительной обработки, настроенной по $\mu$ (черная штрихпунктирная линия). Это демонстрация улучшения, достигнутого благодаря нашей предварительной обработке, настроенной по $\mu$. Две горизонтальные полосы указывают, дает ли LSTM и ADQC, настроенные по $\mu$, LE с правильным (зеленый) или неправильным (красный) знаком. В целом точность воспроизведения знака LE высока. Неправильные знаки появляются в хаотической области.

⟦Figure 3: (Цветная онлайн-версия) Показатели Ляпунова для (a) одномерных и (b) двумерных логистических отображений, а также для соответствующих ML моделей (LSTM и ADQC). Каждая точка представляет собой среднее значение по пяти независимым симуляциям. В верхней части (a) две горизонтальные полосы показывают, правильно (зеленый цвет) или неправильно (красный цвет) модели LSTM и ADQC определяют знак показателя Ляпунова. В (b) первые две полосы вверху показывают точность определения знака двух показателей Ляпунова моделью LSTM, а последние две полосы — моделью ADQC..

Аналогичные результаты получены для двумерного (2D) логистического отображения [см. рис. 3 (b)], которое представляет собой более сложную нелинейную систему с более богатым динамическим поведением за счет включения члена линейной связи Yuan et al. 1983; Ferretti and Rahman 1988. Две переменные $[x_{t},x^{\prime}_{t}]$ отображаются как

$$\begin{array}[]{c}x_{t+1}=4\mu_{1}x_{t}(1-x_{t})+\beta x^{\prime}_{t}\\ x^{\prime}_{t+1}=4\mu_{2}x^{\prime}_{t}(1-x^{\prime}_{t})+\beta x_{t}\end{array}.$$

Мы берем $\mu_{1}=\mu_{2}=\mu$ и фиксируем $\beta=0.1$ для простоты. Определены два показателя Ляпунова. Очевидно, что воспроизведение показателей Ляпунова двумерного логистического отображения является гораздо более сложной задачей, чем в одномерном случае. Следовательно, LSTM без предварительной обработки, настроенной с помощью $\mu$, становится практически неэффективной. Благодаря предварительной обработке, настроенной с помощью $\mu$, ADQC достигает более высокой точности, чем LSTM..

⟦Figure 4: (Цвет онлайн) Ошибки прогнозирования состояния на один шаг вперед и ошибки воспроизведения LE для одномерных и двумерных логистических отображений. Эти две ошибки характеризуются $L$ [Ур. (3)] и $L_{\text{LE}}$ соответственно. На (а) мы показываем $L$ и $L_{\text{LE}}$, полученные с помощью LSTM в зависимости от размерности скрытого слоя $d_{\text{h}}$, а на (b) мы показываем те же показатели для ADQC в зависимости от количества слоев $N_{\text{L}}$. Каждая точка данных представляет собой среднее значение по пяти независимым симуляциям, при этом стандартные отклонения показаны полосами погрешностей и цветными тенями.

Обычный способ улучшения производительности модели машинного обучения заключается в увеличении ее сложности. Однако такой подход, возможно, не сработает в нашем случае. Следует отметить, что, хотя динамическая система может содержать лишь небольшое количество гиперпараметров (например, один параметр $\mu$ в одномерном логистическом отображении), изучение ее динамики является серьезной проблемой, и ключевым фактором, определяющим производительность модели машинного обучения при воспроизведении долгосрочных характеристик, не должна быть сложность ее параметров. Мы ожидаем высокую чувствительность к проблеме переобучения..

Рис. 4 подтверждает это ожидание. Увеличение сложности параметров, как правило, снижает ошибку при краткосрочном прогнозировании (например, при предсказании состояния на один шаг вперед). Для одномерных и двумерных логистических отображений на рис. 4 (a) показано, что RMSE $L$ [Уравнение (3)], полученное с помощью LSTM, постепенно уменьшается примерно с $0.02$ до $0.004$ при увеличении скрытой размерности $d_{\text{h}}$ с $2$ до $80$. Аналогичное наблюдение получено для ADQC, где $L$ снижается примерно до $0.002$ (для одномерного логистического отображения) или $0.004$ (для двумерного логистического отображения) при увеличении количества слоев схемы до $N_{\text{L}}=8$⟧.

Среднеквадратичная ошибка показателя Ляпунова (обозначенного как $L_{\text{LE}}$) ведет себя иначе, чем ошибка $L$. $L_{\text{LE}}$ вычисляется так же, как $L$, с использованием определения среднеквадратичной ошибки [Eq. (3)]. Для LSTM $L_{\text{LE}}$ колеблется примерно в диапазоне $0.005<L_{\text{LE}}<0.025$. Увеличение $d_{\text{h}}$ для LSTM не позволяет повысить точность воспроизведения показателя Ляпунова. Для ADQC, хотя мы не наблюдаем явного снижения $L_{\text{LE}}$ при увеличении $N_{\text{L}}$, $L_{\text{LE}}$ изменяется гораздо более плавно, примерно в диапазоне ($0.002<L_{\text{LE}}<0.005$), что значительно ниже, чем у LSTM. Заметим, что все данные на рис. 4 вычислены с использованием тестового набора..

Наши результаты показывают, что ключом к повышению точности прогнозирования долгосрочных динамических характеристик является разработка моделей ML, которые лучше справляются с переобучением. Это отличается от задач ML, таких как классификация и краткосрочное прогнозирование, где точность обычно можно повысить за счет увеличения сложности модели. Наша работа демонстрирует превосходную способность вариационных квантовых схем смягчать переобучение, что согласуется с предыдущими исследованиями по другим, но релевантным темам, таким как генерация изображений Han et al. 2018; Cheng et al. 2019 и сжатие моделей Gao et al. 2020; Qing et al. 2023. Для сравнения, LSTM страдает от серьезной проблемы переобучения, хотя эта модель широко признана мощной, обладающей замечательной способностью к обобщению и незначительной проблемой переобучения при решении многих других задач ML..

Аннотация.— В данной работе раскрывается способность моделей машинного обучения (ML), обученных прогнозировать состояние на один шаг вперед на основе определенных исторических данных, воспроизводить долгосрочные характеристики дискретных динамических систем. В сравнении с предыдущими работами, характеристики при различных значениях гиперпараметров универсально воспроизводятся единой моделью ML. Наши результаты указывают на высокую чувствительность к проблеме переобучения при воспроизведении долгосрочных динамических характеристик. На примере одномерных и двумерных логистических отображений показано, что вариационные квантовые схемы демонстрируют превосходную эффективность при воспроизведении бифуркационной диаграммы и показателей Ляпунова. Наши выводы дополняют потенциальные преимущества моделей квантовых схем в достижении высокой точности и стабильности для задач ML, чувствительных к переобучению..

Благодарности. SCB выражает признательность Qing lv, Peng-Fei Zhou, Yong Qing, Zhang-Xu Chen, Guo-Dong Cheng, Ke Li, Rui Hong, Ying Lu, Yi-Cheng Tang и Yu-Jia An за полезные дискуссии. Данная работа была частично поддержана NSFC (грант № 12004266), Пекинским фондом естественных наук (грант № 1232025), Тяньцзиньским фондом естественных наук Китая (грант № 20JCYBJC00500) и Академией междисциплинарных исследований Столичного педагогического университета..

Appendix A Детали набора данных и предварительной обработки

В качестве примера мы рассматриваем одномерное (1D) логистическое отображение $f(x_{t};\mu)=\mu x_{t}(1-x_{t})$. Мы берем гиперпараметр $\mu$, варьирующийся от $2$ до $4$, и дискретизируем его до $50$ значений с интервалом $0.04$. Для каждого значения $\mu$ мы случайным образом генерируем 3000 обучающих выборок и 500 тестовых выборок. Каждая выборка (скажем, $\boldsymbol{x}^{[n]}$) генерируется путем реализации динамического отображения $f$ для случайно взятого начального состояния (скажем, $x^{[n]}_{1}$) в течение $(M-1)$ раз. Таким образом, выборка $\boldsymbol{x}^{[n]}=(x^{[n]}_{1},\cdots,x^{[n]}_{M})$ содержит $M$ признаков с $x^{[n]}_{t}=f^{t-1}(x^{[n]}_{1})$, где $f^{t-1}$ означает реализацию $f$ в течение $(t-1)$ раз.

Модель ML обучается прогнозировать значение $x^{[n]}_{M+1}=f(x^{(n)}_{M};\mu)$ из этой выборки. Истинное значение $x^{[n]}_{M+1}$ (сгенерированное самой динамической системой) называется меткой $n$-го образца. Для различных независимых симуляций мы случайным образом берем $2000$ обучающих выборок из обучающего набора для каждого значения $\mu$, чтобы обучить модели ML. Если не указано иное, мы берем $M=8$, и все данные, такие как бифуркационная диаграмма и показатели Ляпунова в основном тексте, вычисляются с использованием тестового набора..

Вводится предварительная обработка с настройкой $\mu$ для отображения каждого образца в набор векторов. В частности, $t$-й признак $n$-го образца $x^{[n]}_{t}$ отображается в вектор $\boldsymbol{v}^{[n,t]}$ как $x^{[n]}_{t}\to\boldsymbol{v}^{[n,t]}=(v^{[n,t]}_{1},v^{[n,t]}_{2},\cdots,v^{[n,t]}_{d})$, где размерность $d=\dim(\boldsymbol{v}^{[n,t]})$ является предустановленным гиперпараметром. В результате образец отображается в $M$ векторов.

Мы определяем отображение предварительной обработки как зависящее от $\mu$ и некоторых вариационных параметров, которые будут оптимизированы на этапе обучения. Здесь отображение предварительной обработки [см. также Ур. (4) основного текста] определяется как

$$v^{[n,t]}_{k}=\sum_{i,j}\xi_{i}(x^{[n]}_{t};\theta)\xi_{j}(\mu^{[n]};\theta)T_{ijk}.$$ (11)

$(d\times d\times d)$-мерный тензор $\boldsymbol{T}$ и скаляр $\theta$ являются вариационными параметрами, которые оптимизируются на этапе обучения. Векторы $\boldsymbol{\xi}(x^{[n]}_{t};\theta)$ и $\boldsymbol{\xi}(\mu^{[n]};\theta)$, каждый из которых является $d$-мерным, получаются с помощью следующего отображения, преобразующего скаляр в нормализованный вектор [также см. Eq. (5) основного текста]. Для заданного скаляра (скажем, $a$), $j$-й элемент результирующего вектора $\boldsymbol{\xi}(a;\theta)$ удовлетворяет

$$\xi_{j}(a;\theta)=\sqrt{\binom{d-1}{j-1}}\cos\left(\frac{\theta\pi}{2}a\right)^{d-j}\sin\left(\frac{\theta\pi}{2}a\right)^{j-1}.$$ (12)

Поскольку мы обучаем модель машинного обучения с различными значениями $\mu$, следует принять ${\mu}^{[n]}$ за соответствующее значение $\mu$ для $n$-го образца.

Для двумерного логистического отображения мы принимаем гиперпараметр $\mu$ как дискретные значения от $0.51$ до $0.9$ с интервалом $0.01$. Для каждого значения $\mu$ мы случайным образом генерируем 3000 обучающих выборок и 500 тестовых выборок. Поскольку оно содержит две переменные ($x_{t}$ и $x^{\prime}_{t}$), мы определяем $n$-й образец как $(x^{[n]}_{1},x^{\prime[n]}_{1},\cdots,x^{[n]}_{M},x^{\prime[n]}_{M})$ и принимаем $M=4$ в наших симуляциях. Предварительная обработка отображения применяется аналогичным образом для преобразования признаков в образце в векторы $2M$.

Appendix B Автоматически дифференцируемая квантовая схема для прогнозирования временных рядов

Входные данные квантовой схемы с автоматическим дифференцированием (ADQC) Zhou et al. 2021 обычно представляют собой квантовое состояние из $M$ кубитов. С помощью описанной выше предварительной обработки выборка отображается в набор векторов, а именно из $(x^{[n]}_{1},\cdots,x^{[n]}_{M})$ в $(\boldsymbol{v}^{[n,1]},\cdots,\boldsymbol{v}^{[n,M]})$. Эти векторы затем отображаются в произведение состояний как

$$\boldsymbol{\psi}^{[n]}=\prod_{\otimes t=1}^{M}\boldsymbol{v}^{[n,t]}.$$ (13)

Другими словами, элементы $\boldsymbol{\psi}^{[n]}$ удовлетворяют $\psi^{[n]}_{s_{1},\cdots,s_{M}}=\prod_{t=1}^{M}v^{[n,t]}_{s_{t}}$⟧.

ADQC представляет собой унитарное преобразование (обозначаемое как $\hat{U}$), которое отображает входное состояние в конечное состояние, обычно являющееся запутанным. Формально мы имеем $\boldsymbol{\Psi}^{[n]}=\hat{U}\boldsymbol{\psi}^{[n]}$ для состояния, соответствующего выборке $\boldsymbol{x}^{[n]}$, где $\hat{U}$ можно рассматривать как $(d^{M}\times d^{M})$-мерную унитарную матрицу. Для вариационной квантовой схемы, включающей ADQC, $\hat{U}$ записывается как произведение нескольких локальных гейтов. Как показано на нижней левой панели рис. 1 основного текста, мы выбираем гейты, являющиеся двухчастичными, которые представляют собой $(d^{2}\times d^{2})$-мерные унитарные матрицы (обозначаемые как $\{\hat{G}^{[g]}\}$ для $g=1,\cdots,N_{\text{G}}$, где $N_{\text{G}}$ — общее количество гейтов).

Для одномерного логистического отображения прогноз от ADQC задается измерением конечного состояния $\boldsymbol{\Psi}^{[n]}$, удовлетворяющим

$$\tilde{y}^{[n]}=|\Psi^{[n]}_{s_{1},\cdots,s_{M-1},0}|^{2}.$$ (14)

В квантовом языке $\tilde{y}^{[n]}$ — это вероятность проецирования последнего кубита в состояние спин-вверх. Для одномерного логистического отображения предсказания двух переменных определяются как

$$\tilde{y}^{[n]} = |\Psi^{[n]}_{s_{1},\cdots,s_{M-2},s_{M-1},0}|^{2},$$ (15)

$$\tilde{y}^{[n]} = |\Psi^{[n]}_{s_{1},\cdots,s_{M-2},0,s_{M}}|^{2}.$$ (16)

Это вероятности проецирования предпоследнего и последнего кубитов на состояние спин-вверх соответственно.

Для ADQC каждый унитарный вентиль параметризуется $(d^{2}\times d^{2})$-мерной матрицей, называемой латентными вентилями (обозначаются как $\{\boldsymbol{G}^{[g]}\}$). Иными словами, латентные вентили являются вариационными параметрами ADQC. Чтобы удовлетворить условию унитарности $\{\boldsymbol{G}^{[g]}\}$, латентные вентили отображаются в унитарные вентили посредством сингулярного разложения (SVD) как

$$\boldsymbol{G}^{[g]}\overset{\text{SVD}}{\to}\boldsymbol{U}^{[g]}\Lambda^{[g]}\boldsymbol{V}^{[g]\dagger},$$ (17)

$$\boldsymbol{U}^{[g]}\boldsymbol{V}^{[g]\dagger}\to\hat{G}^{[g]}.$$ (18)

Основное преимущество ADQC заключается в том, что любой унитарный вентиль может быть параметризован одинаковым образом с помощью матрицы (латентного вентиля) тех же размерностей. Следовательно, нам нужно лишь задать структуру схемы, такую как размерности вентилей (например, количество спинов, на которые воздействует один вентиль, и количество уровней для каждого спина) и способы их соединения друг с другом. Для других моделей вариационных квантовых схем необходимо дополнительно указывать типы вентилей (такие как вентили вращения и фазового сдвига). Различные типы вентилей параметризуются разными способами Gill et al. 2022.

Скрытые вентили (и все остальные вариационные параметры) обновляются методом градиентного спуска на этапах обучения, как $\boldsymbol{G}^{[g]}\to\boldsymbol{G}^{[g]}-\eta\frac{\partial L}{\partial\boldsymbol{G}^{[g]}}$ с $\eta$ в качестве скорости обучения. Мы выбираем $L$ в качестве среднеквадратичной ошибки (см. Eq. (3) основного текста). Поскольку отображение из скрытых вентилей в унитарные вентили является дифференцируемым, можно использовать стандартную технику обратного распространения ошибки в ML для получения градиентов..

Appendix C Показатель Ляпунова

Показатель Ляпунова Parker and Chua 2012; Moon 2008 является важной мерой для описания хаотической природы динамической системы. Он отражает скорость экспоненциального роста малых возмущений в системе, количественно определяя чувствительность к начальным условиям и усиление неопределенностей..

Рассмотрим дискретную динамическую систему с одной переменной $x_{t+1}=f(x_{t})$ (такую как одномерное логистическое отображение). Можно предположить экспоненциальную форму для разности между состояниями с возмущением $\varepsilon$ начального состояния и без него, где имеет место

$$\varepsilon e^{T\lambda(x_{0})}=|f^{T}(x_{0}+\varepsilon)-f^{T}(x_{0})|,$$ (19)

где $f^{T}$ означает рекурсивное применение отображения $f$ $T$ раз. Показатель Ляпунова определяется как экспоненциальный индекс $\lambda$ в пределе $\varepsilon\rightarrow 0$ и $T\to\infty$. В практических симуляциях показатель Ляпунова может быть вычислен как

$$\lambda=\frac{1}{T}\sum_{t=1}^{T}\ln\left|\frac{df(x;\mu)}{dx}\right|_{x=x_{t}},$$ (20)

путем выбора достаточно большого $T$. В данной работе мы берем $T=264$.

Для двумерного случая мы применяем метод QR-разложения Geist et al. 1990; McDonald and Higham 2001 для вычисления показателей Ляпунова. Рассмотрим отображение с двумя переменными $(x_{t},x^{\prime}_{t})$. Отображение $\boldsymbol{f}$ (которое имеет две компоненты) может быть в общем виде записано как $x_{t+1}=f_{1}(x_{t},x^{\prime}_{t})$ и $x^{\prime}_{t+1}=f_{2}(x_{t},x^{\prime}_{t})$. Матрица Якоби в дискретный момент времени $t$ определяется как

$$\boldsymbol{J}^{(t)}=\left(\begin{array}[]{cc}\scalebox{1}{$\dfrac{\partial f_{1}(x,x^{\prime})}{\partial x}$}&\scalebox{1}{$\dfrac{\partial f_{1}(x,x^{\prime})}{\partial x^{\prime}}$}\\ \scalebox{1}{$\dfrac{\partial f_{2}(x,x^{\prime})}{\partial x}$}&\scalebox{1}{$\dfrac{\partial f_{2}(x,x^{\prime})}{\partial x^{\prime}}$}\end{array}\right)_{x=x_{t},x^{\prime}=x^{\prime}_{t}}.$$

Два показателя Ляпунова могут быть вычислены как

$$\lambda_{k}=\frac{1}{T}\sum_{t=1}^{T}\ln\left|R^{(t)}_{k,k}\right|,$$ (24)

с $k=1$ или $2$, и матрицей $(2\times 2)$ $\boldsymbol{R}^{(t)}$, полученной путем выполнения QR-разложения $\boldsymbol{J}^{(t)}\to\boldsymbol{Q}^{(t)}\boldsymbol{R}^{(t)}$. Мы по-прежнему берем $T=264$ в наших симуляциях, что является достаточно большим значением.

Appendix D Пиковые отношения сигнала к шуму

Пиковое отношение сигнала к шуму (PSNR) $r_{\text{P}}$ Kotevski and Mitrevski 2010 представляет собой меру сходства между двумя изображениями (двумерными данными), которая применяется для оценки качества при шумоподавлении и сжатии. Рассматривая два изображения $\boldsymbol{I}$ и $\boldsymbol{I}^{\prime}$, $r_{\text{P}}$ с единицей измерения в децибелах (дБ) определяется как

$$r_{\text{P}}=10\times\lg\left(\frac{{255}^{2}}{\frac{1}{WL}\sum_{w=1}^{W}\sum_{l=1}^{L}(I_{wl}-{I^{\prime}}_{wl})^{2}}\right),$$ (25)

где $W$ и $L$ — ширина и длина изображений, а 255 — максимальное значение пикселя. В данной статье $r_{\text{P}}$ вычисляется с использованием полутоновых изображений, считанных как 8-битные данные. Рассматривая сжатие изображений в качестве примера, значение PSNR около $r_{\text{P}}\simeq 40$ дБ или выше обычно указывает на качественное сжатие Kotevski and Mitrevski 2010. Чем больше $r_{\text{P}}$, тем ближе два изображения друг к другу.

В данной работе каждая точка данных на бифуркационной диаграмме [см. рис. 2(a) основного текста] получена путем итерации отображения (логистического отображения или отображений моделей ML) более 200 раз (что является достаточно большим числом), начиная со случайного состояния. Мы берем 500 случайных состояний для каждого значения $\mu$, которые отличаются от состояний в обучающих выборках. Плотность точек данных обозначена интенсивностью цвета. PSNR используется для характеристики сходства между двумя бифуркационными диаграммами..

Appendix E Дополнительные результаты и гиперпараметры

Таблица A1 показывает RMSE для LE $L_{\text{LE}}$, полученные с помощью LSTM и ADQC на одномерных и двумерных логистических отображениях. Можно сделать три наблюдения:

1. ⟦ $L_{\text{LE}}$ можно значительно уменьшить как для LSTM, так и для ADQC путем внедрения предварительно настроенного $\mu$ отображения предобработки;
2. ⟦ Аналогичный $L_{\text{LE}}$ результат достигается на обучающей и тестовой выборках, что указывает на достаточную способность к обобщению при работе с неизученными данными;
3. ⟦ Благодаря предварительной обработке, настроенной с помощью $\mu$, ADQC достигает гораздо более низкого $L_{\text{LE}}$, чем LSTM, что подразумевает, что ADQC лучше справляется с проблемой переобучения, чем LSTM. Это также согласуется с результатами, представленными в основном тексте (рис. 4).

⟦Table A1: Среднеквадратичная ошибка показателя Ляпунова ($L_{\text{LE}}$) для одномерных и двумерных логистических отображений, полученная с помощью LSTM, ADQC, а также моделей с предварительной обработкой, настроенной с помощью $\mu$ [обозначены как LSTM ($\mu$) и ADQC ($\mu$)]. Каждое значение $L_{\text{LE}}$ получено путем усреднения пяти независимых симуляций. Также представлены стандартные отклонения (std)..

$L_{\text{LE}}$		LSTM	LSTM ($\mu$)	ADQC	ADQC ($\mu$)
1D	Training	0.8278	0.4845	1.1486	0.2688
	std	0.3193	0.1280	0.0471	0.0510
	Testing	0.8273	0.4837	1.1486	0.2686
	std	0.3190	0.1281	0.0471	0.0512
2D	Training	0.8050	0.2333	1.2195	0.1588
	std	0.2320	0.0610	0.1389	0.0584
	Testing	0.8048	0.2332	1.2189	0.1582
	std	0.2317	0.0606	0.1388	0.0583

Если не указано иное, настройки гиперпараметров LSTM и ADQC, используемые в данной работе, приведены в Таблице A2.

⟦Table A2: Гиперпараметры ADQC и LSTM для одномерных и двумерных логистических отображений. Для LSTM $d_{\text{in}}$ и $d_{\text{out}}$ представляют собой размерности входных и выходных данных соответственно, $L_{\text{SQ}}$ представляет длину последовательности, $N_{\text{L}}$ представляет количество слоев, а $D_{\text{h}}$ представляет глубину. Для ADQC гиперпараметры выбраны аналогичным образом с использованием или без использования предварительной обработки, настроенной с помощью $\mu$..

1D	LSTM	$d_{\text{in}}=1,\ \ d_{\text{out}}=1,\ \ L_{\text{SQ}}=8,\ \ N_{\text{L}}=1,\ \ D_{\text{h}}=8$
	LSTM ($\mu$)	$d_{\text{in}}=3,\ \ d_{\text{out}}=1,\ \ L_{\text{SQ}}=8,\ \ N_{\text{L}}=1,\ \ D_{\text{h}}=8$
	ADQC	$d=3,\ \ M=8,\ \ N_{\text{L}}=4$
2D	LSTM	$d_{\text{in}}=2,\ \ d_{\text{out}}=2,\ \ L_{\text{SQ}}=4,\ \ N_{\text{L}}=1,\ \ D_{\text{h}}=8$
	LSTM ($\mu$)	$d_{\text{in}}=3,\ \ d_{\text{out}}=2,\ \ L_{\text{SQ}}=8,\ \ N_{\text{L}}=1,\ \ D_{\text{h}}=8$
	ADQC	$d=3,\ \ M=8,\ \ N_{\text{L}}=4$