Оценка качества воды посредством многомерного анализа на основе машинного обучения

Аннотация

Качество воды имеет ключевое значение для качества агропродовольственного сектора. Вода используется в сельском хозяйстве для фертигации, животноводства и в агропродовольственной перерабатывающей промышленности. В контексте прогрессирующей цифровизации этого сектора автоматическая оценка качества воды становится важным ресурсом.

В данной работе мы представляем интеграцию ультрафиолетовой и видимой (UV-Vis) спектроскопии с машинным обучением в контексте оценки качества воды с целью обеспечения безопасности воды и соблюдения нормативов водопользования. Кроме того, мы подчеркиваем важность интерпретируемости моделей, используя метод SHapley Additive exPlanations (SHAP) для понимания вклада поглощения на различных длинах волн в прогнозы. Наш подход демонстрирует потенциал для быстрой, точной и интерпретируемой оценки ключевых параметров качества воды.

1 Введение

Качество воды является критически важным фактором в агропродовольственном секторе, влияя на все аспекты — от орошения сельскохозяйственных культур до управления животноводством и пищевой промышленности. События загрязнения воды могут привести к гибели урожая, деградации почвы, повреждению водных экосистем и потере биоразнообразия. Быстрое обнаружение таких событий позволяет смягчить их последствия и уменьшить потенциальный ущерб. Поскольку агропродовольственный сектор проходит через цифровую трансформацию, потребность в точном и эффективном мониторинге качества воды становится фундаментальной. Традиционные методы оценки качества воды, несмотря на их точность, часто требуют много времени и труда, связаны с высокими затратами на реагенты и требуют значительных ручных усилий Maj-Zurawska et al. (1989); Motellier et al. (2000); Thienpont et al. (1996). Более того, поскольку лабораторный анализ проб проводится вне лабораторных условий, результаты обычно отражают лишь малую часть общего объема водоснабжения и часто становятся доступными только после того, как вода уже была использована. Ограничения традиционных методов анализа воды подчеркивают необходимость разработки надежных, более дешевых, автономных и эффективных методов оценки качества воды в режиме реального времени..

Мягкие измерения (soft sensing) представляют собой комбинацию косвенных измерений и передовых вычислительных методов для оценки переменных процесса, которые в противном случае трудно измерить напрямую. В различных промышленных и экологических приложениях мягкие измерения объединяют данные из косвенных источников для обеспечения точной оценки этих переменных в реальном времени. Этот подход использует широкий спектр источников данных и аналитических методов, предлагая экономичное и масштабируемое решение для мониторинга сложных систем. Спектроскопия является одним из таких методов, который можно интегрировать в мягкие измерения. Он измеряет взаимодействие между веществом и электромагнитным излучением, обеспечивая быстрый и неразрушающий способ анализа образцов. Ультрафиолетовая и видимая (UV-Vis) спектроскопия приобрела важное значение в экологическом мониторинге благодаря своей способности создавать химический отпечаток образцов. Этот метод фиксирует большой объем информации из спектральных характеристик водных проб. В частности, корреляция между поглощением света на определенной длине волны и концентрацией определенного вещества в растворе определяется законом Бугера — Ламберта — Бера Swinehart (1962).

Machine Learning (ML) расширяет возможности спектроскопии в контексте soft sensing. Алгоритмы ML анализируют спектральные данные для выявления сложных закономерностей и взаимосвязей внутри данных. Интегрируя ML со спектроскопией, мы можем разрабатывать надежные модели, способные одновременно прогнозировать несколько параметров качества воды, тем самым повышая скорость оценок Asheri-Arnon et al. (2018); Asheri Arnon et al. (2019). Этот подход не только снижает потребность в дорогостоящих и трудоемких лабораторных тестах, но также обеспечивает мониторинг и принятие решений в реальном времени..

Цель данного исследования — решить эти задачи путем интеграции УФ-Вид спектроскопии с методами ML для разработки автоматизированного, надежного soft sensor для оценки ключевых параметров качества воды, таких как общий органический углерод (Total Organic Carbon, TOC), кальций, натрий, магний, электропроводность и хлориды. Наш подход включает в себя получение спектральных данных водных проб и обучение модели MLP для создания soft sensor, способного соотносить эти спектральные паттерны с параметрами качества воды. Инновационное применение ИИ в данном контексте не только повышает скорость и точность оценки качества воды, но и открывает новые возможности для его применения в устойчивом сельском хозяйстве и environmental monitoring.

Данное исследование представляет несколько новых вкладов по сравнению с существующими работами в литературе:

• Интеграция данных из реальных условий. В то время как многие исследования опираются на синтетические или строго контролируемые наборы данных, в данном исследовании используются данные из реальных условий водопроводной сети Тосканы.
• ⟦ Прямая оценка показателей качества воды: в литературе отсутствуют другие работы, в которых обнаруживались бы корреляции между УФ-Видимой спектроскопией и такими химическими параметрами, как кальций, натрий, магний, проводимость и хлориды.
• ⟦ Многоцелевая регрессия с использованием MLP. В отличие от предыдущих исследований, которые часто сосредоточены на прогнозировании одной целевой переменной или требуют обширной инженерии признаков, данное исследование использует MLP для многоцелевой регрессии, что позволяет одновременно прогнозировать несколько показателей качества воды.
• ⟦ Комплексные метрики оценки. В исследовании используется комбинация среднеквадратичной ошибки (RMSE), коэффициента детерминации (R2) и средней абсолютной процентной ошибки (MAPE) для оценки производительности модели. Такая оценка позволяет понять как абсолютную, так и относительную точность прогнозирования..
• ⟦ Акцент на интерпретируемости моделей. Используя SHAP значения, данное исследование предоставляет четкое понимание вклада различных спектральных признаков в предсказания модели. Это открывает практические возможности для оптимизации процессов спектрального анализа и повышения надежности модели.

Используя сильные стороны спектроскопии, ML и мягких измерений, данное исследование направлено на развитие области мониторинга качества воды, предоставляя практичное и эффективное решение для агропродовольственного сектора. Этот комплексный подход повышает эффективность и снижает затраты при оценке качества воды, в конечном итоге способствуя внедрению более безопасных и устойчивых методов ведения сельского хозяйства..

2 Связанные работы

Оценка качества воды привлекает значительное внимание из-за своей ключевой роли в различных секторах, особенно в сельском хозяйстве и пищевой промышленности Shoushtarian and Negahban-Azar (2020). Традиционные подходы основаны на лабораторных методах, которые включают сбор проб воды и их анализ с использованием различных химических и физических методов Maj-Zurawska et al. (1989); Motellier et al. (2000); Thienpont et al. (1996). Такие методы, как титрование, колориметрия и гравиметрический анализ, обычно использовались для измерения таких параметров, как TOC, хлориды, pH, натрий, магний, растворенный кислород и концентрации питательных веществ Maj-Zurawska et al. (1989); Motellier et al. (2000); Thienpont et al. (1996). Эти традиционные методы, хотя и точны, часто требуют много времени, трудоемки и затратны из-за необходимости использования реагентов и специализированного оборудования.

Исследователи поэтому изучили различные методологии для удовлетворения потребности в непрерывном мониторинге и точной оценке параметров воды. В частности, внедрение спектроскопических методов знаменует собой значительный прогресс в анализе качества воды. Спектроскопия — это метод, используемый для анализа взаимодействия между поглощением света и веществом. УФ-видимая спектроскопия, в частности, приобретает важное значение благодаря своей способности обеспечивать быстрый и неразрушающий анализ пробы воды Thomas et al. (2017), а также позволяет осуществлять анализ качества воды путем фиксации детальных спектральных характеристик проб воды.

Использование УФ-Вид спектроскопии в сочетании с ML алгоритмами представляет собой перспективный подход к оценке качества воды, что крайне важно для постоянного обеспечения безопасности питьевой воды и поддержки целей устойчивого развития Alves et al. (2018); Hossain et al. (2020); Kim et al. (2016).

В нескольких исследованиях изучаются различные ML модели и методы спектрального анализа сточных и поверхностных вод, таких как речная вода Cardia et al. (2023); Cardia et al. (2024a); Cardia et al. (2024b); Cardia et al. (2024c); Zhang et al. (2022); Vaquet et al. (2024). XGBoost и Random Forest доказывают свою эффективность в прогнозировании качества питьевой воды Kaddoura (2022); Özsezer and Mermer (2023), в то время как Deep Neural Network демонстрирует более низкие значения ошибок и лучшую производительность при прогнозировании индексов качества воды, таких как электрическая проводимость и pH Raheja et al. (2021). Ислам (Islam) и др. демонстрируют использование спектроскопии отражения в диапазоне UV-Vis-NIR в сочетании с регрессией на главные компоненты (PCR) для одновременной оценки различных свойств почвы, включая кальций, магний Islam et al. (2003). Другие исследования объединяют спектроскопические данные и ML для разработки надежных моделей оценки параметров качества воды Cardia et al. (2024b); Cardia et al. (2024a). Ким (Kim) и др. предлагают оптическую систему на основе UV-Vis спектрофотометрии с множественной линейной регрессией для оценки концентраций TOC Kim et al. (2016). Хоссейн (Hossain) и др. предлагают модель на основе метода опорных векторов для обнаружения дезинфицирующего средства в питьевой воде с использованием UV-Vis спектроскопии и анализа методом главных компонент (PCA) Hossain et al. (2020). Аналогичным образом, Алвес (Alves) и др. использовали UV-Vis спектрофотометрию в сочетании с PCA и MLP для определения индекса качества воды (WQI), определенного Брауном (Brown) и др. Brown et al. (1972) в речных водах Alves et al. (2018). Однако эти модели ограничены узким набором параметров и требуют масштабного инжиниринга признаков. Кроме того, они не обеспечивают прямых оценок таких параметров качества воды, как кальций, натрий, магний, проводимость и хлориды Vaquet et al. (2024).

В отличие от предыдущих исследований, в которых преимущественно используются синтетические или строго контролируемые наборы данных, в данной работе используются реальные данные водопроводной сети, что повышает надежность и применимость нашей модели. За счет использования УФ-Вид спектроскопии в сочетании с MLP для multitarget regression, данный подход позволяет одновременно предсказывать различные химические параметры.Эти обнадеживающие результаты в оценке качества воды демонстрируют практические преимущества развертывания soft sensing техники в реальной среде.

3 Метод

Спектроскопические измерения проводятся с использованием спектрофотометра Zeiss UV-Vis модели CLD 600 MCS 621. Он регистрирует спектры поглощения в диапазоне длин волн от 210 нм до 620 нм с разрешением 2 нм. Спектрометр подключен к кварцевой кювете через оптоволокно. Кварцевые кюветы выбраны из-за их высокой прозрачности в диапазоне UV-Vis, что обеспечивает минимальное влияние на измерения. Этот прибор оснащен оптическим путем длиной $100mm$, что обеспечивает расширенную зону взаимодействия падающего света с образцом и тем самым повышает чувствительность измерений. В систему встроен аттенюатор $1.4mm$ для регулирования интенсивности света, достигающего детектора, что предотвращает насыщение и обеспечивает точность показаний поглощения даже при высоких концентрациях.

Образцы данных собраны в 23 различных точках водопроводной сети Тосканы в течение 14 различных несмежных дней в период с февраля 2024 года по апрель 2024 года. Этот подход выбран для охвата более широкого диапазона экологических условий в зимний и весенний сезоны. Кроме того, непрерывный ежедневный отбор проб непрактичен из-за времени, требуемого для лабораторного анализа собранных образцов. Важно отметить, что эти 23 точки отбора проб расположены в двух городах. Эти места выбраны для представления ключевых точек в этих двух региональных водопроводных сетях, включая как общественные фонтаны, так и водоочистную станцию. Ожидается, что включение этих разнообразных источников воды, представляющих как исходную, так и конечную (очищенную) воду, повысит способность модели к генерализации за счет учета вариаций характеристик воды на различных этапах системы водоснабжения. Общее количество образцов, собранных за этот период, составляет 113. Образцы воды тщательно подготавливаются во избежание загрязнения и помещаются в кварцевую кювету для анализа. Все измерения проводятся при комнатной температуре, причем спектрометр калибруется с использованием деминерализованной воды и воздуха перед каждой серией считываний для обеспечения согласованности. Соответствующий спектр поглощения представляет собой среднее значение трех измерений. На рисунке 1 показан пример спектра поглощения образца, имеющего медианное значение среди спектров поглощения.

⟦Figure 1: Спектр поглощения образца с медианным значением спектров поглощения.

Каждый образец представлен в виде вектора из ⟦BROKEN_K0⟧ вещественных чисел, каждое из которых указывает на поглощение на определенной длине волны. Поскольку количество образцов меньше размера вектора, точки данных являются разреженными. Во избежание проклятия размерности мы применяем метод главных компонент (PCA) для уменьшения размерности..

Для задачи регрессии модель MLP используется для прогнозирования множества показателей качества воды по УФ-Видимым спектрам. Архитектура модели состоит из входного слоя, одного или двух скрытых слоев и выходного слоя. Выбор использования 1–2 скрытых слоев в модели MLP обусловлен как эмпирическими тестами, так и данными литературы по задачам регрессии на основе спектроскопии. Один скрытый слой обеспечивает достаточную степень нелинейности для обучения спектральным паттернам. Мы изучили добавление второго скрытого слоя для оценки улучшения абстракции признаков без существенного увеличения риска переобучения. В скрытых слоях используется функция активации ReLU. Мы выбрали эту функцию активации из-за ее эффективности в фиксации нелинейных взаимосвязей в спектральных данных. Модель обучается с использованием подхода multitarget regression, что позволяет одновременно прогнозировать несколько показателей качества воды. Модель MLP обучается в течение 8000 эпох с методом ранней остановки, процесс обучения включает L2 регуляризацию для предотвращения переобучения.

Мы используем двойную k-кратную перекрестную проверку, включающую 4 внутренних блока для выбора модели и 5 внешних блоков для оценки модели. Мы оцениваем производительность модели с использованием трех метрик: среднеквадратичной ошибки (RMSE), коэффициента детерминации ($R^{2}$) и средней абсолютной процентной ошибки (MAPE). Мы выполняем выбор модели посредством случайного поиска по 128 различным комбинациям гиперпараметров. Для каждого внешнего блока мы выбираем лучшие значения гиперпараметров на основе производительности на проверочном наборе. Таблица 1 перечисляет гиперпараметры вместе с их диапазонами, используемыми для фазы выбора модели. Диапазоны гиперпараметров выбираются на основе предварительных экспериментов и литературных данных по архитектурам MLP в спектроскопическом анализе. Диапазон количества скрытых элементов (350–1300) балансирует между вычислительной эффективностью и выразительностью модели. Этот диапазон также можно найти в литературе по аналогичным спектроскопическим применениям MLP Cardia et al. (2024c); Cardia et al. (2023); Cardia et al. (2024a), где сопоставимые размеры сетей продемонстрировали эффективное извлечение признаков без чрезмерных вычислительных затрат. Кроме того, наши предварительные эксперименты с меньшими и большими сетями показали, что сети с количеством скрытых элементов менее 350 склонны к недообучению данных, в то время как сети, превышающие 1300 элементов, давали уменьшающуюся отдачу в производительности и увеличивали время обучения. Затухание весов (0.001–0.002) оптимизируется для контроля переобучения. Этот диапазон выбран на основе как теоретических соображений L2-регуляризации, так и эмпирических данных из предыдущих исследований, использующих затухание весов в аналогичных архитектурах нейронных сетей для задач регрессии Cardia et al. (2024c); Cardia et al. (2023); Cardia et al. (2024a). Наши первоначальные эксперименты по тестированию более широкого диапазона значений затухания весов, от 0.0001 до 0.01, показали, что значения вне диапазона 0.001-0.002 приводят либо к недостаточной регуляризации (что приводит к переобучению при меньших значениях), либо к чрезмерной регуляризации, которая препятствует обучению модели (при больших значениях)).

⟦Table 1: Гиперпараметры и относительный диапазон, использованные для случайного поиска. Значения гиперпараметра выбираются равномерно из указанных диапазонов.

Hyperparameter	Range
Hidden layers	[1, 2]
Learning rate	[0.0001, 0.001]
Units hidden layer	[350, 1300]
Weight decay	[0.001, 0.002]

Мы проводим эксперименты с использованием scikit-learn версии 1.2.2 и PyTorch v2.0.0 на машине, оснащенной графическим процессором Nvidia Quadro RTX 6000 (24 ГБ видеопамяти)).

4 Результаты

Таблица 2 суммирует результаты, полученные с помощью MLP для прогнозирования каждого показателя качества воды в режиме multitarget с использованием полного вектора из 205 признаков. Для каждой метрики в таблице представлены среднее значение и стандартное отклонение по пяти фолдам двойной k-fold кросс-валидации.

⟦Table 2: Результаты многоцелевой регрессии с использованием MLP.

Indicator	RMSE	R2	MAPE
TOC	10.63 (±4.36)	0.91 (±0.06)	40.77% (±26.18%)
Calcium	12.61 (±3.07)	0.87 (±0.05)	12.87% (±3.05%)
Sodium	6.59 (±1.69)	0.89 (±0.05)	14.26% (±3.16%)
Magnesium	2.17 (±0.65)	0.90 (±0.08)	10.47% (±2.77%)
Conductivity	75.41 (±31.66)	0.88 (±0.10)	7.12% (±1.93%)
Chlorides	3.64 (±1.52)	0.97 (±0.03)	7.39% (±2.64%)

В отличие от этого, при использовании PCA с 15 главными компонентами для каждого параметра качества воды производительность MLP улучшилась, как показано в Таблице 3.

⟦Table 3: Результаты многоцелевой регрессии с использованием MLP и PCA.

Indicator	RMSE	R2	MAPE
TOC	7.39 (±1.93)	0.96 (±0.02)	35% (±17.37%)
Calcium	11.27 (±3.03)	0.89 (±0.05)	11.32% (±2.65%)
Sodium	5.68 (±1.01)	0.92 (±0.02)	14.80% (±1.68%)
Magnesium	1.96 (±0.62)	0.92 (±0.04)	9.71% (±3.58%)
Conductivity	73.51 (±24.37)	0.90 (±0.07)	7.26% (±2.29%)
Chlorides	2.74 (±0.71)	0.99 (±0.01)	6.75% (±0.72%)

Модель MLP в сочетании с PCA для снижения размерности достигает RMSE $7.39(\pm 1.93)$, $R^{2}$ $0.96(\pm 0.02)$ и MAPE $35\%(\pm 17.37\%)$ для общего органического углерода. Эти метрики указывают на то, что, хотя модель демонстрирует хорошие результаты с точки зрения абсолютной ошибки и корреляции, относительная ошибка остается относительно высокой. Это расхождение объясняется широким диапазоном значений общего органического углерода, при котором меньшие фактические значения приводят к более высоким относительным ошибкам, несмотря на низкие абсолютные ошибки. Важно отметить, что MAPE, как метрика, основанная на процентах, может быть чувствительна к масштабу прогнозируемой переменной. Для общего органического углерода, который демонстрирует широкий динамический диапазон, включая низкие значения, MAPE может казаться завышенным, даже когда абсолютные ошибки (в нашем случае RMSE) являются приемлемыми. Несмотря на более высокий MAPE, сильный $R^{2}$ и приемлемый RMSE позволяют предположить, что модель эффективно улавливает основные тенденции общего органического углерода. Дальнейшее уточнение модели, такое как альтернативная разработка признаков или настройка гиперпараметров, потенциально может еще больше снизить MAPE, и это остается предметом для будущей работы. Тем не менее, текущая производительность считается надежной для прогнозирования общего органического углерода в контексте стандартных метрик оценки в экологическом моделировании. Диаграмма рассеяния на рисунке 2 показывает хорошее выравнивание вдоль диагонали, но некоторые отклонения, особенно при более низких значениях общего органического углерода, способствуют более высокому MAPE..

⟦Figure 2: Диаграмма рассеяния прогнозируемых и фактических значений общего органического углерода.

Для кальция модель демонстрирует RMSE $11.27(\pm 3.03)$, $R^{2}$ $0.89(\pm 0.05)$ и MAPE $11.32\%(\pm 2.65\%)$. Эти результаты свидетельствуют о высокой прогнозирующей способности с низкой относительной погрешностью и высокой степенью корреляции между предсказанными и фактическими значениями. Производительность модели является стабильной и надежной во всем диапазоне концентраций кальция, что указывает на эффективное извлечение признаков и обучение модели.

Результаты для натрия показывают RMSE $5.68(\pm 1.01)$, $R^{2}$ $0.92(\pm 0.02)$ и MAPE $14.80\%(\pm 1.68\%)$. Модель демонстрирует хорошую производительность и сильную корреляцию при прогнозировании уровней натрия с относительно низкой относительной погрешностью..

Несмотря на более высокое значение RMSE у $73.51(\pm 24.37)$ для электропроводности, значения $R^{2}$ и MAPE у $0.90(\pm 0.07)$ и $7.26\%(\pm 2.29\%)$ соответственно указывают на сильную прогностическую связь при наличии более крупных абсолютных ошибок. Более высокое значение RMSE в первую очередь обусловлено бо́льшим масштабом значений электропроводности по сравнению с такими параметрами, как кальций и натрий, где небольшие процентные ошибки приводят к значительным абсолютным ошибкам из-за самой величины значений электропроводности. Важно понимать, что RMSE является метрикой абсолютной ошибки и напрямую зависит от масштаба прогнозируемой переменной. В контексте электропроводности, с её изначально бо́льшим числовым диапазоном, ожидается более высокое значение RMSE. Тем не менее, высокие показатели $R^{2}$ и низкие значения MAPE демонстрируют сильную корреляцию и хорошую точность прогнозирования в процентном выражении. Диаграмма рассеяния на рисунке 3 показывает более широкий разброс точек, особенно при более высоких значениях электропроводности..

⟦Figure 3: Диаграмма рассеяния предсказанных и фактических значений электропроводности.

Для хлоридов модель достигает RMSE $2.74(\pm 0.71)$, $R^{2}$ $0.99(\pm 0.01)$ и MAPE $6.75\%(\pm 0.72\%)$, что указывает на оптимальную прогностическую эффективность.

Для лучшего понимания расхождений в производительности проведены дополнительные анализы относительных ошибок и остатков для каждого показателя. Анализ относительной ошибки показывает, что более высокий MAPE для TOC обусловлен меньшими фактическими значениями, при которых небольшие абсолютные ошибки прогнозирования приводят к большим относительным ошибкам. И наоборот, высокий RMSE для электропроводности обусловлен большим масштабом фактических значений, при которых даже незначительные процентные ошибки приводят к значительным абсолютным ошибкам..

Модель MLP демонстрирует высокую эффективность в прогнозировании множественных показателей качества воды с использованием данных UV-Vis спектроскопии. Несмотря на то, что модель показывает хорошие результаты для большинства показателей, требуется дальнейшая доработка для устранения более высокой относительной погрешности для TOC и большей абсолютной погрешности для электропроводности..

4.1 Интерпретируемость модели

Интерпретируемость моделей является важнейшим аспектом ML, особенно в таких областях, как оценка качества воды, где понимание процесса принятия решений моделью имеет существенное значение. Интерпретируемость повышает доверие, позволяет проводить валидацию модели и предоставляет аналитические данные, которые могут быть использованы для дальнейших улучшений..

В данном исследовании мы использовали значения SHapley Additive exPlanations (SHAP) для интерпретации прогнозов, полученных с помощью модели MLP Lundberg and Lee (2017). Значения SHAP обеспечивают унифицированную меру важности признаков путем учета вклада каждого признака в прогноз. Этот метод связывает изменение прогнозируемого значения с наличием каждого признака, тем самым предлагая четкое объяснение поведения модели..

На рисунке 4 представлены значения SHAP для модели MLP, подчеркивающие вклад каждой длины волны в прогнозирование общего органического углерода. Аналогичные результаты были получены при прогнозировании других химических параметров, таких как кальций, натрий, магний, электропроводность и хлориды..

⟦Figure 4: Значения SHAP для модели MLP, показывающие вклад каждой длины волны в прогнозирование TOC.

Из рисунка 4 видно, что длины волн в диапазоне от 210 нм до 270 нм оказывают наиболее существенное влияние на прогнозы TOC. Эти длины волн соответствуют ультрафиолетовой области, где многие органические соединения демонстрируют сильное поглощение. Это указывает на то, что модель эффективно использует спектральные признаки, имеющие значение и для химиков, для получения точных прогнозов. Отрицательные значения SHAP предполагают, что модель научилась тому, что более высокое поглощение на определенных длинах волн указывает на более низкие значения TOC, что возможно из-за присутствия неорганических поглощающих веществ или других специфических для датасет явлений. Путем определения конкретных длин волн, которые в наибольшей вклад вносят в прогнозирование TOC и других химических веществ, можно оптимизировать процесс спектрального анализа. Например, будущие приборы могли бы сосредоточиться на этих критических длинах волн для повышения чувствительности и снижения шума измерения.

5 Заключение

Данное исследование представляет новый и эффективный подход к оценке качества воды путем интеграции УФ-Видимой спектроскопии с методами ML для разработки soft sensing. Используя реальные данные водопроводной сети Тосканы, это исследование демонстрирует практическую применимость использования multitarget regression с моделью MLP для одновременного прогнозирования нескольких показателей качества воды, включая TOC, кальций, натрий, магний, электропроводность и хлориды.

Результаты показывают, что модель MLP в сочетании с PCA для снижения размерности достигает высокой точности прогнозирования, о чем свидетельствуют значения R2 выше $0.88$ для всех показателей качества воды..

Данное исследование подчеркивает потенциал объединения спектроскопии и ML для создания экономически эффективных, масштабируемых решений для мониторинга качества воды в режиме реального времени. Подобные достижения имеют решающее значение для агропродовольственного сектора, где своевременная и точная оценка качества воды позволяет снизить риски загрязнения, повысить продуктивность сельского хозяйства и способствовать внедрению устойчивых методов ведения земледелия. Ценным вкладом данного исследования является анализ интерпретируемости моделей. Используя SHAP values, мы предоставили информацию о вкладе различных спектральных признаков в предсказания модели. Значительное влияние УФ-спектров на прогнозирование параметров качества воды согласуется с устоявшимися химическими представлениями, подтверждая актуальность нашего подхода.

Будущие направления исследований включают расширение работы за счет включения других спектроскопических методов, таких как ближняя инфракрасная область. Эти методы могут предоставить дополнительную информацию к УФ-Вид спектроскопии, потенциально давая сведения о различных показателях качества воды. Расширение набора данных путем сбора более широкого спектра образцов в разные сезоны и периоды улучшит обобщающую способность и устойчивость модели. Будущая работа должна быть направлена на интеграцию данных долгосрочного мониторинга для более точного учета временной изменчивости параметров качества воды. Кроме того, методы transfer learning и domain adaptation могут быть применены для адаптации разработанных моделей к различным наборам данных о качестве воды из разных географических регионов или различных типов водных объектов (например, рек, озер, подземных вод). Проведение исследований по мониторингу изменений качества воды с течением времени позволит дополнительно анализировать временные тренды, предоставляя ценную информацию о влиянии сезонных колебаний, сельскохозяйственной практики и экологической политики на качество воды..

6 Благодарности

Данное исследование было частично проведено в рамках Национального исследовательского центра агротехнологий и получило финансирование от Европейского союза в рамках программы «Next-Generation EU» (НАЦИОНАЛЬНЫЙ ПЛАН ВОССТАНОВЛЕНИЯ И УСТОЙЧИВОСТИ (PNRR) – МИССИЯ 4 КОМПОНЕНТ 2, ИНВЕСТИЦИЯ 1.4 – D.D. 1032 17/06/2022, CN00000022). Данная рукопись отражает только взгляды и мнения авторов, и ни Европейский союз, ни Европейская комиссия не могут нести за них ответственность..