В Институте проблем передачи информации им. А. А. Харкевича Российской академии наук (ИППИ РАН) подвели итоги четырехлетнего междисциплинарного проекта «Система мониторинга сельскохозяйственных показателей в видимом, инфракрасном и гиперспектральном режимах съемки». Междисциплинарный проект выполнялся группой исследователей из лаборатории зрительных систем ИППИ РАН под руководством Дмитрия Николаева, совместно с коллегами из Самарского национального исследовательского университета им. академика С. П. Королева, при поддержке Российского научного фонда. В рамках проекта была проведена масштабная работа по развитию вычислительных методов анализа изображений в применении к задачам точного земледелия.
Съемка гиперспектральной камерой сельскохозяйственных полей Самарской области
Одним из основных инструментов точного земледелия являются методы построения и анализа карт вегетационных индексов на основе мульти- и гиперспектральных изображений, снимаемых традиционно со спутника или самолета. Такие карты похожи на обычные снимки, но в каждом пикселе вместо RGB записано значение индекса, которое содержит в себе определенную информацию о соответствующей точке поверхности, например влажность почвы или плотность растительности. С помощью этих карт можно делать множество полезных вещей: классифицировать сельхозкультуры, составлять кадастровые карты, определять влажность и наличие болезней и применять удобрения и пестициды точечно, не затрагивая здоровые участки.
В этих задачах особенно полезно использовать для обучения исторические данные, т.е. набор снимков, накопленных за определенный период: чем длительнее каждый период и короче интервалы между ними, тем точнее получится результат. Именно на основе исторических данных мы предложили новый метод классификации сельскохозяйственных культур, а также метод выделения границ возделываемых полей (использующийся, в том числе, для кадастровых карт). Было показано, что использование исторических спутниковых снимков позволяет существенно снизить объем обучающих данных, сохраняя качество наравне с передовыми нейросетевыми решениями.
Пример использования исторических данных: по снимкам одной и той же местности за разные даты рассчитывается усредненная карта вегетационного индекса.
Для сбора исторических данных важна регулярность мониторинга. Для климата центральной России характерна плотная облачность, ограничивающая регулярность спутникового мониторинга. При этом облачность не представляет проблем для наземного или околоземного мониторинга с использованием низколетящих беспилотников. Но у беспилотников свои проблемы. Во-первых, по сравнению со спутниками это более дешевые, менее стабильные и менее стандартизованные камеры. Прежде чем применять инструменты анализа (в том числе, расчет индексов), данные с этих камер следует согласовать, т.е. гармонизировать со спутниковым стандартом. На эту тему в рамках проекта было подготовлено несколько публикаций, из которых особо хочется подчеркнуть совместную работу ученых из ИППИ с учеными из Самарского университета. «Наши самарские коллеги разработали гиперспектральную камеру и осуществили полевую съемку. На основе полученных данных мы провели исследование задачи гармонизации данных гиперспектрального и мультиспектрального сенсоров. В результате был разработан метод решения этой задачи, не требующий точного сопоставления этих данных, что должно значительно облегчить его использование», — рассказывает один из исполнителей проекта, младший научный сотрудник ИППИ РАН Дмитрий Сидорчук.
Гармонизируемые данные. Слева приведена RGB визуализация использованных гиперспектральных данных. Справа – RGB визуализация спутникового снимка, охватывающая место гиперспектральной съемки (отмечено белой точкой).
Другая проблема беспилотников — это сложные условия съемки: туманы, дымки, освещение красным закатным солнцем, резкие тени от облаков. Особенностью проведенных сотрудниками ИППИ исследований стал акцент на специальном случае цветной дымки, поэтому результаты могут применяться в системах экологического мониторинга в условиях пожаров и индустриальных загрязнений.
За четыре года работы над проектом группа из ИППИ РАН исследовала и многие другие задачи, рассказ о которых сделал бы статью слишком длинной. Всего было подготовлено более 20 публикаций в российских и зарубежных научных журналах, таких как Компьютерная оптика (Q1), IEEE Access (Q1), Journal of Communications Technology and Electronics, Color Research and Application и др.. Результаты работ были представлены на международных конференциях, в частности на конференции по моделированию и симуляции ECMS 2023 во Флоренции, а также на конференции по машинному зрению ICMV 2023 в Ереване.
«Я доволен двумя вещами в этом проекте. Во-первых, нам удалось осуществить основной научный замысел, а именно развить наш спектральный подход к анализу и обработке RGB изображений в новом направлении, коим является точное земледелие с его спецификой в виде многоканальных снимков и сложных условий съемки. Во-вторых, ценный результат — это укрепление научных контактов с коллегами из Самарского университета», — заявил Дмитрий Сидорчук.
| 06.02.2024 | |