Наука - практике

ОИЯИ развивает платформу
для распознавания болезней растений

Сотрудники Лаборатории информационных технологий имени М.Г.Мещерякова разработали новую онлайн-платформу pdd.jinr.ru.

Для решения задачи были использованы свёрточные нейронные сети, повсеместно применяемые для классификации изображений. Нейросетевая архитектура платформы способна с точностью более 95% распознавать различные болезни и вредителей. На начало 2023 года количество классов общей модели pdd.jinr.ru было увеличено до 60 и появилась пара новых специализированных моделей для таких популярных домашних растений, как драцена и спатифиллум. Рассказывает соавтор исследования ведущий программист ЛИТ ОИЯИ Александр УЖИНСКИЙ.

По оценкам Продовольственной и сельскохозяйственной организации ООН, до трети урожая в мире ежегодно погибает от вредителей и болезней, поэтому автоматизацией распознавания недугов растений сейчас занимаются во всем мире. В 2017 году группа научных сотрудников ЛИТ выиграла грант Российского фонда фундаментальных исследований (РФФИ) на разработку комплексной системы диагностирования болезней растений по изображениям и текстовому описанию.

Разработана платформа, которая продолжает развиваться до сих пор и имеет несколько точек входа пользователей. В ней реализована коллекция моделей: обрабатывая запрос, алгоритм вначале использует общую модель по болезням и вредителям. Затем нейросеть определяет вид растения. При условии что для данной культуры имеется своя модель, пользователь получит, кроме общего, еще и частный прогноз. При выдаче результата показываются три наиболее близких класса к загруженному изображению. В большинстве случаев все это позволяет правильно определить болезнь и получить рекомендации по ее лечению.

Примеры интерфейсов приложения DoctorP

Сейчас в pdd.jinr.ru есть модели для 19 сельскохозяйственных и декоративных культур: барбариса, винограда, вишни, голубики, клубники, кукурузы, огурцов, перца, пшеницы, смородины, томатов, хлопка, яблок, орхидей, роз и т.д. Общая модель для всех видов растений распознает 55 различных болезней и вредителей. В базе собрано свыше 4000 изображений; получено более 40000 запросов от пользователей. Использовать интерфейс платформы могут все - от специалистов агрохолдингов до начинающих садоводов, для которых немаловажной будет такая особенность программы, как рекомендации по лечению растений, верифицированные профессиональными агрономами.

Пользователи должны иметь разные инструменты взаимодействия с платформой. Задачи распознавания могут быть запущены через веб-портал, но основной точкой входа пользователей стало мобильное приложение DoctorP для операционной системы Android. С момента запуска приложения им воспользовались более 10000 человек. Сейчас разрабатывается приложение и для ОС iOS.

При классификации изображений зачастую используют хорошо зарекомендовавшую себя свёрточную нейронную сеть, предварительно обученную на большом количестве изображений. Ее последний слой, отвечающий за классификацию, заменяют на новый с последующим дообучением на фотографиях из предметной области - такой подход называется "переносом обучения" (transfer learning). Как правило, для использования метода требуются сотни изображений. Здесь исследователи столкнулись с самой большой трудностью - набрать достаточное количество фотографий растений для обучения нейросети. В имевшихся на тот момент открытых базах содержались синтетические изображения, сильно отличающиеся от встречаемых в реальной жизни: каждый листок отрезан, расправлен, находился на статичном фоне и одинаково освещен. Эти изображения удобно использовать для научных целей, и мы получили хороший результат - 99% распознавания, но затем на фотографии, сделанной пользователями в реальной жизни, модель в 50% случаев ошибалась. Перед нами встала задача самим собирать базу изображений. Необходимо было набрать как можно больше снимков растений в полевых условиях: при разном освещении, положении, различном масштабе съемки и пр. Обычно для достижения положительных результатов требуются сотни, а лучше - тысячи изображений для каждого определяемого класса.

В открытых источниках: в онлайн-сообществах, на форумах - на каждый класс болезней имелось лишь от 20 до 50 изображений, и разработчикам пришлось применять особые методы, чтобы в условиях малой обучающей выборки всё равно получить хороший результат. Чтобы решить проблему, была использована сиамская (двойная) нейронная сеть, которая хотя и не применялась до этого для классификации болезней растений, однако хорошо различала лица. В данной технологии используются одинаковые сети, на вход которых подаются пары изображений одинакового или разных классов, и в результате обучения сеть должна научиться хорошо разносить многомерные вектора изображений различных классов в пространстве свойств. В итоге при определении болезней растений удалось добиться точности в 98%.

Платформа была дважды оптимизирована из-за ухудшения точности результатов при увеличении числа классов изображений в базе. В первый раз, чтобы улучшить показатели прогнозов, была использована трехчленная функция минимизации потерь - в этом подходе используются три нейросети, на вход которых подаются два изображения одного класса и одно изображение другого. Процесс обучения направлен на то, чтобы в многомерном пространстве векторы-представления изображений одного класса стали ближе, а разных классов - максимально удалились друг от друга.

Следующим шагом по оптимизации архитектуры и процесса обучения стало использование алгоритмов поиска оптимальных настроек аугментации (AutoAugment) - искусственного изменения изображений, на которых обучается нейросеть, если этих изображений мало (меняются, например, угол наклона объекта, яркость, часть объекта отрезается, и т.п.). Кроме того, базовой нейронной сетью в платформе стала сеть, специально обученная на множестве изображений растений. В результате даже при числе классов более 50 в системе поддерживается точность моделей свыше 95%.

Авторы разработали программный интерфейс, который предоставляет стороннему пользователю возможность применять ресурсы платформы, например в своем мобильном приложении. Так, компания "Гарден ритейл Сервис" (ранее "Фаско") встроила в свое мобильное приложение HoGa возможность определять болезни. В рамках совместного проекта с НЦМУ "Агротехнологии будущего" на базе Тимирязевской академии нейросетевые модели pdd.jinr.ru использовались для отслеживания влияния освещения на развитие растений, что позволяло подбирать оптимальные схемы выращивания сельскохозяйственных культур.

Платформа продолжает развиваться. База данных пополняется снимками пользователей и тем самым улучшает точность моделей. Летом в платформу в основном попадают изображения сельскохозяйственных культур: огурцов, помидоров, клубники и других, зимой - по большей части фотографии комнатных растений. В перспективе в платформу будут добавлены возможности обработки видеопотока, модели для определения нехватки основных элементов (азот, фосфор, кальций, железо и т.д.), а также средства формирования рекомендаций по выращиванию и отслеживанию развития наиболее востребованных сельскохозяйственных культур.

Об авторах. Разработкой платформы занимались ученые ЛИТ: главный научный сотрудник Геннадий Ососков, стажер-исследователь Павел Гончаров, ведущие программисты Александр Ужинский и Андрей Нечаевский, а также магистр - специалист по машинному обучению Артем Сметанин. Статья Александра Ужинского о создании платформы для распознавания болезней растений вышла в журнале "Открытые системы. СУБД" №3 за 2022 год.

Материал подготовил Евгений МОЛЧАНОВ