Чтобы понять, как растут леса, как они реагируют на изменение климата и сколько углерода запасают, учёным нужно различать каждое дерево в кроне. Раньше для обучения компьютерного зрения исследователи вручную обводили тысячи деревьев на снимках — работа могла растянуться на недели. Теперь команда из Кембриджского университета предложила выход: создавать виртуальные леса в игровом движке и тренировать на них алгоритмы.
Автором метода стал аспирант кафедры компьютерных наук и технологий Ихан Шэ (Yihang She). Вместе с открытым набором инструментов CAMP3D исследование опубликовано в журнале International Journal of Computer Vision.
Как это работает
Исследователи использовали Unreal Engine и его инструменты процедурной генерации, чтобы построить синтетический альпийский лес. Затем «запускали» виртуальный дрон с лидаром — лазерным сканером, который в реальной жизни создаёт трёхмерную карту местности. Поскольку каждое дерево в симуляторе уже размечено системой, полученное облако точек выходит полностью размеченным. Алгоритму не нужно учиться с нуля на реальных данных.
При переносе модели на настоящие лидарные карты всё же требуется небольшая донастройка. Однако объём ручной разметки сокращается до 2–3% от того, что нужно при традиционном подходе. В сравнительных тестах модель, обученная на синтетике, показала результаты на уровне системы, которую тренировали на полностью размеченном реальном наборе данных.
Откуда пришла идея
Подход во многом заимствован из мира беспилотных автомобилей. Производители автономного транспорта давно используют игровые симуляторы вроде CARLA (тоже построенный на Unreal Engine), чтобы генерировать бесконечные сценарии для обучения. Супервизор Шэ показал ему примеры растительности из CARLA, и идея родилась почти сразу: а почему бы не сделать то же самое для лесов?
К симулятору добавили физически корректный лазерный модуль HELIOS++, который имитирует работу настоящего лидара. Всё это объединили в открытый инструментарий Cambridge Arboreal Modelling Panoptic 3D (CAMP3D), доступный на GitHub.
«В лесной съёмке сбор данных — не самая сложная часть. Настоящая проблема — очистка и разметка этих данных, — объясняет Ихан Шэ. — Без точной сегментации отдельных деревьев невозможна никакая дальнейшая работа».
Почему это важно
Соавтор работы, заслуженный профессор машинного интеллекта Эндрю Блейк (Andrew Blake), один из пионеров компьютерного зрения, отметил: «Ихан проделал прекрасную работу в области симуляции зрения. Это прекрасный современный инструмент для исследований экологии лесов с помощью ИИ, и он должен найти широкое применение».
После успеха с лидаром команда пошла дальше. Заменив лазер на моделирование рассеяния электромагнитных волн, учёные научились «видеть» лес глазами спутника. Это открывает возможность проверять, какие физические представления усвоили геопространственные модели вроде Tessera — фундаментальной модели Кембриджа для спутниковых данных.
Пока метод остаётся исследовательским, но уже сейчас он заметно ускоряет подготовку данных для мониторинга лесов. А значит, учёные смогут быстрее оценивать состояние экосистем, запас углерода и реакцию лесов на климатические изменения.
