Open Urban Mapping API— Московская область и Москва

Мы начали обновление открытых датасетов контуров зданий с регионов Чечня и Тыва, а теперь обновили и выкладываем Московскую область и Москву. По сравнению с обработкой за октябрь прошлого года, по старым снимкам Mapbox Satellite, прирост кол-ва детектированных строений составил:
1. по Московской области — 906+ тыс.
2. по Москве — 18+ тыс.

Такие показатели отражают не столько повышение качества наших нейросетей, сколько темпы строительства в регионе за последние несколько лет. И эти результаты получены по снимкам, которые уже устарели на год!

Сейчас топ 3 рейтинга полноты карты Российских регионов выглядит так:

Вы можете посмотреть и самостоятельно проверить данные статистики по ссылке.

Рейтинг сравнения с данным OpenStreetMap составлялся нами с актуальностью на начало 2021 г. Мы пересчитали статистику по двум обновляемым регионам и узнали, что картографы OSM тоже не стояли на месте. Карта пополнялась со скоростью примерно 30 тыс. новых зданий в месяц. Чтобы догнать текущее отставание с результатами детектирования Geoalert-Mapbox по Московской области, понадобится примерно 7.25 лет!

❗️Как обычно, датасеты можно скачать по ссылке на странице проекта — https://github.com/Geoalert/urban-mapping

А вот интересный факт — здания в некоторых населенных пунктах отрисованы в OSM очень детально, например, г. Егорьевск опережает на почти 4 тыс. объектов. А впереди всех по кол-ву — Можайский район.

НП Московской области, по которым объектов в OSM больше, чем в наших результатах — Можайский район впереди всех!

Urban Mapping API

Датасет по Москве / Мос. области содержит почти 4 млн фичей. Поэтому мы публикуем его в GeoPaсkage, а не в GeoJSON (как “Microsoft building footprints” 😏) — это удобный формат, поддерживаемый современными ГИС, который по сути представляет контейнер базы данных и быстро читается программой. Тем не менее, работать с одним таким файлом может оказаться неудобно, либо могут понадобиться выборки на конкретный населенный пункт, над которым вы, как картограф, в данный момент работаете. Чтобы импортировать данные в такой редактор как JOSM — опять же нужен формат GeoJSON, и целый датасет не пролезает.

Поэтому мы подключили открытые датасеты к сервису Urban Mapping API, который стримит данные в формате GeoJSON по области запроса. ⚙️

Если вы разрабатываете собственное приложение для кадастра или территориального планирования, или если вы, например, Facebook, который делает свой редактор для Openstreetmap — можете застримить данные с нашего сервера, и пользователям будет еще удобнее выбирать и редактировать на конкретный интересующий их поселок или город.

Данные по Тыве и Чечне тоже доступны по API.

Вопросы-ответы

После первой попытки опубликовать данные для пользователей Openstreetmap у нас сформировался список часто задаваемых вопросов, которые задают и другие пользователи, и заказчики.

  1. Зачем вам это надо?
    Мы применяем свой продукт, которым является платформа обработки. Мы сами используем открытые данные, поэтому ищем форму, как помогать сообществу картографов.
  2. Что делать с тегами?
    При импорте в JOSM, информация из поля “Properties” проставляется в теги. В первой версии мы склеивали контуры зданий с данными Реформы ЖКХ, в этот раз выкладываем только контуры, а склейки с другими датасетами, геокодинг и проч., возможно, сделаем чаcтью сервиса Urban Mapping API
  3. Как избежать конфликтов с данными OpenStreetMap
    В ММО-датасете мы оставили поле source (если его значение “OSM” — значит такое здание уже есть в OSM по состоянию на июль 2021). Мы согласны, что нужна более продвинутая система мерджинга и разрешения конфликтов, типа “Rapid”, это вопрос интеграции с такими системами.
  4. Как нарезать большой файл, чтобы загрузить в JOSM?
    См. Urban Mapping API
  5. Как импортировать в OpenStreetMap?
    Как обычно, совет “спросите бывалых” — самый действенный. Мы не самые бывалые, но подготовили страницу wiki, для дальнейшего наполнения. В этом посте есть краткий гайд, как заполнить пробелы в своей любимой деревне. “Best practice”.😉
  6. Каково качество ваших данных?
    Мы много времени посвятили работе с научными подходами к исследованиям качества алгоритмов на основе машинного обучения, поэтому теперь оцениваем качество на глаз😁. Нравится — не нравится. Ведь так делают картографы?🤷🏼‍♂️
    Если говорить более серьезно, то мы разрабатываем бенчмарки и тестируем качество алгоритмов на разных примерах территорий. Справедливее говорить о доверительном интервале, в который попадают метрики. Для инстанс-сегментации мы оцениваем “пространственное пересечение” масок эталона и автоматической обработки и считаем объектные метрики (см. пример бенчмарка по территории Москвы — Мос области).

При этом при сравнении картографического качества важно использовать одни и те же снимки, поскольку дополнительную погрешность вносит точность геопривязки изображений, не говоря про изменения, произошедшие в застройке. Но наибольшее разнообразие вносит разница эстетических взглядов на карту и применение в рамках прикладной задачи, поэтому метрики между двумя результатами картографов могут разойтись даже сильнее, чем картограф и автомат.😁

Наложение результатов на бенчмарк и расчет метрик

По датасету Московской области метрика пространственного пересечения с бенчмарком, в данном случае, будет около 0.7 для автоматических данных. Для данных OSM ~ 0.8

7. Для чего это нужно?
На примерах Московской области и других регионов мы видим, что карта отстает от действительности. Если в Московской области есть проект “Геопортал Подмосковья”, в котором собрана очень детальная информация, то не факт что проекты с таким бюджетом возможны во всех регионах. Да и снимки на геопортале Подмосковья обновлялись с промежутком в шесть лет.
Так что, возможно, технологические процессы, совмещающие в себе автоматическое дешифрирование и экспертную аналитику и картографию, нужны как разумный компромисс, чтобы не отстать от жизни.

We apply Machine learning to automated analysis over Earth observation data

We apply Machine learning to automated analysis over Earth observation data