Hooray! We have recently completed automatic building detection for the entire territory of Russia using Mapbox Satellite imagery.

What? Haven’t you done that already?

Nope. Last year we started a project called Urban Mapping, which was powered by our Geoalert platform, launched a demo project and published the “zero” version of the “building footprints” database for the Russian Federation. Since then, we’ve been working on creating a commercial product, validating and enriching data with semantics (building heights, addresses, etc.), and our artificial intelligence for automatic mapping is already stretching its tentacles to other countries. …


Ура! Мы наконец закончили автоматическое картирование зданий по всей России по спутниковым снимкам Mapbox Satellite и готовы их выкладывать для заполнения пробелов в открытых данных.

Что? Разве вы это еще не сделали?

Нет. В прошлом году мы стартовали проект “Urban Mapping”, запустили демо-приложение и нулевую версию базы данных так называемых “отпечатков зданий” (building footprints) по всей РФ. Мы продолжаем работать над коммерческой базы данных — валидацией и обогащением семантикой и адресами, а наш “искусственный интеллект” для автоматического картирования уже протягивают свои щупальца в другие страны. Так что мы будем рады если вас заинтересуют возможности нашей платформы.

Но этот пост о другом. Нам хотелось сделать что-то для проектов по открытым данными, а главным таким проектом для нас является Openstreetmap, потому что им используются все, кто работает с картами. …


Проблема адресных реестров в российском информационном поле хорошо известна, но при этом нет понимания ее реального масштаба. В таких крупных компаниях как Почта России, имеющая в своем составе более 40 тыс. отделений по всей стране, проблема неточности и неполноты адресов, по которым осуществляется доставка, оборачивается затратами на повторные доставки, хранение и штрафы, исчисляемыми в млрд рублей.

Платформа Геоалерт тестировалась для автоматической оцифровки строений по космическим снимкам с целью пополнения и валидации новой геопривязанной базы адресов системы “Почта Атлас”.

Помимо проверки координат уже геокодированных адресов, мы провели исследование существующих и доступных адресных баз данных на территорию РФ. На практике, мы опробовали возможность автоматического получения геопривязанных адресов в машиночитаемом виде, использовав несколько крупных источников. При выборе территории для пилотного исследования, нашими критериями были сочетание многоэтажной застройки и частного сектора, а также присутствие различных типов каждого из этих двух подвидов: панельных домов, новых блочных многоэтажных зданий, дачных кооперативов, прочих частных жилых домов, т.д. Мы также решили искать подобную территорию только в пределах нашего “домашнего” региона, — Москвы и Московской области. Во-первых, проводить исследование на знакомой территории, как правило, проще. Во-вторых, это позволяет проводить полевой сбор данных при необходимости, — например, выехать на место для проверки адресов или типа застройки. В третьих, даже в 2020 году, надежда на наличие в адресных реестрах качественного покрытия основывается на добром совете “места знать надо”. Особенно это касается данных, собираемых и хранимых органами государственной власти. …


В работе картографа есть масса инструментов, которые помогают ускорить процесс. Такие инструменты встроены в ГИС — рисование геометрических примитивов (точка, полигон и т.д.), валидация и процессинг данных с помощью таких алгоритмов как симплификация, сглаживание контуров, примагничивание (как лучше перевести snapping? :) и т.д.

Но даже с помощью всех этих инструментов работа выглядит занудной и слишком долгой, если предстоит оцифровать тысячи полигонов. В результате работы нейросети мы получили 54 млн контуров зданий по всей территории России. Такое количество нереально проверить и дообработать вручную.

Не смотря на хорошие результаты для применения в статистических моделях пространственного анализа территорий, для готовой картографической продукции эти контуры не дотягивают. …


Since we released the very first version of the Urban Mapping dataset, which contains 54+mln map features of buildings in Russia, we’ve been working on improving mapping accuracy of the data.

In cartographer’s work there is a bunch of tools to leverage the mapping process. Every GIS software provides tools for digitising and validation — whether it’s a set of various geometry primitives like point or rectangle or advanced vector processing like simplification, smoothing, snapping etc.
But even with the help of GIS tools there is still a need to edit a lot of features manually in order to have them fitted better to the real world objects geometry and position. …


Мы реализовали 0.0.1 версию нашего пока что самого амбициозного проекта по применению нейросетей для обработки спутниковых снимков. 54 364 789 контуров зданий по всей России, вся база доступна через API платформы ГеоАлерт. Создавая демо приложение для просмотра данных, мы перевели контуры в точки (центроиды) и добавили слой с данными Openstreetmap для сравнения. Оба слоя показываются с помощью заранее подготовленных векторных тайлов.

Image for post
https://geoalert.github.io/urban-mapping/ Find project description on Github.

Для тех, кому интересно, краткий рассказ о том что было сделано в этом проекте.

Как посчитать людей из Космоса?

Если вы задумывались о том, как делаются глобальные оценки численности населения, например в репортажах ООН (7.7+млрд людей на планете… еще +2 млрд к 2050 году и т.д.), …


We’ve completed the 0.0.1 version of our most ambitious big map data project— Urban Mapping, 54 364 789 buildings all over Russia that are available through our platform’s API. In the demo below we transformed polygons into points (centroids) and compared them with Openstreetmap “state of the map” data using vector tiles to visulalize both layers.

Image for post
https://geoalert.github.io/urban-mapping/ Find project description on our Github.

Below is a story in and around the project…

How to calculate people from Space?

I’ve long wondered how scientists estimate the world population. If some report tells you there are 7+bln people and this number is projected to grow to some more bln in the next years — where does the raw data come from? …


Объясняем на этом примере. Мы взяли один из городов, доступных в демо-приложении, которое мы недавно публиковали.
Выберем стройки, задетектированные на одном из снимков тайм-серии, за 2019 год, (снимок покрывает площадь города примерно 74 кв.км) и сравним на этой площади с существующими базами данных строительных отчетов.
Нам удалось найти два таких информационных ресурса, агрегирующих отчеты: Дом.рф и “Единый реестр застройщиков”. Классно, что в области строительства рынок стремится к прозрачной и доступной информации! Например, ЕРЗ это ресурс, создаваемый при поддержке ассоциации застройщиков жилья.

Входной расклад по количеству строящихся объектов выглядел так:
ДОМ.РФ 92

ЕДИНЫЙ РЕЕСТР 16

Геоалерт ЖК 142

Геоалерт всего 385

Пространственное соответствие с радиусом 200 м. …


Our RnD team deployed a brand new “B&C” model for recognition of construction sites in urban areas. Soon it will be implemented into Geoalert processing workflow for automatic Urban Mapping and analysis.

So far we would like to share a demonstration app of the new model applied to one city area of Chelyabinsk, Russia. The map highlights the construction sites for each year in a raw and shows the difference between the previous and the current years.

Image for post
https://geoalert.github.io/constructions/

Images taken from satellites cover larger areas that enables to analyse the context. …


Мы создали новую модель “Building & Construction” для мониторинга строительства по спутниковым снимкам, в дополнение к сценарию автоматического картирования городской застройки.

Вскоре новая модель будет встроена в автоматический процессинг на стороне платформы, а пока что выкладываем демонстрацию модели на примере обработки последовательности ежегодной спутниковой съемки нескольких российских городов.

Image for post
https://geoalert.github.io/constructions/

Еще одно преимущество спутниковой съемки, помимо исторических данных — в охвате больших площадей. Следовательно, можно использовать также и окружающий контекст. В Geoalert Urban Mapping можно получать векторную маску зданий по области, используя как заготовку для дальнейшего анализа или для картографических баз данных, и генерить готовые статистические отчеты.

Image for post
Пример отчета по поселению Коммунарка, Новая Москва

Мы собираемся рассказать подробнее о том как обучали модель по стройкам, в ближайших планах также протестировать результаты по детектированию этапов строительства — от котлована до новостроек, чтобы можно было получить сравнительную информацию по одному изображению. Используя же снимки за прошедшие годы, можно высчитывать объективный индекс динамики строительства, агрегируя данные по целому городу или по выбранной области интереса.
Если взять данные, которые мы получили, применив модель к ежегодной спутниковой съемке выбранных городов, можно посчитать сравнительную динамику строительства, или сравнить прогресс по годам. …

About

GeoAlert

We apply Machine learning to automated analysis over Earth observation data

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store