С детства мне более привычно когда меня называют Гошей, поэтому я очень обрадовался, найдя такой одноименный населенный пункт, расположенный в Череповецком районе Вологодской области, почти по дороге в мою семейную деревню, которая тоже находится в Вологодской области.

Image for post
Image for post
Село на карте Mapbox, стиль Mapbox Street — обновляется с задержкой, и мои правки, о которых пойдет речь ниже в посте, еще не отрисовались

Разочарован же я был тем, что село “Гоша” недостаточно подробно представлено на карте Openstreetmap — очень приблизительная граница и ни одного нарисованного домика…


Платформа обработки данных и кейсы
Как применяется платформа
Модели семантического анализа
Источники данных
Начать пользоваться
Ссылки

Идея платформы для автоматизации картографирования, на основе обучающихся алгоритмов распознавания изображений, родилась из проблемы долгой ручной картографической работы. Мы называем это “ленивой” картографией, вместо надоевшего слова “умный” (проверьте “Smart Mapping” — некоторые компании уже захватили этот термин), применяемого в отношении любых систем, использующих искусственный интеллект. С другой стороны, что же еще должны делать системы автоматизации, как не избавлять нас от рутины и помогать в ускорении работы?

Наш новый продукт Mapflow не про замену работоспособного картографа на ленивого, всю работу за которого будет выполнять обучаемая система, Mapflow — про то, как такую “ленивую” картографию применять с умом. …


Hooray! We have recently completed automatic building detection for the entire territory of Russia using Mapbox Satellite imagery.

What? Haven’t you done that already?

Nope. Last year we started a project called Urban Mapping, which was powered by our Geoalert platform, launched a demo project and published the “zero” version of the “building footprints” database for the Russian Federation. Since then, we’ve been working on creating a commercial product, validating and enriching data with semantics (building heights, addresses, etc.), and our artificial intelligence for automatic mapping is already stretching its tentacles to other countries. …


Ура! Мы наконец закончили автоматическое картирование зданий по всей России по спутниковым снимкам Mapbox Satellite и готовы их выкладывать для заполнения пробелов в открытых данных.

Что? Разве вы это еще не сделали?

Нет. В прошлом году мы стартовали проект “Urban Mapping”, запустили демо-приложение и нулевую версию базы данных так называемых “отпечатков зданий” (building footprints) по всей РФ. Мы продолжаем работать над коммерческой базы данных — валидацией и обогащением семантикой и адресами, а наш “искусственный интеллект” для автоматического картирования уже протягивают свои щупальца в другие страны. Так что мы будем рады если вас заинтересуют возможности нашей платформы.

Но этот пост о другом. Нам хотелось сделать что-то для проектов по открытым данными, а главным таким проектом для нас является Openstreetmap, потому что им используются все, кто работает с картами. …


Проблема адресных реестров в российском информационном поле хорошо известна, но при этом нет понимания ее реального масштаба. В таких крупных компаниях как Почта России, имеющая в своем составе более 40 тыс. отделений по всей стране, проблема неточности и неполноты адресов, по которым осуществляется доставка, оборачивается затратами на повторные доставки, хранение и штрафы, исчисляемыми в млрд рублей.

Платформа Геоалерт тестировалась для автоматической оцифровки строений по космическим снимкам с целью пополнения и валидации новой геопривязанной базы адресов системы “Почта Атлас”.

Помимо проверки координат уже геокодированных адресов, мы провели исследование существующих и доступных адресных баз данных на территорию РФ. На практике, мы опробовали возможность автоматического получения геопривязанных адресов в машиночитаемом виде, использовав несколько крупных источников. При выборе территории для пилотного исследования, нашими критериями были сочетание многоэтажной застройки и частного сектора, а также присутствие различных типов каждого из этих двух подвидов: панельных домов, новых блочных многоэтажных зданий, дачных кооперативов, прочих частных жилых домов, т.д. Мы также решили искать подобную территорию только в пределах нашего “домашнего” региона, — Москвы и Московской области. Во-первых, проводить исследование на знакомой территории, как правило, проще. Во-вторых, это позволяет проводить полевой сбор данных при необходимости, — например, выехать на место для проверки адресов или типа застройки. В третьих, даже в 2020 году, надежда на наличие в адресных реестрах качественного покрытия основывается на добром совете “места знать надо”. Особенно это касается данных, собираемых и хранимых органами государственной власти. …


В работе картографа есть масса инструментов, которые помогают ускорить процесс. Такие инструменты встроены в ГИС — рисование геометрических примитивов (точка, полигон и т.д.), валидация и процессинг данных с помощью таких алгоритмов как симплификация, сглаживание контуров, примагничивание (как лучше перевести snapping? :) и т.д.

Но даже с помощью всех этих инструментов работа выглядит занудной и слишком долгой, если предстоит оцифровать тысячи полигонов. В результате работы нейросети мы получили 54 млн контуров зданий по всей территории России. Такое количество нереально проверить и дообработать вручную.

Не смотря на хорошие результаты для применения в статистических моделях пространственного анализа территорий, для готовой картографической продукции эти контуры не дотягивают. …


Since we released the very first version of the Urban Mapping dataset, which contains 54+mln map features of buildings in Russia, we’ve been working on improving mapping accuracy of the data.

In cartographer’s work there is a bunch of tools to leverage the mapping process. Every GIS software provides tools for digitising and validation — whether it’s a set of various geometry primitives like point or rectangle or advanced vector processing like simplification, smoothing, snapping etc.
But even with the help of GIS tools there is still a need to edit a lot of features manually in order to have them fitted better to the real world objects geometry and position. …


Мы реализовали 0.0.1 версию нашего пока что самого амбициозного проекта по применению нейросетей для обработки спутниковых снимков. 54 364 789 контуров зданий по всей России, вся база доступна через API платформы ГеоАлерт. Создавая демо приложение для просмотра данных, мы перевели контуры в точки (центроиды) и добавили слой с данными Openstreetmap для сравнения. Оба слоя показываются с помощью заранее подготовленных векторных тайлов.

Image for post
Image for post
https://geoalert.github.io/urban-mapping/ Find project description on Github.

Для тех, кому интересно, краткий рассказ о том что было сделано в этом проекте.

Как посчитать людей из Космоса?

Если вы задумывались о том, как делаются глобальные оценки численности населения, например в репортажах ООН (7.7+млрд людей на планете… еще +2 млрд к 2050 году и т.д.), …


We’ve completed the 0.0.1 version of our most ambitious big map data project— Urban Mapping, 54 364 789 buildings all over Russia that are available through our platform’s API. In the demo below we transformed polygons into points (centroids) and compared them with Openstreetmap “state of the map” data using vector tiles to visulalize both layers.

Image for post
Image for post
https://geoalert.github.io/urban-mapping/ Find project description on our Github.

Below is a story in and around the project…

How to calculate people from Space?

I’ve long wondered how scientists estimate the world population. If some report tells you there are 7+bln people and this number is projected to grow to some more bln in the next years — where does the raw data come from? …


Объясняем на этом примере. Мы взяли один из городов, доступных в демо-приложении, которое мы недавно публиковали.
Выберем стройки, задетектированные на одном из снимков тайм-серии, за 2019 год, (снимок покрывает площадь города примерно 74 кв.км) и сравним на этой площади с существующими базами данных строительных отчетов.
Нам удалось найти два таких информационных ресурса, агрегирующих отчеты: Дом.рф и “Единый реестр застройщиков”. Классно, что в области строительства рынок стремится к прозрачной и доступной информации! Например, ЕРЗ это ресурс, создаваемый при поддержке ассоциации застройщиков жилья.

Входной расклад по количеству строящихся объектов выглядел так:
ДОМ.РФ 92

ЕДИНЫЙ РЕЕСТР 16

Геоалерт ЖК 142

Геоалерт всего 385

Пространственное соответствие с радиусом 200 м. …

About

GeoAlert

We apply Machine learning to automated analysis over Earth observation data

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store