– Платформа обработки данных и кейсы
– Как применяется платформа
– Модели семантического анализа
– Источники данных
– Начать пользоваться
– Ссылки

Идея платформы для автоматизации картографирования, на основе обучающихся алгоритмов распознавания изображений, родилась из проблемы долгой ручной картографической работы. Мы называем это “ленивой” картографией, вместо надоевшего слова “умный” (проверьте “Smart Mapping” — некоторые компании уже захватили этот термин), применяемого в отношении любых систем, использующих искусственный интеллект. С другой стороны, что же еще должны делать системы автоматизации, как не избавлять нас от рутины и помогать в ускорении работы?

Наш новый продукт Mapflow не про замену работоспособного картографа на ленивого, всю работу за которого будет выполнять обучаемая система, Mapflow — про то, как такую “ленивую” картографию применять с умом. …

Hooray! We have recently completed automatic building detection for the entire territory of Russia using Mapbox Satellite imagery.

What? Haven’t you done that already?

Nope. Last year we started a project called Urban Mapping, which was powered by our Geoalert platform, launched a demo project and published the “zero” version of the “building footprints” database for the Russian Federation. Since then, we’ve been working on creating a commercial product, validating and enriching data with semantics (building heights, addresses, etc.), and our artificial intelligence for automatic mapping is already stretching its tentacles to other countries. …

Ура! Мы наконец закончили автоматическое картирование зданий по всей России по спутниковым снимкам Mapbox Satellite и готовы их выкладывать для заполнения пробелов в открытых данных.

Что? Разве вы это еще не сделали?

Нет. В прошлом году мы стартовали проект “Urban Mapping”, запустили демо-приложение и нулевую версию базы данных так называемых “отпечатков зданий” (building footprints) по всей РФ. Мы продолжаем работать над коммерческой базы данных — валидацией и обогащением семантикой и адресами, а наш “искусственный интеллект” для автоматического картирования уже протягивают свои щупальца в другие страны. Так что мы будем рады если вас заинтересуют возможности нашей платформы.

Но этот пост о другом. Нам хотелось сделать что-то для проектов по открытым данными, а главным таким проектом для нас является Openstreetmap, потому что им используются все, кто работает с картами. …

Проблема адресных реестров в российском информационном поле хорошо известна, но при этом нет понимания ее реального масштаба. В таких крупных компаниях как Почта России, имеющая в своем составе более 40 тыс. отделений по всей стране, проблема неточности и неполноты адресов, по которым осуществляется доставка, оборачивается затратами на повторные доставки, хранение и штрафы, исчисляемыми в млрд рублей.

Платформа Геоалерт тестировалась для автоматической оцифровки строений по космическим снимкам с целью пополнения и валидации новой геопривязанной базы адресов системы “Почта Атлас”.

Помимо проверки координат уже геокодированных адресов, мы провели исследование существующих и доступных адресных баз данных на территорию РФ. На практике, мы опробовали возможность автоматического получения геопривязанных адресов в машиночитаемом виде, использовав несколько крупных источников. При выборе территории для пилотного исследования, нашими критериями были сочетание многоэтажной застройки и частного сектора, а также присутствие различных типов каждого из этих двух подвидов: панельных домов, новых блочных многоэтажных зданий, дачных кооперативов, прочих частных жилых домов, т.д. Мы также решили искать подобную территорию только в пределах нашего “домашнего” региона, — Москвы и Московской области. Во-первых, проводить исследование на знакомой территории, как правило, проще. Во-вторых, это позволяет проводить полевой сбор данных при необходимости, — например, выехать на место для проверки адресов или типа застройки. В третьих, даже в 2020 году, надежда на наличие в адресных реестрах качественного покрытия основывается на добром совете “места знать надо”. Особенно это касается данных, собираемых и хранимых органами государственной власти. …

В работе картографа есть масса инструментов, которые помогают ускорить процесс. Такие инструменты встроены в ГИС — рисование геометрических примитивов (точка, полигон и т.д.), валидация и процессинг данных с помощью таких алгоритмов как симплификация, сглаживание контуров, примагничивание (как лучше перевести snapping? :) и т.д.

Но даже с помощью всех этих инструментов работа выглядит занудной и слишком долгой, если предстоит оцифровать тысячи полигонов. В результате работы нейросети мы получили 54 млн контуров зданий по всей территории России. Такое количество нереально проверить и дообработать вручную.

Не смотря на хорошие результаты для применения в статистических моделях пространственного анализа территорий, для готовой картографической продукции эти контуры не дотягивают. …

Since we released the very first version of the Urban Mapping dataset, which contains 54+mln map features of buildings in Russia, we’ve been working on improving mapping accuracy of the data.

In cartographer’s work there is a bunch of tools to leverage the mapping process. Every GIS software provides tools for digitising and validation — whether it’s a set of various geometry primitives like point or rectangle or advanced vector processing like simplification, smoothing, snapping etc.
But even with the help of GIS tools there is still a need to edit a lot of features manually in order to have them fitted better to the real world objects geometry and position. …

Мы реализовали 0.0.1 версию нашего пока что самого амбициозного проекта по применению нейросетей для обработки спутниковых снимков. 54 364 789 контуров зданий по всей России, вся база доступна через API платформы ГеоАлерт. Создавая демо приложение для просмотра данных, мы перевели контуры в точки (центроиды) и добавили слой с данными Openstreetmap для сравнения. Оба слоя показываются с помощью заранее подготовленных векторных тайлов.

Для тех, кому интересно, краткий рассказ о том что было сделано в этом проекте.

Как посчитать людей из Космоса?

Если вы задумывались о том, как делаются глобальные оценки численности населения, например в репортажах ООН (7.7+млрд людей на планете… еще +2 млрд к 2050 году и т.д.), …

We’ve completed the 0.0.1 version of our most ambitious big map data project— Urban Mapping, 54 364 789 buildings all over Russia that are available through our platform’s API. In the demo below we transformed polygons into points (centroids) and compared them with Openstreetmap “state of the map” data using vector tiles to visulalize both layers.

Below is a story in and around the project…

How to calculate people from Space?

I’ve long wondered how scientists estimate the world population. If some report tells you there are 7+bln people and this number is projected to grow to some more bln in the next years — where does the raw data come from? …