#Инструментарий

Геовизуальный поиск DescartesLabs. Поиск похожих объектов по спутниковым снимкам

25 июля 2018
Пользоваться им просто: нажмите в любом месте карты, и сервис просканирует весь земной шар, чтобы найти похожие объекты. Кликните по бейсбольной площадке, ветряку или даже дому со рвом, и GeoVisual Search найдет другие объекты, похожие на этот.

Найти каждый стог сена

Визуальный поиск — попытка найти похожие вещи в неком наборе изображений. Пример такого поиска —Фейсбук автоматически идентифицирует, кто на фото. Вы не выглядите одинаково на каждом изображении, но есть некие похожие элементы, которые позволяют вас идентифицировать.

И чем дальше, тем более совершенной становится технология распознавания.

В прошлом году университет Карнеги-Меллона применил принципы визуального поиска к семи городам по всему миру в демо-проекте Terrapattern. Команда DescartesLabs была вдохновлена результатами их работы и подумала: а что, если сделать аналогичный проект для всего мира?

Сейчас на их карте искать можно в США (National Agriculture Imagery Program — NAIP) или по всему миру (Landsat 8).

Главной проблемой разработчиков было научить GeoVisual Search понимать, что значит “похожий” объект. Человеческий мозг по-настоящему хорош в этом, принципы его работы и взяли за основу. Построили нейронную сеть, обучили её распознавать сотни особенностей, черт— тени, цвета, грани. Чем больше похожих черт у исходного объекта и похожего, тем выше он находится в списке выдачи. Порой система ошибается, порой поражает.

Второй проблемой разработчиков была скорость выдачи результатов. Нужно было сделать так, чтобы за несколько секунд пользователь получал список, причём такой, в котором изображения были бы ранжированы по степени схожести. Это получилось.

Пока GeoVisual Search — только демо. Но разработчики заявляют, что намерены научить систему не только находить любые объекты на карте, но и отслеживать изменения во времени.

Например, хотите вы лучше понять, как обстоят дела с возобновляемыми источниками энергии в мире. С помощью сервиса вы сможете увидеть на карте каждый ветряк и каждую солнечную панель-батарею. А ещё сможете (в будущем, вероятно) посмотреть, как их число изменялось за последние десять лет. Принципы, лежащие в основе GeoVisual Search, позволят сделать такой анализ.

Как это работает: пример

Выбираем Landsat 8 и ставим галочку напротив “показывать обозначения и границы” (так удобней, потому что поиска по локациям или координатам у сервиса нет).

Выбираем на карте интересующий объект и кликаем по нему.

Слева видим список объектов, наиболее похожих на “наш”. В верху списка должны быть объекты, имеющие максимальное число совпадающих характеристик.

Кликнув по любому фото, видим место на карте, где расположен похожий объект.