Благодаря высокотехнологичным недорогим устройствам слежения изучение движения дикой природы переживает момент больших данных. Но до сих пор только люди, обладающие навыками работы с данными, смогли извлечь значимую информацию из этого "золотого века" отслеживания. Новая система от Института поведения животных Макса Планка (MPI-AB) и Университета Констанца меняет это. MoveApps - это платформа, которая позволяет ученым и менеджерам по охране дикой природы изучать данные о передвижении животных - с помощью всего лишь устройства и браузера - для решения реальных проблем.
Система связана с базой данных Movebank, разработанной MPI-AB и размещенной в Центре вычислений и обработки данных Макса Планка (MPCDF), в котором хранятся данные отслеживания более тысячи видов животных по всему миру. Эти данные отслеживания могут быть загружены в MoveApps, где владельцы этих данных могут затем выполнить сложный анализ, чтобы найти смысл в цифрах. Рейнджер мог бы использовать систему, чтобы следить за отслеживаемыми животными в парке, создавая ежедневную карту, показывающую, где находятся животные. Или агентство по охране природы, работающее с видами, находящимися под угрозой исчезновения, может получить предупреждение, когда внезапное скопление точек GPS указывает на то, что животное, возможно, умерло.
В статье, опубликованной в Экология движения, авторы подробно описывают, как MoveApps объединяет программистов с владельцами данных, нуждающимися в аналитических инструментах на открытой бессерверной платформе. В то время как программисты разрабатывают инструменты, которые становятся открыто доступными на платформе, пользователи могут просматривать эти инструменты и выполнять анализ несколькими простыми щелчками мыши по удобному веб-интерфейсу.
Цель состоит в том, чтобы использовать большие данные отслеживания животных для решения больших проблем - сделав возможным быстрый и легкий анализ и осмысление данных о передвижении.
"Вам не нужна степень в области науки о данных, вам не нужно работать в университете, вам не нужна лицензия на программное обеспечение или большой компьютер", - говорит первый автор Андреа Кельцш, руководитель проекта MoveApps и постдок MPI-AB. "Вам просто нужно задать вопрос, на который можно ответить с данными отслеживания животных."
Анализ почти в реальном времени для быстрого реагирования
Когда семь лет назад зоопарк Северной Каролины начал помечать и отслеживать африканских грифов, сотрудники зоопарка каждый день часами анализировали данные GPS, чтобы выяснить, нужно ли им проверять птиц. Африканские грифы - самая быстро сокращающаяся группа птиц во всем мире, и они особенно восприимчивы к отравлению, питаясь тушами, пропитанными пестицидами. Поскольку отравленная туша может убить более сотни грифов за считанные часы, сотрудникам зоопарка необходимо быстро определять места кормления, на что указывает скопление GPS-точек помеченных птиц.
"Раньше мы вручную вводили данные GPS в наш инструмент, проводили анализ для кластеризации птиц, а затем сами решали, были ли это реальные кормления", - говорит сотрудница Коринн Кендалл из зоопарка Северной Каролины, которая возглавляет проект vulture. "Это была двухчасовая работа каждый день".
MoveApps превратила этот двухчасовой рабочий процесс в электронное письмо, автоматически доставляемое сотрудникам каждое утро. Раз в день данные из тегов vulture автоматически поступают в Movebank, а затем в MoveApps для немедленного анализа. Сотрудники получают электронное письмо с указанием местоположения скоплений птиц и могут начать быстрое реагирование практически в режиме реального времени.
Как и все инструменты на платформе с открытым исходным кодом, инструмент кластерного анализа является бесплатным для любого пользователя и уже адаптируется защитниками природы с аналогичными потребностями. Кроме того, он был легко подключен к Earth Ranger - программному обеспечению для визуализации и анализа данных в реальном времени, используемому управляющими охраняемыми территориями, экологами и биологами в более чем 50 странах, что существенно расширило его влияние и сделало его частью оперативного интерфейса на переднем крае защиты дикой природы и мест их обитания.
Говорит Кендалл: "MoveApps не только улучшила анализ наших данных отслеживания, но и позволила в режиме реального времени исследовать поведение стервятников и их сохранение. Такие системы, как MoveApps, станут важным дополнением, поскольку мы видим, что данные телеметрии служат основой для приложений реального мира ".
"Неограниченные" возможности для анализа
MoveApps состоит из аналитических модулей, называемых приложениями, которые получают доступ к данным отслеживания и анализируют их. Как и блоки Lego, их можно соединять вместе, чтобы сформировать рабочие процессы. Например, рабочий процесс может состоять из одного блока для рисования данных, одного блока для очистки данных и одного блока для визуализации их на карте. "Технически количество анализов, которые могут создавать люди, неограниченно", - говорит старший автор Камран Сафи, руководитель группы MPI-AB.
По большей части приложения закодированы на R - предпочтительном программном обеспечении для экологов движения, поскольку оно предлагает открытый исходный код для анализа сложных наборов данных о поведении. Но R был серьезным препятствием, мешающим некоторым владельцам данных анализировать свои данные, поскольку для этого требуется программирование из командной строки. "В большинстве научных групп или групп по управлению охраной природы есть, если вообще есть, один специалист по обработке данных, который всегда перегружен работой, что делает анализ данных очень медленным", - говорит Кельцш.
MoveApps устраняет необходимость в кодировании, позволяя владельцам данных связаться с разработчиками, которые могут создавать инструменты, которые затем становятся доступными для всего сообщества. С приложениями в системе пользователи просто выбирают и щелкают, чтобы запустить этот код в работу. И поскольку код открыт, сообщество, в свою очередь, может помочь улучшить код.
Кроме того, эти рабочие процессы могут быть опубликованы, что обеспечивает узнаваемость для программистов и действительно воспроизводимую аналитику.
"Публикация исходного кода программного обеспечения и документации к нему вместе с данными в Movebank закрывает пробел в обеспечении прозрачности и воспроизводимости результатов исследований", - говорит соавтор Габриэль Шнайдер из Центра коммуникаций, информации и медиа Университета Констанца, который разработал публикацию открытого кода MoveApp. "Описывая каждый рабочий процесс с помощью богатых метаданных, пользователи смогут понять и использовать его в ближайшие годы".
Облачная вычислительная архитектура
По мнению авторов, MoveApps является наиболее всеобъемлющей, устойчивой и безопасной платформой для анализа движения животных, отчасти благодаря своей бессерверной облачной вычислительной архитектуре. Все данные хранятся и анализируются в облачной инфраструктуре, что означает, что мощный анализ может быть выполнен за считанные секунды, и пользователям не нужен быстрый компьютер.
"MoveApps прокладывает путь к более демократичному, эмансипированному и творческому будущему, в котором наука открыта для всех, независимо от того, могут ли они позволить себе необходимое оборудование и программное обеспечение", - говорит Кельцш.
В облаке приложения реализованы в виде независимых контейнеров, что позволяет им работать более эффективно и сводит к минимуму риск того, что ошибка в одном из них каскадом перейдет в другие в рабочем процессе. MoveApps в настоящее время размещен в облаке высокопроизводительных вычислений MPCDF (HPC) (https://www.mpcdf.mpg.de/services/supercomputing) и является бесплатным для всех пользователей.
Но MoveApps был создан для обеспечения гибкости: поскольку спрос может возрасти в будущем или запрос на более быструю обработку рабочих процессов становится критическим, MoveApps может расти в рамках MPCDF, а также потенциально использовать преимущества общедоступных облаков, предлагаемых коммерческими партнерами.
"Отделив MoveApps от статической инфраструктуры, мы сделали ее эффективной и масштабируемой в долгосрочной перспективе", - говорит Брайан Стэндли, который поддерживает проект в MPCDF.
Комментарии