Обновлен массив данных iNaturalist в GBIF: 11 августа

Дорогие друзья!

У нас повод ещё раз рассказать о публикации данных iNaturalist через Global Biodiversity Information Facility, а также (традиционно) о рейтинге России. Последний раз мы писали о GBIF-массиве iNaturalist 14 дней назад: https://www.inaturalist.org/projects/flora-of-russia/journal/38846-obnovlen-massiv-dannyh-inaturalist-v-gbif-28-iyulya . Давайте посмотрим, как продвигаются наши дела, ведь 11 августа 2020 г. массив данных iNaturalist, которые поступают в GBIF, был обновлен (https://doi.org/10.15468/ab3s5x).

Итак, многие из читателей нашего журнала уже знают, что данные (которые каждый из вас загружает на iNaturalist), достигшие исследовательского уровня и имеющие одну из трёх свободных лицензий (CC0, CC-BY, CC-BY-NC), экспортируются в GBIF (https://www.gbif.org/). Это единая точка доступа к 54 тысячам баз данных о биоразнообразии. Сейчас в GBIF 1,6 млрд записей, в т.ч. 18 632 509 штук из iNaturalist. В общей сложности, 61,5 млн записей в GBIF имеют сопутствующие изображения, видеофайлы или аудио.

Hi all, this is a traditional overview of the activity of the Russian iNat-community in accumulation of GBIF-mediated data. iNaturalist data that reaches research grade and has one of three free licenses (CC0, CC-BY, CC-BY-NC) is exported to GBIF.

Если вы хотите что-то выгрузить из iNaturalist в табличном виде, то, прежде всего, появится вот такое сообщение: "Большие объёмы экспорта тормозят нашу инфраструктуру и усложняют для нас введение новых изменений. Следует рассмотреть другие источники. GBIF принимает большинство наших лицензированных наблюдений исследовательского уровня, и их инструменты экспорта превосходны. Экспорт GBIF также идет с doi, который вы можете указать, если публикуете исследования на основе данных, которые вы экспортируете, и эти ссылки чрезвычайно полезны для нас, поскольку они позволяют нам видеть, как используются данные iNat". Сейчас таких публикаций уже 749!

Any user can freely study all this data on the GBIF portal as well as download offline data of any size in the form of csv-downloads. The filters allow you to make sophisticated enquires and, in fact, browse better the electronic data on the biodiversity of a particular region.

Наблюдения из России, которые публикуются в iNaturalist, добавляются в GBIF тремя путями:
1) загрузка новых наблюдений (поле и архивы);
2) определение бэклога;
3) изменение пользователями настроек своих лицензий.

По противоположным причинам наблюдения могут быть автоматически отозваны из GBIF:
1) наблюдение удалено пользователем из iNaturalist;
2) наблюдение с исследовательским уровнем лишилось его (было переопределено);
3) пользователь поставил жёсткую лицензию для всех своих фотографий;
4) наблюдению присвоен статус "обыкновенное" (по разным причинам).

Обновление данных из iNaturalist позволило преодолеть две недели назад важный рубеж: теперь в свободном доступе в GBIF имеется свыше 5 млн записей о биоразнообразии России!

Итак, на данный момент, в GBIF индексируется уже 5,22 млн записей о биоразнообразии России - 5,12 млн с основной территории и 0,10 млн из Крыма. При этом, iNaturalist является самым большим по объему источником данных о природе России (занимает долю 15,5% по основной территории и 35,7% по Крыму). Эта доля постоянно растёт - примерно на 1% каждые две недели.

At the moment, GBIF has 5.22M records on biodiversity of Russia - 5.12M from the mainland and 0.10M from the Crimea. iNaturalist is the largest dataset on the nature of Russia (holds 15.5% for the mainland and 35.7% for the Crimea, and steadily increasing), so we monitor regularly the current stats of GBIF.

Вот, какие массивы данных по биоразнообразию России являются крупнейшими сегодня:

  1. iNaturalist Research-grade Observations 793 049
  2. Moscow University Herbarium (MW) 623 474
  3. RU-BIRDS.RU, Birds observations database from Russia and neighboring regions 370 777
  4. EOD - eBird Observation Dataset 282 227
  5. Geographically tagged INSDC sequences 195 599
  6. Locations of plants on dot distribution maps in the Flora of Siberia (Flora Sibiraea, 1987–1997) 169 854
  7. A grid-based database on vascular plant distribution in Vladimir Oblast, Russia 123 054
  8. Finnish Floristic Database (Finnish Museum of Natural History Collections) 106 057
  9. Birds of Northern Eurasia 86 992
  10. Chronicle of Nature - Phenology of Plants of Zhiguli Nature Reserve 86 524

Как обычно: догонялки. Напомним, что именно через GBIF легко и просто посмотреть насколько активны пользователи iNaturalist разных стран мира. Все мы видим борьбу регионов в зачетах "Флоры России" и в Кубке. Все наши данные идут в копилку России в мировом рейтинге и очень здорово влияют, прежде всего, на репутацию нашей страны в профессиональном научном мире. Чтобы было интереснее, мы поставили себе на это лето три цели.

*** Цель 1: второе место в мире по наблюдениям сосудистых растений ***

  1. United States of America 3 772 362
  2. Canada 585 922
  3. Russian Federation 523 304
  4. New Zealand 257 135
  5. South Africa 239 816
  6. Mexico 230 183
  7. United Kingdom 174 421
  8. Germany 119 648
  9. Australia 116 668
  10. Taiwan 102 548

Пока мы занимаем третье место в мире, уступая Канаде 62,6 тыс. наблюдений (14 дней назад было 86,1 тыс.). Отставание снова заметно сократилось! Напомним, что если, например, все пользователи портала "Флора России" решили бы перейти на открытые лицензии, то этот отрыв уже бы давно был преодолен. Прогноз: в сентябре, не сбавляя оборотов, Канаду мы догоним и выйдем-таки на второе место. УЧАСТВУЮТ: наблюдения сосудистых растений с территории России исследовательского уровня с лицензиями CC0, CC-BY, CC-BY-NC.

*** Цель 2: третье место по наблюдениям всех организмов ***

С Мексикой у нас идёт борьба в общем зачёте (по всем наблюдениям всех групп живых организмов, которые попадают из iNaturalist в GBIF) за третье место.

  1. United States of America 9 803 212
  2. Canada 1 524 261
  3. Mexico 866 804
  4. Russian Federation 793 049
  5. Australia 648 317
  6. New Zealand 484 718
  7. United Kingdom 431 714
  8. South Africa 430 758
  9. Germany 328 380
  10. Italy 271 134

Итак, сейчас отрыв от Мексики 73,8 тыс. наблюдений (14 дней назад было 123,5 тыс.). Там сейчас летняя засуха, поэтому свежих наблюдений совсем немного. Прогноз: через четыре недели мы выйдем на третье место. Впрочем, темпы роста наблюдений из России в конце лета тоже замедляются. УЧАСТВУЮТ: наблюдения всех организмов с территории России исследовательского уровня с лицензиями CC0, CC-BY, CC-BY-NC.

*** Цель 3: первое место по наблюдениям сосудистых растений (в зачёте по месяцам) ***

Эта цель в данном сезоне так и останется нереальной, ведь мы замахнулись на то, чтобы обогнать США - родину iNaturalist. Пусть даже на месячной отметке и только по сосудистым растениям исследовательского уровня. И всё же давайте снова смотреть на цифры. Немного истории: немногие помнят, но каждый раз по итогам месяца в мае, июне, июле, августе и сентябре 2019 года Россия занимала третье место по сосудистым растениям, уступая США и Канаде. В этом году мы стабильно вторые.

Вот данные за июнь 2020 г.:

  1. United States of America 160 379
  2. Russian Federation 100 367
  3. Canada 43 590
  4. United Kingdom 15 520
  5. Germany 12 085

А вот за июль 2020 г.:

  1. United States of America 127 702
  2. Russian Federation 74 269
  3. Canada 43 477
  4. United Kingdom 12 647
  5. Germany 9 558

И самое начало августа 2020 г.:

  1. United States of America 4 095
  2. Russian Federation 2 094
  3. Canada 888
  4. United Kingdom of Great Britain and Northern Ireland 589
  5. Australia 373

Постепенно мы уступаем США в 1,60 (июнь), 1,72 (июль) и 1,96 (август) раза. Что ж, выходит не этим летом! Но, в любом случае, отрадно то, что в этом сезоне мы с вами стали вторым по мощности национальным ботаническим сообществом iNaturalist. УЧАСТВУЮТ: свежие полевые наблюдения 2020 г. сосудистых растений с территории России исследовательского уровня с лицензиями CC0, CC-BY, CC-BY-NC.

Всем спасибо! Каждому спасибо!


Давайте посмотрим, что изменилось за две недели в деле активного насаждения открытых лицензий. Если вы хотите поучаствовать в GBIF, то это просто! Каждый пользователь может зайти в личный кабинет (только на сайте, ведь в приложении этой функции нет) и поставить/поменять лицензию. У наблюдений, которые не идут в GBIF, стоит в паспорте наблюдений пометка "Все права защищены" (справа внизу), а у тех, что идут - "Некоторые права защищены". К сожалению, в приложениях по умолчанию стоит "All rights reserved", что запрещает использовать ваши данные даже в научных целях и передавать их в GBIF.

Вот пошаговая инструкция для придания вашим наблюдениям статуса "открытые данные":
1) зайдите через компьютер или интернет-браузер смартфона на сайт iNaturalist.org
2) залогиньтесь и зайдите в раздел "Настройки учётной записи" (по стрелке в правом верхнем углу рядом с вашим аватаром)
3) пролистайте до раздела "Лицензирование"
4) в разделах "Лицензия наблюдения по умолчанию", "Лицензия фото по умолчанию", "Лицензия аудио по умолчанию" проставьте одну из первых трёх лицензий: CC0, CC-BY, CC-BY-NC
5) обязательно поставьте три галочки "Обновить существующие наблюдения (фото, аудио) новыми вариантами лицензий", чтобы лицензия обновилась на всех загруженных прежде фотографиях
6) в конце страницы нажмите синюю кнопку "Сохранить"

Итак, в GBIF-зачет попадают не все наблюдения, а только те, что достигли "Исследовательского уровня" и имеют свободную лицензию - CC0, CC-BY или CC-BY-NC. Успех нашей страны в GBIF/iNaturalist во многом связан с активностью профессиональных ученых, которые подтверждают находки (а, зачастую, и публикуют на iNaturalist свои данные) и разумностью пользователей, которые в личных кабинетах на сайте поставили для своих наблюдений свободные лицензии, а, значит, такие наблюдения могут использоваться научным сообществом.

Приведенные ниже списки актуализированы на 3 августа. Если вы перешли на открытые лицензии после прошлого поста в период с 3 по 11 августа, то эти данные еще не обновились в GBIF.

Вот пользователи (из числа топ-500 наблюдателей по флоре России), которые перешли на свободные лицензии, но случайно не обновили их для всех наблюдений (было 12 человек, осталось всего 9):

@antennaria -970
@alakey -325
@naturalist16000 -154
@naturalist10224 -90
@natalia_polyakova -58
@stsenator -51
@alebedev -47
@yaroslavmagazov -20
@elenasmirnova -20

Вот пользователи (из числа топ-500 наблюдателей по флоре России), которые пока не перешли на свободные лицензии, а потому их данные не идут в GBIF (было 107 человек, осталось 90):

@cava -1818
@natalya1406 -1313
@sergeyus -1206
@naturalist25051 -1135
@tarasov -838
@denis138 -675
@naturalist12789 -651
@naturalist19164 -636
@naturalist29626paterikina -609
@naturalist26231 -549
@evgeniy_benikhanov -543
@nellysemenova -512
@annalaenko -510
@andreytikhonov -473
@khairulla -463
@vera_chistyakova -463
@nadya9 -454
@artem2013 -453
@naturalist35155 -432
@missnarjess -429
@nikita_grechesky -416
@svetlana_koveshnikova -398
@olgakrilova -387
@naturalist14385 -377
@naturalist35087 -373
@mariafazilova -357
@annagamzina -356
@daria1813 -354
@julujka -344
@naturalist28910 -319
@julia_fodina -317
@vera124 -309
@proshinmaxim -304
@deniszhbir -303
@lubovschnaider -302
@yanabykova09 -301
@kkatya -299
@vlbury -293
@tatyana20 -285
@angelinaguryanova -278
@simonkamnev -270
@keytmaksimova -269
@angelina237 -266
@rudentzova -265
@naturalistcvetlana -264
@aagladilin -258
@digitata -254
@marinakrygina -244
@naturalist13989 -244
@verba -243
@karpova -240
@marinakhanduyk -240
@borovicheveugene -234
@anastasialoseva -229
@ferdania -224
@alexandrtichonov -217
@acanthisflammea -216
@alena_golovchenko -215
@kristina_gayderova -209
@irinaki -206
@tbsilaeva -203
@nat_zouieva -201
@nekto -198
@nadik -198
@nataliashevchenko -197
@irinaber -195
@naturalist31744 -194
@spichacova -194
@alyona4 -192
@natalia_trifuz -186
@naturalist35099 -186
@esinm -183
@anton_nikolaev -181
@monsieurzhukov -180
@vicia -180
@vikakazakova -178
@naturalist6849 -177
@naturalist33665 -176
@naturalist20971 -175
@taegoo -172
@naturalist16365 -171
@naturalist4690 -168
@naturalist_nadezhda -167
@el-kizi-1204 -167
@dmitry_yarygin24 -165
@eugenelsaransk -165
@vaku-vaku -165

Получается, что многих из этих списков я знаю лично: Ксюша, Миша, Степан, Алеся, Ярослав, Денис, Володя, Саша, Антон, Татьяна Борисовна, надеюсь, вы нас поддержите!

Отдельно отмечу, что 98 из топ-100 наблюдателей проекта "Флора России" перешли на свободные лицензии, а доля наблюдений проекта, заблокированных жёсткими лицензиями, сократилась до 13,96% ()! Это наше большое общее достижение в деле открытого доступа к данным о биоразнообразии. Большое спасибо, что не оставили без внимания предыдущий пост. Возможно, в этот раз отклик будет еще шире.


P.S. Вот пользователи, которые внесли максимальный вклад за последние 14 дней в проект "Флора России" и используют при этом открытые лицензии: ссылка.

由使用者 apseregin apseregin2020年08月11日 15:15 所貼文

評論

С сосудистыми хуже дела обстоят ещё из-за того, что в этом году меньше мнений экспертов для придания исследовательского статуса, в том году Вы, эксперты, были активнее. ИМХО.

發佈由 denis_ivanov 約 4 年 前

Ну, @denis138, вы прямо совсем не правы.

10 июля 2019 - 120031
10 августа 2019 - 150048
Рост 30 тыс.

08 июля 2020 - 553489
08 августа 2020 - 660024
Рост 106,5 тыс.

Даже комментировать нечего. Просто гораздо больше участников, и многие наблюдения отправляются в бэклог, который будет кормить наш проект зимой.

發佈由 apseregin 約 4 年 前

Это в этом году поток наблюдений сильнее, поэтому так кажется. Еще и за счет того, что практически все студенческие практики проходят онлайн, и многие - здесь. Я, например, просто в июне перестала практически грузить, потому что все тонет в студенческой активности. Отложила на зиму.

發佈由 julia_shner 約 4 年 前

Спасибо экспертам за определения.

發佈由 anastasiiamerkulova 約 4 年 前

Рад, что возможно не прав. А экспертам однозначно респект и уважуха.)))

發佈由 denis_ivanov 約 4 年 前

Спасибо, @apseregin! Обновила лицензии. Знаю, что @naturalist25051 хотела бы тоже все открыть, но для входа с компьютера она не помнит пароль. Можно ей как-то помочь восстановить, чтобы заново не регистрироваться?

發佈由 elenasmirnova 約 4 年 前

Елена, ей надо написать на help по электронной почте и в двух словах описать проблему. Должны помочь

發佈由 apseregin 約 4 年 前

Хорошо передам, там по-английски надо написать?

發佈由 elenasmirnova 約 4 年 前

Лучше по-английски, хотя, скорее всего, они могут и Гуглом перевести: главное решить, что делать - восстановить пароль к учетке или попросить обновить лицензию. Там добрые люди, я удивляюсь их терпению и внимательности

發佈由 apseregin 約 4 年 前

Спасибо! Попробуем :-)

發佈由 elenasmirnova 約 4 年 前

обновила лицензии - надеюсь, все получилось) Алексей, спасибо за пошаговую инструкцию! :-)

發佈由 cava 約 4 年 前

新增評論

登入註冊 添加評論