Цифровой Гербарий МГУ

Обсуждение / Ресурсы по ботанике / Форум

05.09. Облако точек Цифрового гербария МГУ в разных проекциях Основано на 260 725 образцах (на 1 сентября 2018 г.) Источник: https://www.gbif.org/dataset/902c8fe7-8f38-45b0-854e-c324fed36303

09.09. GBIF-копия Цифрового гербария МГУ за 10 месяцев набрала 17 цитирований! Постоянно мы загружаем в Цифровой гербарий МГУ новые массивы текстовых данных и геопривязок. Раз в году он пополняется также новыми сканами. Еженедельно (обычно утром в пятницу) система автоматически обновляет наши данные, залитые в GBIF. Отсюда, в свою очередь, они отправляются в различные загрузки пространственных и биологических данных для всевозможных научных исследований в области биогеографии, экологии, палеоботаники и биоклиматического моделирования. Результаты таких исследований публикуются в топ-журналах, - как, например, вышедшая в Nature статья "The future of hyperdiverse tropical ecosystems" ( https://www.nature.com/articles/s41586-018-0301-1 ). На 2 сентября 2018 г. на наш GBIF-датасет ( https://www.gbif.org/dataset/902c8fe7-8f38-45b0-854e-c324fed36303 ) накопилось уже 17 цитирований: наверно, это даже больше, чем число ссылок на образцы из физической коллекции Гербария Московского университета. О том, как устроена GBIF-модель выгрузки данных и подсчета цитирований можно прочитать здесь: https://vk.com/wall-134484155_935

11.09. Презентация утреннего приглашенного доклада А.П. Серегина на Международной конференции «Информационные технологии в исследовании биоразнообразия», 11–14 сентября 2018 г. в Иркутске. https://www.researchgate.net/publication/327545192_Moscow_Digital_Herbarium_OCR-mining_of_the_text_data_for_the_Russia's_largest_biodiversity_database

16.09. Верхнее Поволжье: 10 тыс. новых точек Благодаря нашему сотрудничеству с командой gbif.ru на портал Цифрового гербария МГУ ( https://plant.depo.msu.ru/ ) и его GBIF-зеркала ( https://www.gbif.org/dataset/902c8fe7-8f38-45b0-854e-c324fed36303 ) залит большой массив новых пространственных данных по Верхней Волге. Около 10 тыс. образцов из Ярославской, Ивановской и Костромской областей, а также с севера Нижегородской области теперь надежно привязаны к карте. На скриншотах эти изменения особенно наглядны (если быстро щёлкать, то получится анимация). Хорошо видно, что в Гербарии Московского университета образцы из этих регионов представлены неравномерно. Особенно заметны "дыры" на большей части правобережных районов Ярославской области, в Ярославском Заволжье, на западе и особенно востоке Ивановской области. Лучше представлена Костромская область, хотя и здесь из многих местностей сборы почти отсутствуют. Для сравнения обратим внимание на сопредельные районы, которые специально изучались многие годы: Владимирскую область (внизу карты), Удомельский район Тверской области (плотное облако точек на западе), а также ближайшие окрестности Москвы. Автор верхневолжского датасета - Наталья Иванова.

20.09. СПАСИБО!!! В Цифровом гербарии МГУ ( https://plant.depo.msu.ru ) почти 1 млн образцов. С самого начала работы портала в паспорте каждого образца мы разместили красную ссылку "Сообщить об ошибке". За год (с 18.09.2017 по 18.09.2018) наши пользователи воспользовались этой кнопкой 364 раза! Сообщения об ошибках в определении, ошибках в географической индексации, опечатках в русских названиях и многие другие ляпы и неточности были выявлены нашими внимательными юзерами. В результате наш массив данных стал немного чище и чуть-чуть надежнее как источник данных. Технологически нам оказалось удобным не отвечать на каждое письмо пользователей, а вносить все изменения скопом 2-3 раза в год. Сейчас, накануне четвертого этапа сканирования Гербария Московского университета, мы внесли в базу почти все накопившиеся изменения, а те, что не внесли - аккуратно учли и внесем их вместе с ресканами в начале декабря. Хочу выразить огромное спасибо всем неравнодушным ботаникам и натуралистам, сообщавшим об ошибках. Ни одно замечание не прошло мимо нас. Пожалуйста, пользуйтесь кнопкой "Сообщить об ошибке" чаще!

23.09. А Гугл... Он всё равно нас съест! В момент, когда мы выставили под индексацию поисковыми системами open-версию Цифрового гербария МГУ ( https://plant.depo.msu.ru/open/ ) Google съел миллион наших картинок и выставил их в результаты поиска. Но пользователям интернета миллион новых картинок сразу не нужен. Алгоритмы Google учитывают востребованность запросов, и изображения, которые никто не запросил, из поиска постепенно убираются. Так уже через 3 недели число картинок в индексации сократилось с 1 млн до 500 штук. Однако постепенный рост популярности нашего ресурса, использование картинок в виде ссылок и скачиваний файлов, а также востребованность самой темы привели к тому, что каждую неделю до 1 тыс. новых картинок возвращаются в индексацию Google. Перед вами небольшая часть изображений, вернувшихся в Google-поиск за последние 7 дней.

Обзор за октябрь: 01.10.18. У нас куча новых геопривязок! Их общее число достигло 284,817 штук. В связи с этим замечательным достижением - традиционная картинка "Облако точек Цифрового гербария МГУ на 1 октября 2018 г." в проекции Меркатора https://www.gbif.org/dataset/902c8fe7-8f38-45b0-854e-c324fed36303

07.10.18 Коллектив Цифрового гербария МГУ: кто мы? В закладке "Контакты" на главной нашего портала ( https://plant.depo.msu.ru/ ) опубликован состав нашего авторского коллектива! Это авторы системы, авторы ГИС-модуля, авторы ключевых метаданных библиотеки изображений, авторы базы данных этикеток (в порядке убывания числа введенных этикеток, не менее 500 штук), авторы базы данных геопривязок (в порядке убывания числа введенных ручных геопривязок, не менее 200 штук).

08.10.18. Облака точек 10 крупнейших гербариев / консорциумов мира по числу оцифрованных образцов с геопривязками По данным GBIF, уже 31,749,940 образцов растений имеют геопривязками и находятся в открытом доступе. Крупнейшие массивы данных происходят из: Australia's Virtual Herbarium 4 195 962 Tropicos Specimen Data 2 933 225 Consortium of California Herbaria 1 777 009 Naturalis Biodiversity Center (NL) - Botany 954 924 The New York Botanical Garden Herbarium (NY) 908 264 PRECIS 895 100 Lund Botanical Museum (LD) 828 019 Field Museum of Natural History (Botany) Seed Plant Collection 522 705 New Zealand Virtual Herbarium 510 606 Queensland Herbarium Records 494 881 Цифровой гербарий МГУ ( https://plant.depo.msu.ru/ ) с 287 000 геопривязками занимает 17-е место. Источник статистики и карт: https://www.gbif.org/

12.10.18. «Атлас флоры России» на платформе Цифрового гербария МГУ (презентация на конференции в Новосибирске) Лежит на Research Gate Тезисы Цифровой гербарий МГУ ( https://plant.depo.msu.ru/ ) – результат работ по полной оцифровке фондовой коллекции Гербария Московского университета. На грант РНФ № 14–50–00029 мы отсканировали и опубликовали в интернете изображения 911 тыс. гербарных образцов. Из них около 638 тыс. образцов – это растения, собранные в России. Второй этап развития Цифрового гербария МГУ после создания библиотеки общедоступных изображений – это сопутствующая база этикеток, т.е. собрание полных текстовых метаданных образцов. Сканирование фондов была начато нами 25 мая 2015 г., публикация первых массивов данных – 24 августа 2017 г. На конец апреля 2018 г. база данных этикеток насчитывает 101,5 тыс. записей, а также дополнительные OCR-транскрипции еще 86 тыс. образцов. Параллельно с созданием текстовой базы данных по флоре России (и ряда других стран, широко представленных в Гербарии МГУ) мы начали большую работу по геопривязке всех образцов коллекции. Наши операторы геопривязки каждый образец (если возможно) привязывают к конкретной точке и указывают точность привязки –радиус круга, который с большой вероятностью накрывает предполагаемое место сбора, указанное зачастую довольно неопределенно. На конец апреля 2018 г. геопривязку имеют 109,5 тыс. гербарных образцов, в т.ч. 88 тыс. образцов с территории России. К моменту проведения конференции все приведенные выше цифры безнадёжно устареют из-за постоянного активного роста текстового массива и массива геоданных. Геопривязка идет несколькими путями с разной степенью интенсивности. Источники геоданных следующие: (1) данные этикеток, если координаты прямо на них указаны; (2) ручная геопривязка мест сбора с использованием картографических и литературных источников; (3) автоматическая и полуавтоматическая геопривязка по алгоритмам системы ИСТРА. Если с первыми двумя пунктами ход работ и общие прёмы очевидны, то внедрение системы ИСТРА (Интеллектальная Система Топонимического Распознавания и Атрибутирования) – одно из важных достижений нашего проекта. Ее работа идет по двум алгоритмам: по совпадению текста этикеток и по совпадение даты и автора сбора нескольких образцов. Как только какой-либо образец получает ручную геопривязку, система ищет в базе данных все образцы с идентичным текстом, описывающим место сбора (алгоритм 1), или с идентичной парой значений дня и автора сбора (алгоритм 2). Таким образом, имея предварительный массив обширной текстовой информации в виде БД этикеток мы значительно ускоряем процесс ввода координат для отдельных образцов, которые агрегируются в группы с одним точно привязанным референсным образцом. В среднем для каждого вида флоры России в базу данных геопривязок будет введено около 50 точек сбора (есть несколько видов, представленных более чем 1 тыс. образцов), что поможет получить обзорные карты ареалов большинства видов в полуавтоматическом режиме. Коллаборация с другими базами данных (если подобные когда-либо будут созданы в России) поможет бесконечно подробно детализировать пространственную информацию о распространении отдельных видов по таксономическим группам или по регионам, а также получить единую фактическую основу для конспекта флоры России и региональных чеклистов-матрешек на его основе. Все эти возможности уже сейчас заложены в архитектуру Цифрового гербария МГУ. https://www.researchgate.net/publication/328191997_Atlas_flory_Rossii_na_platforme_Cifrovogo_gerbaria_MGU?_iepl[viewId]=3JQKRvszQoqdTJ4LY2Gu0bnz&_iepl[contexts][0]=projectUpdatesLog&_iepl[targetEntityId]=PB:328191997&_iepl[interactionType]=publicationTitle

14.10.18. Вики-премия. Москве состоялось вручение сертификата и хрустального кубка Вики-премии 2018 за создание Цифрового гербария МГУ. Сертификат под стеклом мы разместим в гербарии, а вот кубок уехал в домик "Проекта Скулачёва", где и будет находиться ближайший год.

17.10.18. Ровно два года назад во всеобщий доступ был выставлен портал Цифрового гербария МГУ ( https://plant.depo.msu.ru/ ). Сегодня у нас День Рождения!

18.10.18. Последний вздох любимой таблицы В понедельник в Гербарии МГУ начнется сканирование последнего неоцифрованного отдела - коллекций из Австралии и Океании. Именно в этот момент целиком отпадет необходимость в нашей старой гербарной таблице, которую мы аккуратно вели аж с 1992 года! Когда-то эта таблица состояла из 11 файлов и управлялась СУБД Paradox под DOS (сохранился один серенький скриншот в Paradox 5.0). Ее структура была проста, но содержание грандиозным - для 32 тыс. видов Гербария МГУ было подсчитано число образцов по каждому из 55 районов гербария. Огромная бухгалтерская ведомость. Непосредственный подсчет образцов проводился кураторами секторов: Восточной Европы – Т. В. Багдасаровой; Крыма и Кавказа – Н. К. Шведчиковой; Сибири и Дальнего Востока – Д. А. Петелиным, в дальнейшем О. В. Чередниченко; Средней Азии, Монголии, ботанических садов и дендрариев – Т. П. Баландиной; зарубежного гербария – И. А. Губановым и Д. А. Петелиным, в дальнейшем – А. П. Серегиным; гербария мохообразных – Е. А. Игнатовой. Внесение сведений в базу данных и поддержание ее в актуальном состоянии осуществлялось С. А. Баландиным, И. А. Губановым, О. В. Чередниченко, А. П. Серегиным при участии кураторов секторов. Уже в 2005 г. мы закинули ее в Excel, но из-за низкой производительности компьютеров вплоть до 2012 г. она была разрезана на 11 кусков. В 2005 г. мы подвели итоги инвентаризации фондов Гербария, занявшей более 10 лет (Gubanov et al., 2005). Все последующие годы табличная БД ежегодно актуализировалась, в ней учитывались новые включения и переопределения. В течение года все новые включения учитывались кураторами отделов либо на карточках, либо в журналах, либо в списках на компьютере. Эта таблица нам очень пригодилась в 2015 году, когда мы начали сканировать гербарий. Операторы сканеров не набирали руками названия видов или индексы районов, а просто выбирали их из нашей таблицы. Правда, перед началом работ по оцифровке была выполнена работа по верификации содержательной части таблицы: проверка таксономии, сведение синонимов, выделение гибридов, заполнение недостающих сведений об авторах видов, выделение внутривидовых таксонов и т.д. Теперь все образцы отсканированы и размещены в интернете на https://plant.depo.msu.ru/, любой статистический отчет формируется в три секунды. Число образцов по каждому отделу мы знаем теперь по штрихкодам и сканам. Необходимость в нашей бухгалтерской ведомости отпала. Сегодня из нее будет сформирована выборка видов, привезенных к нам в гербарий из Австралии и Океании. И она навсегда останется лишь частью истории.

22.10.18. Западная Европа: 39 993 образца, 7 809 таксонов Сегодня в Гербарии Московского университета заканчивается оцифровка отдела Западной Европы. Почти 40 тысяч образцов документируют разнообразие флоры этой территории. Среди коллекций - образцы со Шпицбергена и Мальты, Португалии и Польши, Сан-Марино и Северной Ирландии. Общее число наших сканов превышает 954 тыс. штук. Загрузка отделов Западной Европы, Австралии и Океании, а также новых включений 2018 года на портал Цифрового гербария МГУ ( https://plant.depo.msu.ru/ ) ожидается в декабре. Подробнее о коллекциях Западной Европы в Гербарии МГУ написано в Википедии https://ru.wikipedia.org/wiki/Зарубежные_отделы_в_Гербарии_Московского_университета#Отдел_Западной_и_Центральной_Европы[1]

26.10.18. Новая общая цифра Гербария Московского университета 24 октября 2018 г. мы переместились с 62-го на 61-е место в списке крупнейших гербариев мира, опередив Гербарий штата Южная Австралия в Аделаиде (AD, http://sweetgum.nybg.org/science/ih/herbarium_details.php?irn=125691 ). Эта цифра не является окончательной - мы продолжаем штрихкодирование новых включений с Кавказа, Крыма, типовых образцов, манжеток Восточной Европы, а также многочисленных мохообразных. Ожидается, что общее число образцов в конце 2018 г. составит примерно 1 045 000 единиц. Неопределенные, но смонтированные образцы из Средней Азии (около 500) и Зарубежной Азии (около 1000) в статистику этого года не попадут.

31.10.18. Оцифровка Гербария Московского университета закончена! Вчера компанией-партнером НПО "Опыт" (корпорация ЭЛАР) была отсканирована последняя пачка фондовой коллекции Гербария МГУ - сложноцветные Австралии и Океании. А это значит, что первый этап самого большого проекта по оцифровке естественнонаучных коллекций России можно считать завершенным. Первый этап включал создание и публикацию в Интернете библиотеки изображений гербарных образцов общим объемом около 1 миллиона файлов. Сейчас на портале "Цифрового гербария МГУ" ( https://plant.depo.msu.ru/ ) содержится 915 тыс. сканов. В декабре мы опубликуем все новые изображения. Эта гигантская работа проходила с 18 апреля 2015 г. в рамках проекта "Научные основы создания национального банка-депозитария живых систем" (грант РНФ № 14-50-00029), который через два месяца закончится. На втором этапе мы планируем создать библиотеку геопривязок всех гербарных образцов (эта работа сделана на 30%), на третьем - полнотекстовую базу данных этикеток (пока мы осилили менее 15%). Четвертый этап (если мы до него доживем) будет включать полный цикл мероприятий по оцифровке больших и малых сторонних коллекций, которые будут объединены с нашей общим информационным пространством Цифрового гербария МГУ.

Обзор за ноябрь сделаю на след. неделе, а пока новость, непосредственно касающаяся "Плантариума": На страницах видов добавлены ссылки на страницы плантариума! Пример из open-версии https://plant.depo.msu.ru/open/public Любой вид вписываем в поиск - ну пусть Lindernia procumbens По запросу открывается страница https://plant.depo.msu.ru/open/public/search?searchBy=any&queryString=Lindernia procumbens нажимаем там на любую из картинок (пусть первая вверху слева - https://plant.depo.msu.ru/open/public/item/MW0503527 ) справа от неё под текстом этикетки видим три ссылки: первые две уже были раньше, это 1. полная карточка (переход в основную версию базы с полными данными по образцу) 2. все образцы этого вида (синонимика "подтягивается" по внешней базе Catalogue of Life, поэтому не удивляйтесь, если она не вполне совпадает с нашими "привычными представлениями") и наконец 3. все фото в природе этого вида - и мы как раз попадаем на страничку плантариума, как если бы мы изначально это название вписывали в плантариумовскую поисковую строку)

Как я понял из публикации А.П. Серёгина на RG, эта функция сделана специально для иностранцев, которые не умеют читать по-русски (поскольку на Плантариуме русскоязычный интерфейс). Мы-то эти фотки и так видим, напрямую

Это да, но и для русскоязычных всё будет лучше, когда переход между гербариями и фотографиями растений в природе - вот он, готов сразу) Это в хорошем смысле может расширить аудитории обоих ресурсов, и опять же, некий образовательный момент, что ли, содержит (можно поучится распознавать растения вживую и сравнить, как оно то же самое выглядит засушенным и плоским..)

Нужно отметить, что в open-версии по ссылке мы попадаем на страничку Плантариума по "названию в коллекции". Например, отсюда я попал сюда. В полной версии есть две ссылки: на название в коллекции и на принятое название по Catalogue of Life:

Там сейчас ещё подправили, из open-версии сразу открывается собственно не страница с результатом поиска по названию, а именно страничка с фотографиями вида. А из полной версии - да, это специально, что можно выбрать по названиям или как в коллекции, или по внешней синонимике что считается основным. ну и указано, что это собственно plantarium.ru

Наталия, единственная Silene akinfievii в гербарии никак не связана с фото на Плантариуме

ага. я, поняла, почему так- из open-версии идёт поиск по названию из коллекции, а там с буквой w.. хм. сейчас напишу вопрос, чтоб эти случаи v/w решались, быть может, как-то?

Обзор за ноябрь 2.11. Гербарий МГУ в GBIF Ровно год назад массив Цифрового гербария МГУ в формате DarwinCore был залит на GBIF. Это произошло 2 ноября 2017 года и означало коренной качественный перелом в доступе к данным нашего гербария. GBIF - это всемирная универсальная платформа-агрегатор данных по биоразнообразию. Более миллиарда записей (1 027 000 000) документируют находки большинства видов живых организмов на Земле. Почти миллион записей - наши. За это время 21 тысячу раз данные Цифрового гербария МГУ были выгружены исследователями для офлайн-работы - т.е. такие выгрузки происходят примерно 57 раз в сутки. Каждую пятницу наш массив и GBIF-зеркало синхронизируются, а мы получаем отчет о том, сколько записей было обновлено за неделю. На страничке каждого массива данных в разделе "Metrics" можно посмотреть множество разных статистических отчетов, а также настроить свой отчет по заданным параметрам. Удивительное дело!

7.11. Цифровой гербарий МГУ: переопределения 2018 года Гербарии остаются ценнейшим источником информации по географии и систематике отдельных групп растений. Каждый специалист, работающий с гербарными материалами, неизбежно сталкивается с неточностями и ошибками предшественников. Исправляя неверное определение, учёный приклеивает к образцу небольшую особую этикеточку (тесточку или детерминанточку), на которой указывает своё мнение по поводу правильного названия. За год в Гербарий МГУ приезжает десятки исследователей, они оставляют многие сотни таких определений. Каждый раз мы просим коллег изымать из фондов переименованные образцы. Сами переопределения мы учитываем в базе данных, а ресканы образцов публикуем в Цифровом гербарии МГУ ( https://plant.depo.msu.ru/ ). За 2018 г. коллеги приклеили 1371 переопределение лично, еще 209 раз такие переопределения с пометкой "Определено по скану" наклеивали мы, получив сообщения об ошибке со страниц Цифрового гербария МГУ. Таким образом, за год наши коллеги уточнили таксономию 0,16% образцов университетского гербария. Незадолго до конца очередного этапа сканирования мы составили составила таблицу всех накопившихся переопределений и подготовили 15 пачек переопредленного гербария для ресканов. А еще сделали несколько фотографий рабочего процесса. Еще раз огромное спасибо коллегам за многие сотни новых определений! Больше всего в прошедшем году потрудились С.В. Овчинникова с липучками (375 образцов), А.В. Чкалов с манжетками (300), А.В. Фатерыга с орхидеями (161) и С.Р. Майоров с разными видами (137). P.S. И вот стоило нам подвести итоги 2018 года, как через портал Цифрового гербария МГУ полетели десятки новых определений. Что ж мы обязательно всё учтём! Но уже не в этот раз.