Цифровой Гербарий МГУ

Обсуждение / Ресурсы по ботанике / Форум

03.04.2019. Цифровой гербарий уже не только МГУ! Гербарий Главного ботанического сада РАН (MHA) передал для заливки на портал Цифрового гербария МГУ (https/plant.depo.msu.ru/ ) первую порцию сканов из Москвы и Московской области. В общей сложности 5810 образцов. Эти изображения были сделаны в марте 2019 г. силами сотрудников ГБС РАН в рамках работ по гранту "Информационная система "Флора Москвы" на платформе Цифрового гербария МГУ" (совместный грант РФФИ и Правительства Москвы № 19-34-70018, рук. А.П. Серёгин). Работы велись на сканере Microtek ObjectScan 1600 (пр-во Тайвань). Формат изображений - 600 dpi. Первого апреля первая не-мгушная заливка стала реальностью. Образцы отображены на портале в качестве отдельной коллекции. Реализация совместного проекта позволит оцифровать в Гербарии ГБС РАН около 40 тыс. образцов, что сделает второй по величине гербарий Москвы вторым по величине цифровым гербарием России после Гербария Московского университета. В свою очередь, Цифровой гербарий МГУ станет точкой доступа к 1 миллиону изображений. Мы открыты для сотрудничества и готовы публиковать цифровые коллекции других гербариев.

04.04.2019. Презентация в рамках Семинара "Естественнонаучные коллекции Югры", 25-26 марта 2019, Ханты-Мансийск (доклад сделан во время дружеского ужина) Тема: "Проект "Флора России" на платформе iNaturalist" Автор на YouTube: Biological collection YSU https://www.youtube.com/watch?time_continue=7&v=Ea9Mx_d0de4 https://www.youtube.com/watch?v=ww8i1LEenns

В смысле - разрешение?

Угу.

А как поиск будет осуществляться? При введении биномена в поисковую строку будут высыпаться листы из обоих гербариев, или для поиска в MHA нужно будет совершать отдельное вхождение в раздел?

Пока не знаю.

Обнаружил ошибку. По запросу выдаётся совсем не тот вид: https://plant.depo.msu.ru/open/public/search?searchBy=any&queryString=Adenophora rupestris

такое бывает, когда вида вообще нет (в полной версии по запросу написано, что ничего не найдено) Написала А.П.

Кратко за конец весны - лето основные дела.. 16.04. В проекте "Флора России | Flora of Russia" 50 000 наблюдений! Итак, 50 000 наблюдений наш проект https://www.inaturalist.org/projects/flora-of-russia достиг 15 апреля 2019 г., между 22:00 и 24:00 MSK. Общая статистика: 50,116 Observations - 4,061 Species - 893 Identifiers - 1,207 Observers Статистика наблюдений, сделанных за неделю в природе (9 Apr - 15 Apr): 731 Observations - 313 Species - 65 Identifiers - 95 Observers

17. 04. Осторожно, гербарий!

18.04. МГУ на GBIF: новый массив данных "A grid-based database on vascular plant distribution in southern part of Yaroslavl Oblast, Russia" В 2015 г. А.Г. Фронтова защитила на кафедре геоботаники МГУ бакалаврскую диссертацию "Флора крайнего юга Ярославской области" ( https://istina.msu.ru/diplomas/9373874/ ). Юг региона является наиболее интересным во флористическом отношении в связи с разнообразием физико-географических условий и наличием ряда уникальных местообитаний. По физико-географическому районированию на данной территории выделяют три основных района: Нерль-Плещеевский, Дмитровско-Загорская моренно-эрозионная возвышенность и Владимирское Ополье. Кроме того, еще три физико-географических района немного заходят по краям исследуемой территории. На юге области преобладают два основных типа подстилающих пород: флювиогляциальные и озерно-ледниковые отложения калининского межледниковья (пески, супеси и проч.) и конечная морена московской фазы ледника (валунные суглинки и супеси), обуславливающие границы физико-географических районов. Перед началом полевых работ территория Ярославской области южнее широты 57 градусов была разбита на 31 “большой” квадрат (БК) площадью около 95 км2 согласно градусной сетке со сторонами ячеек 10 минут по долготе и 5 минут по широте по схеме, использовавшейся в сеточном картировании флоры соседней Владимирской области (Серегин, 2012). Каждой большой ячейке был присвоен свой индекс (например, F04). Для дальнейшей детализации распространения видов и сбора более подробной информации эти ячейки были разбиты на вчетверо меньшие квадраты. В понедельник 16 апреля 2019 г. этот массив пространственных данных общим объемом 5 503 записи был опубликован в GBIF ( https://www.gbif.org/dataset/8e08523b-4f29-4cb7-b4c4-ff673ee09b9b ). Образцы, собранные А.Г. Фронтовой, можно посмотреть в Цифровом гербарии МГУ: https://plant.depo.msu.ru/open/public/search?queryString=Фронтова E5&searchBy=any&division=p&x=0&y=0

19.04. Гербарий МГУ запустил новый проект «Атлас флоры России», основанный на принципах гражданской науки. Каждый пользователь с помощью платформы iNaturalist может загрузить в систему фотографию растения с геоданными и помочь проекту. По загруженным фотографиям нейросетевые алгоритмы и специалисты-ботаники точно определяют вид растения и получают информацию о месте его произрастания. Цель нового проекта — собрать массив фотосвидетельств о деревьях, кустарниках и травах страны от любителей природы и профессиональных натуралистов. Собранные данные помогут учёным составить карты распространения видов растений в России. Работа осуществляется при поддержке совместного гранта Российского фонда фундаментальных исследований и Правительства Москвы. https://www.nkj.ru/info/35818/

20.04. "Самая богатая региональная флора России: информатика биоразнообразия сосудистых растений Краснодарского края" (грант РФФИ 19-44-233012 р_мол_а) В копилке Цифрового гербария МГУ вчера появился ещё один небольшой источник финансирования. Всем сочувствующим в помощь наш проект на iNaturalist "Флора Краснодарского края | Krasnodar Krai Flora" ( https://www.inaturalist.org/projects/krasnodar-krai-flora ), где уже 98 человек опубликовали 1 678 наблюдений дикорастущих сосудистых растений.

22.04. ГБС РАН в Цифровом гербарии МГУ: новая заливка! Гербарий Главного ботанического сада РАН (MHA) передал 18 апреля 2019 г. для заливки на портал Цифрового гербария МГУ ( https://plant.depo.msu.ru/ ) вторую порцию сканов из Москвы и Московской области - 5914 образцов. Всего ГБС опубликовал у нас уже 11 724 образца. Эти изображения были сделаны в марте- апреле 2019 г. силами сотрудников ГБС РАН в рамках работ по гранту "Информационная система "Флора Москвы" на платформе Цифрового гербария МГУ" (совместный грант РФФИ и Правительства Москвы № 19-34-70018, рук. А.П. Серёгин). Работы велись на сканере Microtek ObjectScan 1600 (пр-во Тайвань). Формат изображений - 600 dpi. Образцы отображены на портале в качестве отдельной коллекции. Реализация совместного проекта позволит оцифровать в Гербарии ГБС РАН около 40 тыс. образцов, что позволит второму по величине гербарию Москвы войти в тройку крупнейших цифровых гербариев России. В свою очередь, Цифровой гербарий МГУ станет точкой доступа к 1 миллиону изображений. Мы открыты для сотрудничества и готовы публиковать цифровые коллекции других гербариев!

23.04.19. Гербарий ТГПУ (Тула) на платформе Цифрового гербария МГУ: скоро Третьего декабря 2018 г. мы объявили о поиске региональных партнеров в рамках программы развития Цифрового гербария МГУ ( https://vk.com/wall-134484155_1635 ). Откликнулись коллеги из Тулы, Воронежа и Краснодарского края. Заявка "Оценка разнообразия и визуализация флоры Тульской области методами современных информационных технологий" (грант РФФИ 19-44-710002 р_а) под руководством с.н.с. ТГПУ им.Л.Н.Толстого, выпускницы МГУ Т.Ю. Светашевой получил поддержку. Нам предстоит провести огромную работу прежде чем Тульский государственный педагогический университет станет третьим участником Цифрового гербария МГУ вместе с Московским университетом и ГБС РАН. Этот массив данных, кроме того, в дальнейшем появится в GBIF. Фонды гербария ТГПУ насчитывают около 10 тысяч образцов и будут замечательным дополнением к нашим коллекциям по флоре Тульской области. Кроме того, там хранятся коллекции и из других мест, в т.ч. из Северной Америки. ** Краткие итоги региональной кампании ** Из совместных заявок на региональные гранты РФФИ мы получили два гранта из трех. Это лучше всего иллюстрирует потенциал межуниверситетских заявок на региональные проекты. Несмотря на скромные суммы благодаря этим грантам региональные гербарии имеют возможность начать оцифровку фондов, используя к тому же задел и инфраструктуру МГУ. Потенциально таких заявок могло быть не три, а 22 по числу регионов-участников. Приглашаем на будущий год партнеров из этих областей и республик. Вместе мы можем многое!

27.04.2019. Tesseract 4.0 Tesseract - свободная компьютерная программа для распознавания текстов (OCR), разрабатывавшаяся Hewlett-Packard с середины 1980-х по середину 1990-х, а затем 10 лет пролежавшая на полке. В августе 2006 г. Google купил её и открыл исходные тексты для продолжения разработки. Год назад все образцы Цифрового гербария МГУ были распознаны в версии Tesseract 3. Пользователи получили возможность найти нужные образцы, даже если их этикетки еще не введены в базу. Релиз четвертой версии, основанной на LSTM ("долгой краткосрочной памяти, англ. "Long short-term memory") - одном из типов рекуррентных нейронных сетей, заставил нас протестировать полученные результаты. В качестве тестового массива мы выбрали австралийский гербарий, который не прошел Tesseract 3. При мультизадачности (одновременный учёт, например, пяти возможных языков) система обрабатывает около 5 образцов в минуту (т.е. около 7 тыс. в сутки), что существенно медленнее третьей версии. Однако полученный результат существенно лучше. К осени весь массив Цифрового гербария МГУ постепенно будет обработан и снабжен обновленными расшифровками.

28.04.2019. В Цифровой гербарии МГУ залито 300 тысяч этикеток! Это значит, что каждая третья этикетка нашего гербария по сосудистым растениям расшифрована и внесена в базу.

30.04.2019. Московский регион в Цифровом гербарии МГУ За многочисленными сообщениями о загрузке новых массивов в Цифровой гербарий МГУ ( https://plant.depo.msu.ru/ ) пользователи, в общем-то, не имеют представления о том, в какой мере оцифрованы различные районы гербария. Весь гербарий отсканирован с разрешением 300 dpi, настала пора заняться полноценным вводом метаданных - текста этикеток и координат мест сбора. Москва и Подмосковье - это район E4a, часть отдела Восточной Европы. В Гербарии МГУ насчитывается 74 377 образцов сосудистых растений с этой территории. С декабря 2018 г. работы по полноценной оцифровке московского отдела нашего гербария ведутся по гранту "Информационная система "Флора Москвы" на платформе Цифрового гербария МГУ" (совместный грант РФФИ и Правительства Москвы по проекту № 19-34-70018). На сегодняшний день для 60 071 образцов (81%) внесены краткие метаданные: коллектор и дата сбора. Остальные образцы происходят, в основном, из старых коллекций и эти ключевые данные там некомплектны - отсутствует либо чётко указанная дата, либо автор сбора. Полный текст этикеток внесен в систему для 41 013 образцов (55%), что почти вдвое выше среднего показателя по всему гербарию. Это значит, что больше половины образцов можно проискивать по полноценному текстовому поиску. Еще 7 300 образцов уже набраны, но будут загружены в систему ближе к лету. Геопривязки есть для 27 272 образцов (37%), что немного ниже среднего показателя по Гербарию МГУ (на самом деле, примерно соответствует ему). Облако точек дано на картинке - особенно много сборов из Приокско-Террасного заповедника, Чашниково и Вербилок. Работа продолжается постоянно. Дарья Бородина постепенно вводит полнотекстовые расшифровки тех самых 14 тыс. образцов, не имеющих даже кратких метаданных (2 тыс. сделано). Ирина Мельник, двигаясь, напротив, от современных образцов, вводит полный текст для образцов с предварительно введенными коллекторами (дошла до 1950-х гг.). Небольшой блок 1960-х гг. делает Таня Сухова. Ксения Дудова, Наталья Иванова и Иван Кривокорин понемногу вводят геопривязки образцов с особым вниманием к Москве и самому ближайшему Подмосковью. Возможно, летом к ним присоединится еще пару человек.

01.05.2019. Дагестан в Цифровом гербарии МГУ За многочисленными сообщениями о загрузке новых массивов в Цифровой гербарий МГУ ( https://plant.depo.msu.ru/ ) пользователи, в общем-то, не имеют представления о том, в какой мере оцифрованы различные районы гербария. Весь гербарий отсканирован с разрешением 300 dpi, настала пора заняться полноценным вводом метаданных - текста этикеток и координат мест сбора. Дагестан - это район K2, часть отдела Кавказа. В Гербарии МГУ насчитывается всего 5 711 образцов сосудистых растений с этой территории. На сегодняшний день для 5 017 образцов (88%) внесены краткие метаданные: коллектор и дата сбора. Остальные образцы (а таких совсем немного) происходят из старых коллекций и эти ключевые данные там некомплектны - отсутствует либо чётко указанная дата, либо автор сбора. Полный текст этикеток внесен в систему для 1 796 образцов (31%), что примерно равно среднему показателя по всему гербарию. Это значит, что треть образцов можно проискивать по полноценному текстовому поиску. Геопривязки введены для 1 984 образцов (35%), что ниже среднего показателя по Гербарию МГУ. Облако точек дано на картинке - немного выделяются по числу сборов окрестности Куруша, Кураха, Гуниба, Буглена и бархана Сарыкум Ввод оставшихся этикеток и геопривязка образцов с этой территории пока не планируются в связи с отсутствием целевого проекта по коллекциям из Дагестана. Вся надежда на волонтеров!

02.05.2019. Краснодарский край и Адыгея в Цифровом гербарии МГУ За многочисленными сообщениями о загрузке новых массивов в Цифровой гербарий МГУ ( https://plant.depo.msu.ru/ ) пользователи, в общем-то, не имеют представления о том, в какой мере оцифрованы различные районы гербария. Весь гербарий отсканирован с разрешением 300 dpi, настала пора заняться полноценным вводом метаданных - текста этикеток и координат мест сбора. Краснодарский край и Адыгея - это районы K1a и K3, часть отдела Кавказа. Район K3 охватывает приморскую полосу и среднегорья от Новороссийска до Адлера со средиземноморскими, эвксинскими и колхидскими ландшафтами, остальная территория относится к К1а. В Гербарии МГУ насчитывается 23 616 образцов сосудистых растений с этой территории. С апреля 2019 г. работы по полноценной оцифровке западнокавказского отдела нашего гербария ведутся по двухлетнему гранту "Самая богатая региональная флора России: информатика биоразнообразия сосудистых растений Краснодарского края" (совместный грант РФФИ и Правительства Краснодарского края по проекту № 19-44-233012). На сегодняшний день для 18 687 образцов (79%) внесены краткие метаданные: коллектор и дата сбора. Остальные образцы происходят, в основном, из старых коллекций и эти ключевые данные там некомплектны - отсутствует либо чётко указанная дата, либо автор сбора. Полный текст этикеток внесен в систему для 8 808 образцов (37%), что немногим выше среднего показателя по всему гербарию. Это значит, что больше трети образцов можно проискивать по полноценному текстовому поиску. Планируется довести этот показатель до 90% в течение календарного года. Геопривязки есть для 10 498 образцов (44%), что немного выше среднего показателя по Гербарию МГУ. Облако точек дано на картинке - особенно много сборов с Утриша, где в последние годы проходит практика студентов биофака. Впрочем, из-за студенческой неаккуратности указанные на этикетках координаты "уезжают" в море. Предстоит большая работа по проверке и чистке координат, взятых напрямую с этикеток. Вообще ежегодно с этой территории поступает довольно много новых включений: например, 1007 образцов в 2017 г. и 1182 образцов в 2018 г. Текущий год не будет исключением, а возможно побьет все рекорды - несколько коробок своих сборов за зиму нам передал неутомимый исследователь флоры Западного Кавказа А.В. Попович, а студенческая практика частично передислоцировалась в интереснейший район Джубги. Н.К. Шведчикова продолжает монтировку новых кавказских коллекций и курирует этот отдел в Гербарии. Н.С. Гамова, А.В. Попович и Е.С. Каширина в мае приступят к геопривязке образцов без координат. Ввод полнотекстовых расшифровок этикеток в течение лета будет выполнять коммерческий партнер, за которым мы будем подчищать более сложные хвосты и разные нестандартные случаи. Работа над цифровым массивом по флоре Западного Кавказа будет продолжаться постоянно до апреля 2020 г.

16.05.2019. Подходит пора промежуточного отчета по GBIF-проекту "Supporting the regular georeferencing of European Russia holdings in the Moscow Digital Herbarium ( https://plant.depo.msu.ru/ )" (# Russia2019_14) Вот что получается вкратце и в двух картинках (если их перещелкивать, получится анимация): "The total number of geodata from European Russia at the starting point of the project (March, 1 2019) was 121,690 georeferences (Fig. 1). As of May, 15 2019, we georeferenced 158,189 specimens (Fig. 2). The difference between two maps is not much impressive due to good sampling of the collection prior to the starting point of the project. Nonetheless, one should mind new plant diversity data available for Komi Republic, denser sampling of western slope of the Middle Urals and Bashkortostan, better data availability in the Moscow area, and new records in Central Chernozem Region". По этому проекту GBIF не финансирует нам собственно геопривязку фондов, а по бартеру пропорционально оплачивает тягомотную набивку этикеток компанией-партнером.

26.05.2019. Почём Наяс минор?? https://plant.depo.msu.ru/public/scan.jpg?pcode=MHA0022848

28.05.2019. /из истории одного гербарного листа/ Наклейщик штрихкодов забил. Сканировщик забил. Руководитель группы забил. Отдел контроля качества забил. А.П. не заметил. Оператор ввода этикеток: "А вот такое как-нибудь особо отметить?" https://plant.depo.msu.ru/public/scan.jpg?pcode=MW0275690

30.05.2019. Третий алгоритм ИСТРЫ В Цифровом гербарии МГУ работает система автоматической геопривязки ИСТРА ( http://www.rscf.ru/ru/node/2618 ). Это Интеллектуальная Система Топонимического Распознавания и Атрибутирования. Функционирует она по двум алгоритмам: 1) автоматическоая геопривязка образцов по идентичному тексту у нескольких этикеток; 2) автоматическая геопривязка нескольких образцов, собранных тем же коллектором в тот же день. Сегодня большой день: заработал третий алгоритм ИСТРЫ. На нашем жаргоне он называется "по хэшу". Система при поиске этикеток с одинаковым текстом игнорирует пробелы, знаки препинания, верхний/нижний регистр и прочие небуквенные и нечисленные значения. Несколько примеров объединения "по хэшу" почти идентичных этикеток в группы даны на скриншотах. За один цикл прогона третьего алгоритма в систему добавилось почти 5 тыс. новых геопривязок, что позволило сэконоить нам кучу времени и средств. Статистика Цифрового гербария МГУ на вечер 27.05.2019: Образцов: 993160 Изображений: 985695 Видов: 37839 Геопривязок: 389457 Этикеток + OCR: 308200 + 340120 Статистика Цифрового гербария МГУ на утро 29.05.2019: Образцов: 993160 Изображений: 985695 Видов: 37839 Геопривязок: 393960 Этикеток + OCR: 308200 + 340120

26.06.2019. Любители природы загрузили 100 000 фотографий растений в онлайн-проект Гербария МГУ "Флора России" Пять с половиной месяцев потребовалось волонтерам-участникам виртуального проекта "Флора России" ( https://www.inaturalist.org/projects/flora-of-russia ) для преодоления отметки в 100 000 наблюдений. Еще в январе на международной платформе iNaturalist сотрудники Гербария МГУ организовали 85 региональных проектов, посвященных флорам всех регионов России. Все вместе они составляют большой интернет-портал "Флора России". Здесь в виртуальном пространстве объединились усилия любителей природы, которые фотографируют окружающие их растения, и профессиональных ботаников, которые определяют цветы и деревья по фотографиям. Правда, нескончаемые поток летних фотографий не дает возможности ученым определять все растения быстро, но уже осенью большинство неопределенных растений будут опознаны. Механизм проекта простой. Любой зарегистрированный пользователь с помощью мобильного приложения (если снимает на смартфон) или сайта (при загрузке больших архивов или работе с фотоаппаратом) загружает фотографию или серию фотографий встреченного растения. Обязательные требования – указанная точка съемки (смартфоны делают это сами), четкое разделение дикорастущих и культурных растений, объединение серии фотографии одного вида из одного места в единое наблюдение. Нейронная сеть подскажет пользователю научное название вида, а эксперты проекта подтвердят или исправят его в случае необходимости. Как только наблюдение получит совпадающие определения от двух экспертов, оно получает статус "Исследовательский уровень" и автоматически подгружается в соответствующий региональный проект и на всероссийский портал. Раз в неделю эти данные экспортируются также в GBIF – всемирную базу открытых данных о биоразнообразии. Проекту нет и полугода, однако уже несколько университетов используют его на своих учебных студенческих практиках. Самыми активными участниками в июне стали студенты и преподаватели МГУ (биологический факультет, факультет почвоведения, Филиал в Севастополе), а также университетов Нижнего Новгорода, Барнаула и Брянска. Этому способствовало наличие у исходного платформы русскоязычного интерфейса и экспорт списка из 20 тысяч русских названий растений из Цифрового гербария МГУ. "По проекту РФФИ 19-34-70018 мы еще в декабре 2018 г. начали работу с московскими любителями природы. Спустя лишь пару дней активной работы стало ясно – у нашего проекта и платформы в целом невероятный потенциал, она пришлась по вкусу многим. Не прошло и полугода, а с нами уже сотрудничают свыше 2 000 участников от Калининградской области до Камчатки. Многие пользователи организовали на iNat свои небольшие тематические проекты по редким растениям отдельных регионов или природе родного района. Мы просим пользователей указывать свободные лицензии для своих фотографий, чтобы их наблюдения можно было использовать в научной работе", – сказал ведущий научный сотрудник биофака МГУ, доктор биологических наук Алексей Серегин. Данные проекта лягут в основу "Атласа флоры России". Сейчас в зачете регионов лидирует Приморский край. За ним с заметным отставанием идут Москва, Московская область, Алтайский край и Чувашия. По выходным проводятся кубковые биоблицы – соревнования, в которых участники из разных регионов стремятся за короткий срок сфотографировать и загрузить максимальное число видов или наблюдений. Так, в четвертьфинал командного кубка, который пройдет 29–30 июня 2019 года вышли Брянская, Омская, Томская и Ярославская области, Москва, Дагестан, Татарстан и Камчатка. В целом, платформа iNaturalist невероятно популярна по всему миру. В азартной фотоохоте на растения и животные мира участвуют свыше 600 000 пользователей, которые все вместе сделали 22 000 000 наблюдений. Сейчас Россия занимает седьмое место в мире и первое в Евразии по числу загруженных фотографий растений. Впереди США, Канада, Мексика, Новая Зеландия, Австралия и ЮАР. Однако по доле подтвержденных экспертами наблюдений наша страна занимает безусловное первое место. На платформе iNaturalist любой желающий может загрузить не только фотографию неизвестного или наоборот хорошо узнаваемого цветка, но и наблюдения любых других организмов – птиц, грибов, жуков.