Цифровой Гербарий МГУ

Обсуждение / Ресурсы по ботанике / Форум

27.07. Однофамильцы: кто такая Соколова? В Цифровом гербарии МГУ алгоритмы автоматической обработки данных завязаны на распознавании фамилии в поле "Коллектор", которое вносится операторами с этикетки "как есть". Иногда таких вариантов очень много. Вот, например, как выглядит полная выборка из нашей базы данных по фамилии "Соколова". И несколько этикеток разных Соколовых для примера. В настоящий момент в базу данных внесены коллекторы 757 674 образцов. Сейчас мы разрабатываем алгоритм, который позволит надежно агрегировать сборы разных людей, однозначно отделяя их от однофамильцев и, одновременно, выявляя вероятные ошибки. Насколько важно и нелегко решить эту задачу, вы теперь понимаете.

28.07.18. Цифровой гербарий МГУ: статистика геомодуля На 28 июля 2018 г. в нашей базе данных геопривязок содержались координаты мест сбора 249,278 образцов. Небольшие статистические выкладки даны вот в этих табличках: можно посмотреть 10 лидирующих регионов по общему числу привязок, по числу ручных привязок (сделаны оператором или взяты напрямую с этикеток) и по числу автоматических привязок (совпадают коллектор и дата с уже привязанными этикетками). Работа по геопривязке образцов продолжается. Наши цели просты: привязать к карте все образцы Гербария Московского университета (таких будет около 1 млн., в т.ч. 0,6 млн с территории нашей страны) и на основе этих данных создать альфа-версию "Атласа флоры России".

29.07.18. Облако точек Цифрового гербария МГУ на 28 июля 2018 г. Основано на 248,306 образцах, привязанных к карте. Источник: https://www.gbif.org/dataset/902c8fe7-8f38-45b0-854e-c324fed36303

31.07.18. Новая загрузка геоданных с Кольского полуострова Благодаря большой загрузке геоданных из Мурманской области, взятых напрямую с этикеток, общее число геопривязок в Цифровом гербарии МГУ превысило четверть миллиона! Большинство образцов, координаты для которых были внесены вчера в систему, собраны М.Н. Кожиным. На утро 31 июля 2018 г. 251,581 образец Гербария МГУ имеет метку на карте.

01.08.18. Статистика Цифрового гербария МГУ на 1 августа 2018 г. Для сравнения в этом посте - точно такие же графики, сделанные 2, 5, 7, 10 и 11 месяцев назад. За длиной этих разноцветных полосочек огромный труд нашего небольшого коллектива. Labels captured: 115 872 Эта цифра через пару месяцев увеличится до 265-270 тыс. единиц по контракту с компанией-партнером. Georeferenced: 251 581 Здесь мы осуществили настоящий прорыв, почти вдвое увеличив число геопривязок в нашем ГИС-модуле за два месяца. Наша цель - альфа-версия "Атласа флоры России" на платформе Цифрового гербария МГУ близка как никогда. Основным источником геоданных стала загрузка данных по коллекторам и датам сбора для каждого образца, где они указаны в однозначном явном виде. Country tagged: 893 244 Настоящий прорыв, благодаря тому, что наши сотрудники сейчас заканчивают растаску по странам отдела Средней Азии. Предварительно, образцы были сгруппированы по коллекторам и датам, благодаря чему мы уточняем верхнюю географическую привязку не для каждого образца, а лишь для одного из группы. 1 сентября 2017: 1 октября 2017: 1 января 2018: 1 марта 2018: 1 июня 2018:

Масштаб работ поражает! Молодцы!!!!

Спасибо! ..а сколько ещё осталось успеть до конца года

Краткая сводка за прошедший август: 17.08. Топ-10 самых плодотворных коллекторов Гербария мохообразных МГУ Ввод кратких метаданных для всех образцов Гербария МГУ позволил установить, сколько образцов было собрано каждым ботаником за его карьеру. Сегодня мы знакомим вас с учеными-бриологами, которые пополняли коллекции гербария мохообразных. Учтены только образцы, в которых данный коллектор фигурирует как первый. Состояние статистики отражает коллекции на конец 2016 года, когда этот отдел гербария был оцифрован. Итак, самые крупные учтенные в основном фонде коллекции мхов передали в Гербарий МГУ: Михаил Станиславович Игнатов (11,4 тыс.) Владимир Эрнстович Федосов (5,4 тыс.) Андрей Геннадьевич Безгодов (3,3 тыс.) Алексей Петрович Серегин (2,3 тыс.) Владимир Гертрудович Онипченко (2,3 тыс.) Владимир Романович Филин (1,8 тыс.) Елена Юрьевна Чуракова (1,5 тыс.) Людмила Ивановна Абрамова (1,3 тыс.) Владимир Борисович Куваев (1,3 тыс.) Елена Анатольевна Игнатова (1,2 тыс.) Не забудем, что основные коллекции М.С. Игнатова (зачастую собранные совместно с супругой Е.А. Игнатовой) хранятся в Главном ботаническом саду РАН, а дублеты переданы во многие гербария мира. Еще около 1 тыс. образцов В.Э. Федосова оцифрованы, но не введены в базу. Каждый год мы включаем в фонды до 2 тыс. новых образцов мхов, поэтому этот рейтинг, конечно же, будет меняться. За последние полтора года активно передавали свои коллекции М.С. Игнатов, Е.А. Игнатова, В.Э. Федосов, А.П. Серегин, М.Н. Кожин, С.В. Дудов. В отличие от рейтинга по сосудистым растениям ( https://vk.com/wall-134484155_1238 ), список коллекторов мхов крайне динамичен. Образцы передаются в коллекцию только после определения, поэтому любой бриолог имеет у себя на полках большие объемы неопределенных материалов, которые со временем пополнят коллекцию. Полный рейтинг прикреплён в виде файла.

18.08. Подготовка к сканированию Гербария МГУ: четвертый этап В сентябре - октябре 2018 г. нас ожидает последний рывок. Мы завершим оцифровку фондов Гербария Московского университета. В 2018 г. нам предстоит отсканировать гербарий из отделов Западной Европы и Австралии, а также многочисленные новые включения. Сейчас мы ведем сортировку новых включений - обширных материалов, которые поступили в гербарий и были смонтированы нашими помощниками за последний год. Сейчас для удобной сортировки коридор перед гербарием заставлен легкими металлическими стеллажами. После сортировки образцов по географическим отделам, родам, видам и, наконец, районам, мы приклеиваем к каждому образцу штрихкод. Далее вносим краткие метаданные о каждом образце в базу данных. Это: название растения (ну, или хотя бы рода, если вид неизвестен), район гербария, коллектор, дата сбора и координаты (если они указаны на этикетке). Именно по штрихкодам идет учет новых включений в Гербарий Московского университета. Уже известно, что в этом году мы добавим в фонды 750 образцов из Африки и 2,070 образцов из Сибири. На очереди - сортировка и штрихкодирование новых коллекций из Восточной Европы, Зарубежной Азии, Средней Азии, Зарубежной Европы, Америки, Крыма, Кавказа, а также типовых образцов.

19.08. Just pics

20.08. Staminate flower of Prunus s. l. (Rosaceae) from Eocene Rovno amber (Ukraine) (Sokoloff et al., 2018) Первая статья с описанием ископаемого вида, которая в качестве ваучеров цитирует Цифровой гербарий МГУ (коллекция DigiPic). https://depo.msu.ru/open/public/search?collection=MW-DigiPic&division=P

21.08. Стажировка в Гербарии МГУ на срок до 6 месяцев для завершения работы над кандидатской диссертацией Для участия в конкурсе РФФИ "Конкурс на лучшие научные проекты, выполняемые молодыми учеными под руководством кандидатов и докторов наук в научных организациях РФ" нам нужен молодой ученый, обучающийся в аспирантуре или готовящий диссертацию на соискание ученой степени кандидата наук (без обучения в аспирантуре). Проект должен быть связан с изучением фондов Гербария МГУ (по какой-либо группе или территории). В качестве обязательного результата он должен включать исчерпывающий электронный каталог имеющихся у нас гербарных материалов, ставших объектом изучения. Алексей Петрович Серёгин готов обсудить с потенциальными кандидатами формат и содержание проекта и отобрать лучший для заявки этого года. Содержательная часть заявки готовится соискателем (возможно, совместно с научным руководителем), А.П. её редактирует и вводит в КИАС от лица МГУ. В течение нескольких месяцев, помимо выполнения своего проекта, исполнитель будет участвовать в работах по оцифровке Гербария в рамках проекта "Цифровой гербарий МГУ" ( https://plant.depo.msu.ru/ ), набираясь у нас опыта. Требования к потенциальному кандидату: 1) Возраст, не превышающий 30 лет на 31 декабря 2019 г. 2) Строго иногородний (работать/учиться в организации, которая находится за пределами города Москвы). 3) Иметь не менее одной публикации по научному направлению, соответствующему тематике Проекта. Предпочтение будет отдано длинным стажировкам - в идеале на шесть месяцев, хотя другие сроки также обсуждаются. При этом всё это время молодой ученый должен будет находиться в МГУ. Так что убедитесь для начала, отпустят ли вас? Заявка должна быть подана строго за полгода до предполагаемой даты начала проекта. То есть, при подаче заявки 15 сентября 2018 г. старт проекта будет не раньше 15 марта 2019 г. Ждём ваших предварительных обращений до 20 сентября 2018 г. В прошлом году к нам обратилось трое молодых ученых, из которых ой как непросто было выбрать достойного кандидата. Дерзайте! Подробности от РФФИ тут: http://www.rfbr.ru/rffi/ru/contest/n_812/o_2070285

22.08. Когда почерк у коллектора тот ещё, а оператор не парится, то реку Зиган можно написать пятью разными способами. Чтобы этот трэш не попал в базу, все массивы приходится внимательно редактировать.

24.08. Цифровой гербарий МГУ: информационная система и контент (полное описание в скриншотах). Москва, 2018. 260 с. Moscow Digital Herbarium: a system and content (complete screenshot description). Moscow, 2018. 260 p. (in Russian). Итак, вот изложение того, чем я жил последние три с половиной года. Шаг за шагом, день за днем, год за годом безумная идея превращалась в грандиозный замысел. Замысел - в тяжелую работу. Работа, в свою очередь, приносила плоды и невероятное ощущение того, что своими руками удалось сделать то, что, по разумному рассуждению, сделать было невозможно. Рука об руку по этой дороге идёт вместе со мной большая компания парней и девчонок - кому-то за 80, кому-то нет и 20. Программисты, ботаники, операторы данных, пользователи портала, лаборанты гербария, помощники и просто неравнодушные люди! Это история про то, как сегодня выглядит Цифровой гербарий МГУ. Как он развивается. Что в нем можно найти. И почему всё это обязательно нужно было сделать. Это восьмой цифровой гербарий мира по числу сканов. Это самая большая база данных по биоразнообразию в России. Это то, что дал гербарию Московский университет, и то, что гербарий дал университету. Разделы 1. Главная страница 2. Форма расширенного поиска 3. Табличная выдача результатов (расширенный поиск) 4. Форма поиска по этикеткам и OCR 5. Таксономический браузер 6. Паспорт образца: общая информация 7. Паспорт образца: фото в природе 8. Паспорт образца: этикетка 9. Паспорт образца: OCR 10. Паспорт образца: место сбора 11. Паспорт образца: хранение 12. Паспорт образца: ссылки 13. Личный кабинет 14. Личный кабинет: статистические отчёты 15. Массовый ввод новых данных: текстовые массивы 16. Массовый ввод новых данных: геопривязки 17. Цифровой гербарий МГУ: open-версия и индексация в поисковых системах 18. Цифровой гербарий МГУ в GBIF 19. Цифровой гербарий МГУ: где узнать больше? 20. О чём мы мечтаем в будущем? Несколько скриншотов для примера: Целиком тут: https://cloud.mail.ru/public/5b7A/WYiwWhS4D

30.08. Цифровой гербарий МГУ: анонс лекций Этой осенью нам предстоит подвести итоги 4-летней программы по оцифровке коллекций Гербария МГУ и созданию универсальной платформы документации разнообразия растений "Цифровой гербарий МГУ" (https/plant.depo.msu.ru/). Подводить итоги мы будем в Иркутске, Новосибирске, Москве и Петербурге! Научный руководитель проекта А.П. Серегин выступит с научно-популярными лекциями и пленарными докладами на пяти ключевых мероприятиях этой осени. Иркутск, 11 сентября http://bit.icc.ru/ Новосибирск, 8 октября http://conf.nsc.ru/csbg2018/ru/info_letter Москва, 15-16 октября http://zmmu.msu.ru/spec/konferencii Санкт-Петербург, 15-17 ноября https://culturalforum.ru/ Москва, 28 ноября https://conf.msu.ru/rus/event/5134/

31.08. Цифровой гербарий МГУ: 25 цитирований в Google Scholar Нынешний портал Цифрового гербария МГУ был запущен 17 октября 2016 г. Спустя несколько месяцев он переехал на доменный адрес https://plant.depo.msu.ru/ в нашей корпоративной зоне "msu.ru". С этого времени портал стал индексироваться поисковыми роботами и активно использоваться в научной работе учёными России и мира. На данный момент уже 25 статей, проиндексированных в Google Scholar, ссылаются на Цифровой гербарий МГУ в качестве электронного ресурса. Общее число упоминаний портала https://depo.msu.ru/ достигло 31. Таким образом, источником 80% ссылок на портал Национального банка-депозитария живых систем МГУ является его ботаническая часть.

Наташа! Этикетка с Festuca - безусловно написана рукой Нины Леонидовны Соколовой; она же "скрывается" за аббревиатурой "Н.Л. Соколова". Незабвенная Нина Леонидовна была настоящим Учителем нескольких поколений ботаников (и моим, в том числе) и почти всю жизнь работала на кафедре биогеографии географического факультета МГУ, которую заканчивали и Вы с Серегиным. Я понимаю, что по возрасту Вы Нину Леонидовну не застали в живых, но почерк ее не может не знать НИ ОДИН выпускник нашей кафедры, регулярно работавший в MWG.

Михаил Максович, спасибо! Не застали (наш курс уже...) - но в рассказах обязательно про неё нам говорили. И портрет, кажется, до сих пор там (на БГ) есть её..

Наталья! А можно ли как-нибудь посмотреть сборы из Туркменистана? Если да, то подскажите, пожалуйста, как это сделать...

Александр, можно! главная страница - https://plant.depo.msu.ru/ оттуда - расширенный поиск - https://plant.depo.msu.ru/module/itemsearchpublic в поле страна написать Туркмения (там всплывающие подсказки) - нажать внизу ОК и выдаст табличку с результатами. Это то, что уже обозначено со страной; в действительности, видимо, их немного больше даже (у нас вся Средняя Азия по природным регионам поделена, не по гос. границам - и сейчас завершаем указание именно привязки по странам) Если по кодировке районов гербария - М1 (крайний юг) и М6 (основная часть территории) + кусочек горного обрамления на востоке страны - М2. Посмотрите их на карте, - опять-таки, на странице расширенного поиска нажмите значок "глобус" справа от поля Код района гербария - там открывшейся вкладке можно нажимать и текстовые записи - вам "подсветят" нужный выдел на карте; можно наоборот - нажать на интересующий выдел - подсветка будет на текстовой расшифровке. Можно выбирать несколько.

Огромное спасибо! Попробую ...

Обзор за сентябрь: 01.09. Новые массивы данных за август 2018 г. Часть 1 Мы вышли из августовской гибернации. Наша IT-команда загрузила новые массивы данных в Цифровой гербарий МГУ. 1) Район M7 Средней Азии ("Сырдарьинские пустыни и Кызылкумы") теперь полностью проиндексирован по странам (5,886 образцов). Районы Средней Азии у нас в гербарии выделены по физико-географическим принципам, поэтому мы были вынуждены образец за образцом атрибутировать их по странам для интеграции в международные системы. Автор массива: К.В. Дудова. Итог: 6,479 образцов из отдела Средней Азии еще не атрибутированы по странам. Это всего 7% отдела! 2) Загружены полные этикетки 1,172 образцов Средней Азии. Это образцы, у которых не были ясно указаны дата или автор сбора. В будущем по тексту этикеток мы легко осуществим геопривязку этого массива, который не подходит под параметры автоматической геопривязки по алгоритму ИСТРА. Автор массива: И.В. Мельник. Итог: еще у 11,618 образцов Средней Азии совсем нет никаких внесенных элементов этикеток в нашей системе. Иными словами, 12% отдела. 3) Загружены координаты 6,655 образцов сосудистых растений, напрямую взятых с этикеток. Эти образцы были "отловлены" с помощью OCR, который распознал в этикетках наличие географических координат. Сами координаты для каждого из этих образцов были введены в таблицу вручную. Автор массива: А.С. Борцова. Итог: еще примерно 10% образцов имеют на этикетках ошибочные координаты! К сожалению, многие коллекторы совсем не имеют представления о том, какие цифры в навигаторе что означают, где широта и долгота, чем формат ГГ,ГГГГГ отличается от ГГ ММ ССС.С. Такие образцы не были внесены в систему.

02.09. Новые массивы данных за август 2018 г. Часть 2 Мы вышли из августовской гибернации. Наша IT-команда загрузила новые массивы данных в Цифровой гербарий МГУ. 4) Загружены координаты 47 образцов из топ-перечня самых плодотворных дней отдельных коллекторов за всю историю Гербария МГУ. Это позволило накрыть по ИСТРЕ автоматическими геопривязками почти 3 тыс. образцов. Автор массива: А.П. Серегин. Итог: каждый пятый образец из этого топ-перечня, исходя из топонимов, указанных на этикетках, к карте не привязывается. Иными словами, до 20% образцов Гербария Московского университета могут быть неизвестно где собранными. Грустная статистика. Необходимы специальные поиски в архивах и библиотеках. 5) У 718 образцов, имеющих координаты, была исправлена привязка к районам гербария. Их удалось выявить с помощью нашего картографического модуля. Геомодуль показывает на карте все образцы района и тут же становится видно, какие из них вылетают за границы нужной области. Район за районом все эти образцы были обнаружены, а их метаданные исправлены. Автор массива: А.П. Серегин. Итог: делать такую картографическую верификацию метаданных надо регулярно, особенно после загрузок крупных массивов геоданных. 6) У пары сотен образцов операторами ранее были введены ошибочные геопривязки. Тот же геомодуль позволил эти ошибки отловить. В итоге, координаты 165 образцов были стёрты. Теперь точно известно, кто из операторов больше всех косячит с поиском геопривязок. Итог: 165 косяков на 250,000 геопривязок. Это меньше 0,1%.

03.09. Новые массивы данных за август 2018 г. Часть 3 Мы вышли из августовской гибернации. Наша IT-команда загрузила новые массивы данных в Цифровой гербарий МГУ. 7) Деление образцов. Это очень ответственная процедура, когда сбор на листе смешанный. В базе он должен быть разделен по числу реальных сборов (например, на два или на три образцы с добавкой к штрихкоду -1, -2 и т.д.). Процедура тонка настолько, что автоматическую проверку прошло менее трети образцов, которые и были залиты - это 2,243 штук. Еще 7,058 образцов в работе. Иными словами, их придется проверять повторно. Автор массива: И.В. Мельник. Итог: именно из-за деления образцов в Цифровом гербарии МГУ насчитывается 915,616 единиц хранения при наличии 911,543 изображений. 8) Загружены координаты 2,905 образцов мохообразных, напрямую взятых с этикеток. Эти образцы были "отловлены" с помощью фильтра, который распознал в этикетках наличие географических координат - например, когда коллектор всегда указывал координаты в этикетках, а у части образцов в базе они отсутствовали. Сами координаты для каждого из этих образцов были введены в таблицу вручную. Автор массива: А.С. Борцова. Итог: уже 34,622 образцов мхов имеют в системе геопривязки. Иными словами, 45% гербария мохообразных имеют метки на карте. ОБЩИЙ ИТОГ недели отчаянной загрузки новых массивов - плюс 11 тыс. новых геопривязок. То ли еще будет

04.09. Восточная Европа: новые включения Мы закончили сортировку, штрихкодирование и ввод метаданных новых поступлений в отдел Восточной Европы. В этом году отдел пополнился 3,586 образцами. Через несколько недель он будет отсканирован. Еще небольшая порция (300-500 листов) будет подготовлена к концу октября. На сегодняшний день Гербарий Московского университета насчитывает 1,037,059 образцов. В этом году, если австралийские коллеги не обновят статистику, по числу образцов мы опередим "State Herbarium of South Australia" в Аделаиде (AD) ( http://sweetgum.nybg.org/science/ih/herbarium_details.php?irn=125691 ), в котором хранится 1,040,000 образцов (данные на январь 2018 г.).