Software & Systems

Одним из важнейших направлений развития современной системы информирования общества о научных достижениях является создание единого цифрового пространства научных знаний (ЕЦПНЗ). В этом пространстве должны быть отражены достоверные знания, полученные в различных областях науки, а уровень их представления должен быть ориентирован на различные слои населения – от школьников до ученых, профессионально занимающихся исследованиями в данном научном направлении. Соответственно, ЕЦПНЗ должно содержать научно-популярную, учебную и фундаментальную информацию.

В соответствии с концепцией, представлен- ной в [1–3], ЕЦПНЗ – это совокупность разнородных информационных ресурсов, сгруппированных в тематические подпространства, объединяемые единой онтологией. Контент ЕЦПНЗ включает две составляющие: фактографическую информацию, полученную в результате научных исследований, со ссылками на источники, где она представлена, и собственно источники, например, полные тексты публикаций, отражающих полученные данные.

Поскольку в большинстве случаев каждый полученный научный результат бывает опубликован во многих изданиях, возникает вопрос, какие конкретно издания необходимо включить в ЕЦПНЗ. Это достаточно важно не только с точки зрения приоритетов в получе- нии результатов, но и с чисто экономических позиций. Теоретически можно было бы включить в ЕЦПНЗ все публикации, содержащие те или иные научные результаты, однако их оцифровка и (или) приобретение прав на включение в ЕЦПНЗ требуют значительных финансовых и временных затрат. Кроме того, избыточное количество материалов, относящихся к определенному разделу науки, затрудняет работу пользователя, находящегося перед сложным выбором материала [4, 5].

В мировом информационном пространстве имеется много примеров включения объектов в тот или иной ресурс без предварительного отбора. Среди наиболее крупных можно назвать проект отражения европейского культурного наследия Европеана (Europeana) [6], включающий миллионы цифровых объектов, полученных из различных музеев и библиотек Европы. Одним из крупнейших «случайных» наборов научных статей и препринтов является ресурс, первоначально созданный в Лос-Аламосской национальной лаборатории США, а в настоящее время поддерживаемый Корнеллским университетом [7], который включает более 7 миллионов текстов по различным направлениям науки. К этой же категории может быть отнесен и ресурс «КиберЛенинка» [8], содержащий более 2 миллионов статей из различных источников. Подобные ресурсы в области культуры, несомненно, играют важную роль в деле просвещения и распространения культурного наследия в мире, и, вероятно, подобная модель может рассматриваться в качестве основной для этой области деятельности. В сфере науки такие ресурсы, хотя и приносят некоторую пользу, не могут играть базовую роль, поскольку не гарантируют ни качество своих составляющих, ни полноту внутри данного научного направления. Не случайно наибольшей популярностью у специалистов в научном мире (с точки зрения получения достоверной и полной информации) пользуются проблемно-ориентированные информационные системы, такие как INIS по ядерной физике [9], CAS [10] и Reaxys [11] по химии, MathScieNet [12] и ее российский вариант Math-net [13] по математике и др. Информация, вводимая в эти системы, проходит жесткий профессиональный экспертный контроль и может служить основой для развития исследований в данной научной области. Однако эти системы не предна- значены для решения задач популяризации науки и образования. Ни одна из существующих научных информационных систем не ставит задачи исключения дублированной и устаревшей информации, выделения ядра информационных объектов данной научной области, отражения научно-популярной достоверной информации. В значительной степени имен- но на решение этих задач ориентировано ЕЦПНЗ.

Отбор изданий, подлежащих отражению в цифровом виде в ЕЦПНЗ, исключительно важен. В общем случае при формировании ЕЦПНЗ возникает вопрос отбора для включения в пространство не только цифровых публикаций, но и других видов ресурсов, которые представлены в мировом информационном пространстве в виде практически идентичных реализаций. Это могут быть документальные и фактографические БД, каталоги ресурсов, коллекции фотографий и т.п.

Существующие подходы к отбору материалов для формирования контента цифровых ресурсов можно разделить на две категории, первую назвав детерминированным подходом, вторую – конкурсным. Детерминированный подход предполагает, что управляющим органом, создающим цифровой ресурс, в частности, цифровую (электронную) библиотеку, принимаются четкие критерии, которым должны соответствовать элементы ее контента. Все обнаруженные объекты, соответствующие заданным критериям, включаются в контент ресурса. Конкурсный подход реализуется в случаях, когда формируются некоторые общие требования к объектам, включаемым в ресурс, и характеристики качества объектов, подлежащие оценке. Задача состоит в отборе из множества объектов, соответствующих общим требованиям, тех, которые обладают наиболее высокими оценками характеристик качества. Такие оценки должны давать специалисты в той области науки, к которой относится создаваемый ресурс (эксперты). При этом, поскольку оценки качества в большинстве случаев являются субъективными, для получения средней объективной картины к оценке объектов должно привлекаться значительное количество экспертов.

Первый подход успешно применялся при формировании контента электронной библиотеки «Научное наследие России» (ЭБ ННР) [14, 15]. Проектом по созданию ЭБ ННР руково- дил Межведомственный суперкомпьютерный центр (МСЦ) РАН, при котором был создан Совет из представителей организаций, участ- вовавших в реализации проекта. Совет определял основные принципы построения и развития ЭБ ННР, а также отбора материалов для включения в ее контент. На начальном этапе формирования контента ЭБ ННР было принято решение отражать в ней развернутую информацию о российских ученых и их публикациях, начиная с 18 века. Первоначально Советом был подготовлен список ученых, подлежащих отражению в рамках первой очереди ЭБ ННР. В соответствии с этим списком участники проекта подбирали имеющиеся в их распоряжении публикации и предлагали для включения в ЭБ ННР. При этом использовалась специальная сетевая технология, основанная на програм- мном комплексе Scirus [16, 17]. В соответствии с этой технологией в БД системы загружалось краткое описание отобранного издания; эта информация поступала в специальную редакторскую группу МСЦ РАН, которая, проверив предложение на дублетность и соответствие установленным критериям, присваивала предложению специальный идентификатор, что означало принятие предложения о вводе издания в ЭБ ННР. Информация об этом поступала «заявителю», который формировал в БД развернутые метаданные издания и обеспечивал его оцифровку в соответствии с принятыми внутри ЭБ ННР правилами. Цифровые копии направлялись в МСЦ РАН и после прохож- дения технического редактирования и объединения с метаданными публиковались в ЭБ ННР.

Эта технология вполне оправдала себя на этапе формирования ЭБ ННР, когда в нее загружались редкие издания 17–19 вв. Но уже в начале 20 века количество публикаций одного и того же автора существенно возросло. Причем во многих из них излагались одни и те же результаты (хотя и отраженные под разными углами). Оцифровывать и вводить в ЭБ ННР все публикации тех или иных ученых стало нецелесообразно. В связи с этим возникла необходимость использования второго подхода к отбору материалов, составляющих контент электронной библиотеки и в общем случае ЕЦПНЗ.

Этот подход был реализован в виде программного комплекса «Экспертиза», базирующегося на опыте разработки и эксплуатации экспертной системы комплектования биб- лиотек, входящих в централизованную сеть Библиотеки по естественным наукам (БЕН) РАН [18–20].

Программный комплекс «Экспертиза»

Цель разработанного в МСЦ РАН программного комплекса «Экспертиза» – формирование рейтингового списка подлежащих отбору цифровых объектов на основании оценок, присвоенных им группой авторизованных экспертов.

Система создана на основе технологии Microsoft ASP.NET 4 на платформе Microsoft .NET Framework в среде разработки Microsoft Visual Studio 2017 и состоит из двух модулей – административного и пользовательского.

Функции системы. Комплекс выполняет следующие функции (в скобках указан блок, выполняющий данную функцию: а – административный, п – пользовательский, о – оба).

-    настройка системы администратором на конкретные профили метаданных, виды оценок и права пользователей (а);

-     авторизация пользователей в соответствии с настройками и предоставление возможности работы с системой в зависимости от их статуса (п);

-     пакетная загрузка метаданных объектов из файлов заданной структуры (а);

-     ручная загрузка метаданных экспертов и объектов с помощью специального пользовательского интерфейса, обеспечивающего формально-логический контроль (а);

-     редактирование и удаление метаданных (а);

-     поиск и визуализация объектов и данных об экспертах по различным элементам метаданных и их комбинациям с использованием операторов булевой логики (а);

-     последовательный просмотр метаданных, визуализация объектов и ввод их оценок экспертами, имеющими в своих метаданных ту же тематическую направленность, что и оцениваемый объект (п);

-     изменение экспертами ранее выставленных оценок (п);

-     визуализация оценок, данных каждому объекту каждым из экспертов (а);

-     подсчет суммарных и средних оценок отдельных объектов или их групп (а);

-     формирование рейтинговых списков объектов внутри заданной группы метаданных (а);

-     вывод результатов расчетов в файлы формата Excel (а);

-     автоматическая рассылка экспертам по электронной почте информации о поступлении на экспертизу новых объектов, соответствую- щих их тематическим интересам (а);

-     резервное копирование данных и их восстановление при сбоях (а).

Структура системы. Система включает хранилище объектов, базу метаданных (БМД) оцениваемых объектов, БМД экспертов, оценивающих объекты, ряд настраиваемых системных таблиц. Каждый объект, размещенный в хранилище, имеет уникальный идентификатор и связанный по этому идентификатору набор метаданных, настраиваемый в соответствии с заданным профилем.

Структура БМД-объектов. По умолчанию профиль метаданных объектов включает следующие атрибуты:

-     наименование объекта;

-     тематика (тематические разделы науки, к которым относится объект, представленные в виде ссылок на элементы нормализованной таблицы, формируемой для данной сессии (под сессией будем понимать процесс экспертизы, характеризуемый заданными сроками экспертизы и определенным составом экспертов и объектов);

-     описание объекта (для публикаций – библиографические данные и аннотация).

Структура БМД-экспертов. По умолчанию профиль метаданных об экспертах включает следующие атрибуты:

-     фамилия, имя, отчество;

-     организация;

-     ученая степень (выбирается из нормализованного списка);

-     ученое звание (выбирается из нормализованного списка);

-     тематические интересы (в терминах тематики изданий);

-     электронный адрес;

-     логин;

-     пароль;

-     указание на участие в конкретной сессии.

В процессе работы в системе реализуются связи вида сессия–объект–эксперт–оценка. Оценки выбираются экспертами из настраиваемой таблицы, содержащей словесные и соответствующие им числовые значения. Один объект может быть оценен многими экс- пертами, один эксперт может оценить много объектов, каждый эксперт может присвоить объекту только одну оценку.

Технология работы системы. Перед на- чалом сессии администратор осуществляет настройку системы на данную сессию, в про- цессе настройки формируются таблица данной сессии, содержащая наименование, описание и сроки ее проведения, и таблица оценок объектов данной сессии. После этого потенциальным экспертам рассылаются приглашения к участию в экспертизе. Если эксперт ранее работал через систему «Экспертиза», его метаданные имеются в системе и ему автоматически направляется письмо с описанием предстоящей сессии (текст письма формируется в системе администратором). Если эксперт приглашается впервые, электронное письмо ему направляет администратор. Эксперт сообщает администратору о согласии или отказе от участия в сессии.

По мере получения ответов от экспертов модифицируется БМД экспертов (для действующих экспертов вводятся ссылки на таблицу сессии, по новым экспертам вводятся все метаданные и эксперту сообщаются его логин и пароль). После завершения настройки в систему загружаются объекты и их метаданные, а экспертам автоматически рассылаются сообщения об этом.

Пример реализации системы

В 2019 году на базе системы «Эксперт» были проведены две сессии, организованные издательским домом «Директ-Медиа». В рамках первой сессии проходил конкурс на лучшую научную монографию, в рамках второй – конкурс на лучшую квалификационную студенческую работу. В первой сессии оценивались 925 работ 32 экспертами, во второй – 356 работ 38 экспертами. Эксперты представляли различные научные организации из нескольких городов.

Далее на примере проведения этих конкурсов проиллюстрированы некоторые интерфейсы работы с системой.

Настройка системы. Настройка системы на тот или иной конкурс осуществляется в административном модуле. На рисунке 1 представлено меню, открывающееся после вызова модуля и авторизации администратора. Перейдя по первой ссылке, администратор может ввести новое название конкурса, после чего оно появляется в заголовках всех меню системы. Переход по любой из других ссылок открывает меню следующего уровня, строки которого предоставляют возможность ввода нового элемента данных или поиска и редакти- рования (включая удаление) существующего (рис. 2).

При вводе новой информации об эксперте (см. http://www.swsys.ru/uploaded/image/2020-3/2020-3-dop/1.jpg) все его атрибуты, за исключением дополнительной информации, являются обязательными. Обязателен также выбор одного или нескольких направлений науки.

Опция «Поиск / редактирование» позволяет выбирать метаданные об эксперте, задавая значения различных атрибутов его метаданных, в частности, фрагмент названия организации (см. http://www.swsys.ru/uploaded/image/2020-3/2020-3-dop/2.jpg). Фамилия, имя и отчество каждого из найденных экспертов – активная ссылка, открывающая окно редактирования данных об эксперте, аналогичное представленному на рисунке (см. http://www.swsys.ru/uploaded/image/2020-3/2020-3-dop/1.jpg) с добавлением кнопки «редактировать», нажатие которой позволяет изменять все атрибуты метаданных выбранного эксперта.

При переходе по ссылке «Письма» (рис. 1) администратор формирует текст письма, которое будет автоматически рассылаться экспертам при загрузке в систему новых изданий по тематике, соответствующей профилю метаданных экспертов. При переходе по ссылке «Оценки» в открывающуюся форму вводятся текст оценки и ее числовое значение; при работе с конкретным изданием эксперт выбирает нужную оценку из сформированного набора.

Переход по ссылке «БД «Издания» (рис. 1) открывает меню перехода на пакетный или индивидуальный ввод метаданных изданий, просмотр и редактирование введенной информации (рис. 3). Здесь же имеется ссылка на просмотр оценок изданий.

Оценка изданий, представленных на конкурс, осуществляется в пользовательском модуле, ориентированном на работу авторизованных экспертов. Вызвав программу и введя свои логин и пароль, эксперт переходит на страницу со списком тематических направлений, соответствующих профилю его метаданных, и выбирает то направление, с которым собирается работать. В качестве примера на рисунке 4 показано окно, относящееся к эксперту, оценивающему издания по общественным наукам и экономике.

Выбрав тематику, эксперт переходит к последовательному просмотру изданий, представленных на конкурс по выбранной тематике. По каждому изданию на экран выводятся автор, наименование издания, аннотация, краткие сведения об авторе и ссылка на полный текст (рис. 5). Ознакомившись с изданием, эксперт переходит по ссылке «Оценить» и выбирает в открывшемся окне (рис. 6) одну из оценок. Выбрав оценку, введя свой комментарий и нажав на кнопку «Ввод», эксперт возвращается на страницу просмотра изданий, но в описании оцененного издания вместо кнопки «Оценить» появляется кнопка «Издание уже оценено Вами». Нажав на эту кнопку, эксперт может изменить оценку и свой комментарий.

Просмотр оценок осуществляется в административном модуле путем перехода по соответствующей ссылке из меню работы с БД изданий (рис. 3). Открывающееся при этом окно содержит список всех тематических разделов, введенных для данного конкурса при настройке системы (рис. 7).

Каждая строка меню просмотра оценок является активной ссылкой. При переходе по ней открывается страница, на которой представлен список работ с указанием эксперта, оценившего работу, присвоенной им оценки и среднего численного выражения присвоенных оце- нок. Пример фрагмента страницы с условными изданием и экспертами приведен на рисунке 8.

По завершении конкурса по каждому тематическому направлению формируется итоговая таблица, содержащая наименование издания, количество оценивших его экспертов, суммарную и среднюю числовые оценки экспертов. Эта таблица служит основой для принятия жюри решений по результатам конкурса. В процессе принятия решений жюри имеет возможность ознакомиться с детальной информацией, касающейся оценки любого издания и экспертов, присвоивших ту или иную оценку.

Заключение

Проведенное тестирование системы на реальных конкурсах продемонстрировало надежность, простоту и удобство в обращении как с административным, так и пользовательским модулями. Ни у кого из пользователей в процессе проведения конкурсов, продолжавшихся несколько месяцев, не возникало вопросов по поводу работы с системой.

В то же время в процессе опытной эксплуатации был выявлен ряд направлений, по которым целесообразно провести доработку системы. К таким направлениям относятся, в частности, учет квалификации эксперта в той или иной научной области, возможность проведения экспертизы в пределах одной сессии по различным характеристикам объектов с последующим объединением результатов в соответствии с некоторыми разработанными критериями и др. Работы по развитию системы пред- полагается продолжить.

Система разработана в МСЦ РАН (филиал ФГУ ФНЦ НИИСИ РАН) в рамках госзадания № 0065–2019–0014.

Литература

1.    Антопольский А.Б., Каленов Н.Е., Серебряков В.А., Сотников А.Н. О едином цифровом пространстве научных знаний // Вестн. РАН. 2019. Т. 89. № 7. С. 728–735. DOI: 10.31857/S0869-5873897728-735.

2.    Антопольский А.Б., Босов А.В., Савин Г.И., Сотников А.Н., Цветкова В.А., Каленов Н.Е., Серебряков В.А., Ефременко Д.В. Принципы построения и структура единого цифрового пространства научных знаний (ЕЦПНЗ) // Научно-техническая информация. Сер. 1. 2020. № 4. С. 9–17.

3.    Kalenov N., Sobolevskaya I., Sotnikov A. Mathematical modeling of the processes of interdisciplinary collections formation in the digital libraries environment. Proc. CEUR Workshop, 2020, pp. 391–398.

4.    Encyclopedia. URL: https://www.encyclopedia.com/humanities/dictionaries-thesauruses-pictures-and-press-releases/buridans-ass (дата обращения: 10.04.2020).

5.    Patterson S. Paradox Resolved: Buridans Ass. URL: http://steve-patterson.com/paradox-resolved-buridans-ass/ (дата обращения: 10.04.2020).

6.    Europeana. URL: www.europeana.eu/ (дата обращения: 10.04.2020).

7.    arXiv. URL: https://arxiv.org (дата обращения: 10.04.2020).

8.    КиберЛенинка. URL: http://cyberleninka.ru (дата обращения: 10.04.2020).

9.    International Nuclear Information System. URL: https://inis.iaea.org (дата обращения: 10.04.2020).

10. Division of the American Chemical Society: CAS. URL: https://www.cas.org (дата обращения: 10.04.2020).

11. Reaxys. URL: https://www.reaxys.com (дата обращения: 10.04.2020).

12. Mathematical Reviews Database MathSciNet. URL: https://mathscinet.ams.org (дата обращения: 10.04.2020).

13.  Math-Net.Ru. URL: http://www.mathnet.ru (дата обращения: 10.04.2020).

14. Каленов Н.Е., Савин Г.И., Серебряков В.А., Сотников А.Н.  Принципы построения и формирования электронной библиотеки «Научное наследие России» // Программные продукты и системы. 2012. № 4. С. 30–40.

15. Забровская И.Е., Кириллов С.А., Кондратьева Е.А., Пругло О.А., Сотников А.Н. Вопросы формирования фондов электронной библиотеки «Научное наследие России» // Информационное обеспечение науки: новые технологии: сб. науч. тр. М.: Изд-во БЕН РАН, 2017. С. 184–191.

16. Каленов Н.Е. Управление технологией наполнения электронной библиотеки «Научное наследие России» // Тр. XVI Всерос. науч. конф. RCDL. 2014. С. 357–361.

17. Якшин М.М. Платформа SciRus – основа технологического комплекса электронной библиотеки «Научное наследие России» // Тр. XVI Всерос. науч. конф. RCDL. 2014. С. 362–368.

18. Власова С.А., Васильчиков В.В., Каленов Н.Е., Левнер М.В. Использование экспертных оценок для комплектования централизованных библиотечных систем // Научно-техническая информация. Сер. 1: Организация и методика информационной работы. 2007. № 5. С. 22–26.

19. Власова С.А., Каленов Н.Е. Информатика в академической библиотеке // Системы и средства информатики. 2016. Т. 26. № 3. С. 162–178. DOI: 10.14357/08696527160312.

20. Бочарова Е.Н. Экспертная система комплектования ЦБС БЕН РАН: 2008–2016 гг. // Информационное обеспечение науки: новые технологии: сб. науч. тр. М.: Изд-во БЕН РАН, 2017. С. 271–284.

References

1. Antopolskii A.B., Kalenov N.E., Serebryakov V.A., Sotnikov A.N. Common digital space of scientific knowledge. Vestn. RAS, 2019, vol. 89, no. 7, pp. 728–735. DOI: 10.31857/S0869-5873897728-735 (in Russ.).
2. Antopolskii A.B., Bosov А.V., Savin G.I., Sotnikov А.N., Tsvetkova V.А., Kalenov N.Е., Serebrya-
   kov V.А., Efremenko D.V. The principles of construction and structure of a unified digital space of scientific knowledge (UDSSK). Scientific and Technical Information, Ser. 1, 2020, no. 4, pp. 9–17 (in Russ.).
3. Kalenov N., Sobolevskaya I., Sotnikov A. Mathematical modeling of the processes of interdisciplinary collections formation in the digital libraries environment. Proc. CEUR Workshop, 2020, pp. 391–398.
4. Encyclopedia. Available at: https://www.encyclopedia.com/humanities/dictionaries-thesauruses-pictures-and-press-releases/buridans-ass (accessed April 10, 2020).
5. Patterson S. Paradox Resolved: Buridans Ass. Available at: http://steve-patterson.com/paradox-resolved-buridans-ass/ (accessed April 10, 2020).
6. Europeana. Available at: www.europeana.eu/ (accessed April 10, 2020).
7. arXiv. Available at: https://arxiv.org (accessed April 10, 2020).
8. CyberLeninka. Available at: http://cyberleninka.ru (accessed April 10, 2020).
9. International Nuclear Information System. Available at: https://inis.iaea.org (accessed April 10, 2020).
10. Division of the American Chemical Society: CAS. Available at: https://www.cas.org (accessed April 10, 2020).
11. Reaxys. Available at: https://www.reaxys.com (accessed April 10, 2020).
12. Mathematical Reviews Database MathSciNet. Available at: https://mathscinet.ams.org (accessed April 10, 2020).
13. Math-Net.Ru. Available at: http://www.mathnet.ru (accessed April 10, 2020).
14. Kalenov N.E., Savin G.I., Serebryakov V.A., Sotnikov A.N. Scientific Heritage of Russia Digital Library: Construction and sources aggregation philosophy. Software and Systems, 2012, no. 4, pp. 30–40 (in Russ.).
15. Zabrovskaya I.E., Kirillov S.A., Kondrat'eva E.A., Pruglo O.A., Sotnikov A.N. Issues of formation of funds of the electronic library "Scientific heritage of Russia". Information Support of Science: New Technologies: Collection of Scientific Papers, Moscow, LNS RAS Publ., 2017, pp. 184–191 (in Russ.).
16. Kalenov N.E. Management of electronic library filling technology "Scientific heritage of Russia". Proc. XVI All-Russ. Sci. Conf. RCDL, 2014, pp. 357–361 (in Russ.).
17. Yakshin M.M. SciRus platform is the basis of the technological complex of the electronic library "Scientific heritage of Russia". Proc. XVI All-Russ. Sci. Conf. RCDL, 2014, pp. 362–368 (in Russ.).
18. Vlasova S.A., Vasilchikov V.V., Kalenov N.E., Levner M.V. The use of expert assessments for the acquisition of the centralized library systems. Scientific and Technical Information. Ser. 1, 2007, no. 5,
    pp. 22–26 (in Russ.).
19. Vlasova S.A., Kalenov N.E. Computer science in the academic library. Systems and Means of Informatics, 2016, vol. 26, no. 3, pp. 162–178 (in Russ.). DOI: 10.14357/08696527160312.
20. Bocharova E.N. The expert system of acquisition CLS LNS RAS: 2008-2016. Information Support of Science: New Technologies: Collection of Scientific Papers. Moscow, LNS RAS Publ., 2017, pp. 271–284 (in Russ.).