На правах рекламы:
ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Авторитетность издания

ВАК - К1
RSCI, ядро РИНЦ

Добавить в закладки

Следующий номер на сайте

4
Ожидается:
09 Сентября 2024

Развитие системы «Экспертиза» как инструмента для формирования энциклопедий и наполнения Единого цифрового пространства научных знаний

Developing the Expert system as a tool to form encyclopedias and to fill the Common digital space of scientific knowledge
Дата подачи статьи: 18.08.2022
Дата после доработки: 18.10.2022
УДК: 004.891
Статья опубликована в выпуске журнала № 4 за 2022 год. [ на стр. 541-548 ]
Аннотация:В статье отражены результаты работ по развитию универсальной настраиваемой web-ориентированной системы экспертизы, предназначенной для выделения из множества объектов тех, которые в максимальной степени отвечают заданным критериям. Оценку каждого объекта осуществляют авторизованные эксперты, которые подбираются на основе характеризующих их структурированных данных, введенных в систему при регистрации эксперта. Система может быть использована для экспертного отбора любых объектов, свойства которых представлены в цифровой форме, а сформулированные критерии оценки определяются этими свойствами. Задача экспертного отбора объектов различного рода является одной из важнейших при формировании контента Единого цифрового пространства научных знаний (ЕЦПНЗ). В основе концепции включения печатных материалов в ЕЦПНЗ лежит принцип точечного отражения (но с глубокой смысловой разметкой текста) наиболее важных фундаментальных изданий в каждой научной области. Отбор таких изданий должен базироваться на экспертном мнении ведущих специалистов в данной области знаний. Принцип экспертного отбора необходимо использовать и при решении вопроса о создании 3D-моделей музейных объектов, а также отражении в ЕЦПНЗ кино-, фото- и аудиоматериалов. Система «Экспертиза» может быть использована для отбора изданий, подлежащих включению в Национальную электронную библиотеку, для отбора авторов статей для Большой российской энциклопедии, для рецензирования статей, поступающих в редакции научных журналов, для проведения конкурсов научных работ, фотографий, видеоматериалов и других объектов, оцениваемые свойства которых могут быть представлены в Интернет. Новая версия системы, представленная в данной статье, по сравнению с предыдущей (2020 г.) обладает более гибким инструментарием настройки – она может быть настроена на экспертизу раз-личных групп (совокупностей) объектов. Объекты каждой совокупности оцениваются по своим критериям своей системой оценок. Под совокупностью можно понимать опубликованные в разные годы фундаментальные монографии, относящиеся к одному научному направлению; статьи, предлагаемые для публикации в определенном журнале; группу специалистов, выразивших желание выступить в качестве авторов заказных научных статей; БД, отражающие объекты одного вида, и т.п. Для каждой совокупности настраивается своя система оценок объектов и существует свой круг экспертов. Результатом работы системы являются различные рейтинговые списки объектов, построенные на основе обработки экспертных оценок. В систему также встроен специальный аппарат, позволяющий пользователю со статусом «администратор» анализировать рейтинговые списки и активность экспертов. В статье дано подробное описание структуры системы, ее функциональности, приводятся примеры использования.
Abstract:The article reflects the results of work on the development of a universal customizable WEB-based expert system designed to distinguish from a variety of objects those that meet the specified criteria to the maxi-mum extent. Authorized experts, who are selected based on structured data characterizing them, which are entered into the system when registering an expert, assess each object. The system can be used for expert selection of any objects whose properties are presented in digital form, and the formulated assessment criteria are determined by these properties. The task of expert selection of objects of various kinds is one of the most important in the formation of the content of the Common digital space of scientific knowledge (CDSSK). The concept of including printed materials in CDSSK is based on the principle of point reflection (but with deep semantic text markup) of the most important fundamental publi-cations in each scientific field. The selection of such publications should be based on the expert opinion of leading experts in this field of knowledge. It is also necessary to use the principle of expert selection when deciding on the creation of 3D models of museum objects as well as reflections in the CDSSK of film, photo and audio materials. The Expertise sys-tem can be used for selecting publications to be included in the National Electronic Library (NEL); for select-ing authors of articles for the Great Russian Encyclopedia; for reviewing articles submitted to the editorial offices of scientific journals; for reviewing articles submitted to the editorial boards of scientific journals; for conducting contests of scientific papers, photographs, video materials and other objects, the evaluated prop-erties of which can be presented on the Internet. Compared to the previous version of the system, the description of which was published in 2020, the new version presented in this article has more flexible configuration tools. It can be configured to the expert re-view of various object groups. The objects of each group are assessed according to their own criteria using their own rating system. By group is meant fundamental monographs published in different years related to the same scientific field; articles proposed for publication in a particular journal; a group of specialists who have expressed a desire to act as authors of commissioned scientific articles, databases reflecting objects of the same type, etc. Each group has its own system of object assessment and own circle experts. The result of the system operation is various rating lists of objects based on processing expert assess-ments. The system also has a special built-in application that allows a user with the “administrator” status to analyze rating lists and the activity of experts. The article provides a detailed description of the system struc-ture, its functionality, and examples of its use.
Авторы: Власова С.А. (svlasova@jscc.ru) - Межведомственный суперкомпьютерный центр (МСЦ) РАН – филиал ФГУ ФНЦ Научно-исследовательский институт системных исследований (НИИСИ) РАН (ведущий научный сотрудник), Москва, Россия, кандидат технических наук, Калёнов Н.Е. (nkalenov@jscc.ru) - Межведомственный суперкомпьютерный центр (МСЦ) РАН – филиал ФГУ ФНЦ Научно-исследовательский институт системных исследований (НИИСИ) РАН (профессор, главный научный сотрудник), Москва, Россия, доктор технических наук, Сотников А.Н. (asotnikov@iscc.ru) - Федеральный исследовательский центр «Информатика и управление» РАН, ул. Вавилова, 44-2, г. Москва, 119333, Россия (главный научный сотрудник), г. Москва, Россия, доктор физико-математических наук
Ключевые слова: конкурс, отбор информационных ресурсов, программное обеспечение, web-технология, рейтинговый список, экспертная оценка, цифровое пространство научных знаний
Keywords: content formation, selection of information resources, the software, WEB technologies, rating list, expert estimation, digital space of scientific knowledge
Количество просмотров: 2748
Статья в формате PDF

Размер шрифта:       Шрифт:

Распространение научных знаний является неотъемлемым атрибутом современного общества. В доцифровую эпоху важнейшей составляющей этого процесса являлось издание многотомных энциклопедий, содержащих достоверную, проверенную временем научную информацию. Для обеспечения актуальности   отражаемой информации периодически прихо-  дилось допечатывать новые тома, а по прошествии определенного времени полностью переиздавать многотомное издание. Многие страны выпускают собственные национальные энциклопедии, включающие многоаспектную важнейшую мировую информацию, относящуюся ко всем сторонам жизни общества. Подобные энциклопедии выпускались в дореволюционной России, в Советском Союзе и в современной России. Последней печатной версией Российской энциклопедии является отраженное в каталоге Российской государственной библиотеки (РГБ) многотомное издание, датированное 2015 годом [1]. Очевидно, что энциклопедии прошлых лет выпусков содержат значительный объем информации, относящейся к историческим событиям, персоналиям, научным достижениям, актуальной и в настоящее время, поэтому в сети представлены цифровые варианты печатных версий, в частности, 3-е издание Большой советской энциклопедии [2]. Эта цифровая версия организована по аналогии с печатными указателями (пользователь выбирает по алфавиту том и его часть, содержащую интересующую его статью, и, пролистывая текстовый файл, переходит к нужной статье). Текст статьи содержит html-разметки, позволяющие переходить к смежным статьям. В данной версии отсутствует возможность поиска статей по названиям или по фрагментам текста.

Современные технологии позволяют создавать цифровые энциклопедии, доступные практически неограниченному кругу пользователей и содержащие актуальную в каждый момент времени информацию. Подобными проектами являются, в частности, создание электронной версии Большой российской энциклопедии (БРЭ) и анонсированное в [3] формирование на ее базе портала «Знание» [4] как альтернативы Википедии. Но и БРЭ, и портал «Знание» являются по сути достаточно тривиальным развитием традиционных подходов к построению энциклопедических словарей – по непрозрачным критериям отбираются специалисты,   которым заказываются слоты (статьи, содержащие описания того или иного объекта). В тексте слота даются ссылки на статьи, относящиеся к другим объектам, в той или иной мере связанным с данным, и библиографические ссылки на издания, в которых подробно рассматривается описываемый объект.

Проблема при создании энциклопедических ресурсов, если говорить о научных понятиях и достижениях, состоит в том, что они должны содержать полную и актуальную информацию, относящую к каждой научной области. А выполнение этого требования в значительной мере определяется выбором авторов и набором статей, отражающих данное научное направление. Одним из инструментов определения перечня необходимых статей и подбора их авто-  ров может являться экспертная система, в рамках которой широкий круг специалистов оценивает целесообразность того или иного варианта и на основании этих оценок принимается окончательное решение.

Энциклопедические справочные материалы, безусловно, необходимы широкому кругу пользователей, но они не дают непосредственных ответов на фактографические вопросы, не отражают различные виды связей между объектами. Принципиально новой информационной системой хранения и распространения научной информации является Единое цифровое пространство научных знаний (ЕЦПНЗ).   В соответствии с концепцией, отраженной   в [5–8], ЕЦПНЗ представляет собой совокупность разнородных информационных ресурсов, сгруппированных в тематические подпространства, объединяемые единой онтологией и отражающие многоаспектные связи между объектами и их свойствами. ЕЦПНЗ декларируется как интегратор существующих информационных систем (в том числе БРЭ, БСЭ,   Википедии, НЭБ и др.), обеспечивающий обработку, хранение и распространение «отборных» материалов, достоверно отражающих научные достижения, при минимальном дублировании. Пользователь (в том числе элемент искусственного интеллекта) должен получать из ЕЦПНЗ информацию, не требующую дополнительного анализа и выбора. В этом состоит одно из отличий ЕЦПНЗ от других научных информационных систем.

Вопрос отбора изданий, подлежащих отражению в цифровом виде в ЕЦПНЗ, исключительно важен. В общем случае при формировании ЕЦПНЗ возникает вопрос отбора для включения в пространство не только цифровых публикаций, но и других видов ресурсов, представленных в мировом информационном пространстве в виде практически идентичных реализаций. Это могут быть документальные и фактографические БД, каталоги ресурсов, коллекции фотографий и т.п.

Для обеспечения высокого качества и исключения дублирования информации отбор контента для включения в ЕЦПНЗ должен базироваться в значительной мере на экспертных оценках однотипных ресурсов. Очевидно, что в современных условиях экспертные оценки необходимо собирать и обрабатывать с помощью специализированных автоматизированных систем.

Анализ подобных систем, представленных в информационном пространстве, показывает, что разрабатываются узконаправленные системы, ориентированные на оценку тех или иных материалов в вузе или на промышленном предприятии [7–9]. Информацию о наличии web-ориентированной системы, настраиваемой на определенный круг экспертов и материалов, обладающих теми или иными свойствами, подлежащими оценке, обнаружить не удалось.

Для решения вышеперечисленных задач   в МСЦ РАН в 2020 г. была разработана система «Экспертиза» [10], целью которой является формирование рейтингового списка подлежащих отбору цифровых объектов на основании оценок, присвоенных им группой авторизо-  ванных экспертов. В 2021–2022 гг. система «Экспертиза» получила свое дальнейшее развитие.

В новой версии системы было определено понятие «совокупность объектов». В качестве совокупности может выступать группа объектов, объединенных некоторой характеристикой. Это могут быть учебники или научные издания по определенной тематике, фактографические или документальные БД по тому или иному научному направлению, студенческие работы, фотографии и т.п. Система может поддерживать несколько таких совокупностей, обеспечивая работу с ними как администраторов, так и экспертов.

Каждая совокупность определяет массив оцениваемых объектов (объекты совокупности). Объекты совокупности (метаданные и ссылки на их цифровые копии) загружаются в пакетном режиме или вводятся вручную.

При настройке системы для каждой совокупности формируются следующие таблицы: виды объектов, тематические разделы, оцениваемые характеристики объектов, оценки.

Виды объектов, например, для совокупности научных изданий – монография, справочник, учебное пособие и др. Таблица тематических разделов представляет собой названия тематик, определенных в той или иной совокупности. Объект совокупности может относиться к нескольким тематикам. Система позволяет использовать сформированную таблицу тематических разделов некоторой совокупности для других совокупностей.

Объекты в системе оцениваются по характеристикам, определенным для данной совокупности. Например, для совокупности научных изданий характеристики, по которым оцениваются объекты, могут включать научную новизну, теоретическую и практическую значимость, качество оформления и т.д.

Для каждой характеристики формируется набор оценок: наименование оценки и ее допу-  стимые числовые значения, представляющие собой заданный числовой диапазон либо перечень значений. Профиль метаданных оценок содержит указание на оцениваемую совокупность, наименование оцениваемых характеристик объектов, входящих в данную совокупность, и набор пар «числовое значение–словесное выражение» по каждой оцениваемой характеристике.

Объекты совокупности оцениваются авторизованными экспертами. Система поддерживает БД экспертов и БД организаций, в которых работают эксперты.

Каждый эксперт может оценивать объекты только тех тематик, которые соответствуют его научному профилю. Элементы, отражающие научный профиль эксперта, указываются в тех же терминах, что и тематика. Они представлены в метаданных каждого эксперта вместе с относительным весом данного элемента для данного эксперта. Относительный вес – число, устанавливаемое администратором системы в зависимости от квалификации эксперта по данному научному направлению. У одного эксперта может быть несколько пар «элемент научного профиля–относительный вес».

Структура системы

Система обеспечивает создание и поддержку следующих взаимосвязанных сущностей: совокупность объектов, объект, тематическая таблица, тематика, вид объекта, характеристика объекта, оценка, эксперт, ученая степень, организация, вес эксперта, полученная оценка объекта.

Представим профили метаданных сущностей.

Совокупность объектов: идентификатор совокупности, наименование, информация о совокупности, идентификатор тематической таблицы, дата начала экспертизы, дата окончания экспертизы.

Объект: идентификатор объекта, идентификатор совокупности, к которой относится объект, наименование объекта, описание объекта, URL объекта, тематики (1:n), идентификатор вида объекта, дата начала экспертизы, дата окончания экспертизы.

Тематическая таблица: идентификатор, наименование таблицы, тематики (1:n).

Тематика, Вид объекта, Ученая степень: идентификатор, наименование.

Характеристика объекта: идентификатор записи, наименование характеристики, идентификатор совокупности объектов.

Оценка: идентификатор записи, идентификатор характеристики, наименование оценки, вид оценки (числовой интервал или конкретное значение), числовое значение (для вида оцен-  ки – конкретное значение), интервал оценки от (для вида оценки – числовой интервал), интервал оценки до (для вида оценки – числовой интервал).

Эксперт: идентификатор записи, фамилия, имя и отчество, электронный адрес, логин, пароль, организация (1:n), ученая степень (1:n), научный профиль + «вес» эксперта в данной области науки (1:n), совокупность объектов, для которой является экспертом (1:n).

Организация: идентификатор, название организации, контактные данные, дополнительная информация.

Вес эксперта: идентификатор записи, наименование, числовое значение.

Полученная оценка объекта: идентификатор записи, идентификатор объекта, идентификатор эксперта, идентификатор характеристики, идентификатор оценки, числовое значение, комментарий эксперта.

Система реализована на основе технологии Microsoft ASP.NET 4 на платформе Microsoft .NET Framework в среде разработки Microsoft Visual Studio 2019 и состоит из двух модулей: административного (http://dirsmsc.ru/exprt/adm.  html) и пользовательского (http://dirsmsc.ru/  exprt/).

Реализации системы

В 2021 г. на базе новой версии системы «Эксперт» были проведены две сессии, организованные издательским домом «Директ-Медиа»: «Конкурс учебников и учебных пособий» и «II Всероссийский конкурс монографий». Проиллюстрируем интерфейс работы с системой на примере проведения «Конкурса учебников и учебных пособий».

Настройка системы на конкретный конкурс осуществляется в административном модуле. Для проведения конкурса была определена новая совокупность объектов с именем «Конкурс учебников и учебных пособий». Для данной совокупности создана тематическая таблица «Направления конкурса учебников и учебных пособий» (рис. 1). В систему в пакетном режиме были загружены 157 работ, которые являются объектами данной совокупности.

Далее администратором системы были определены характеристики, по которым должны оцениваться объекты. Для данного конкурса была задана одна характеристика с именем «Научная значимость», а затем для нее введены оценки – словесное выражение и числовое значение (рис. 2). Администратором также была сформирована таблица «весов» для экспертов.

Из базы экспертов системы выбираются эксперты, которые будут оценивать объекты данной совокупности. Для каждого такого эксперта в режиме «Редактирование эксперта» указывается совокупность «Конкурс учебников и учебных пособий», затем выбирается   тематика (научный профиль) и для нее «вес» эксперта (рис. 3). У эксперта может быть несколько научных профилей с соответствующими «весами».

Эксперты, работая в пользовательском модуле системы, знакомятся с представленными в системе объектами, соответствующими их научному профилю, и присваивают каждой характеристике объекта оценку из предложенного системой списка наименований оценок. По каждой присвоенной оценке вводится комментарий – текстовое обоснование ее выбора. На рисунке 4 приведен пример оценки экспертом произведения, представленного в данном конкурсе.

При проведении экспертизы эксперты имеют возможность менять ранее присвоенные оценки. После окончания срока экспертизы, отражаемого в метаданных объекта, оценки изменить невозможно.

Таблица 1Пример полученных объектом оценокTable 1An example of the ratings received by an objectЭксперт	Оценка	КомментарийЛаврищева Екатерина Михайловна	Претендует на получе-ние Гран-при – 5	Рассмотрены 10 разделов. 1. Компьютерное моделирование экономи-ческих процессов. 2. Средства EXCEL. 3. Информационные технологии выборки данных. 4. Автоматизация финансовых расчетов в EXCEL.   5. Компьютерная поддержка денежных расходов. 6. Технология парал-лельного анализа данных. 7. Примеры экономических расходов. 8. Оп-тимизация модели в EXCEL. 9. Графический анализ данных. 10. Ком-пьютерные модели учета поставок на склад. Отлично представлен материалНагаева Ирина Алек-сандровна	Претендует на первое место – 4	Работа носит практико-ориентированный характер. Следует обновить список литературыЦветкова   Валентина Алексеевна	Хорошая работа – 3	А.И. Колокольникова «Компьютерное моделирование для финансовой деятельности», а точнее, использование EXSEL в финансовых процес-сах. Использование иных программных средств не рассматривается. Практически все знания можно получить из Энциклопедии EXSEL. Де-тальность изложения и доступные для студентов примеры делают ра-боту хорошим методическим материаломВо время проведения экспертизы администратор системы имеет возможность просмотреть текущие оценки по каждому объекту, присвоенные различными экспертами (табл. 1), Таблица 2Активность экспертовTable 2Expert activityЭксперт	Оценено объектовЕфимова Ольга Владимировна	Экономика и менеджмент: 12 из 56Цветкова Валентина Алексеевна	Информационные технологии: 10 из 14Девлетов Олег Усманович	Политология: 1 из 1. История: 9 из 9Румянцева Елена Евгеньевна	Экономика и менеджмент: 10 из 56Лаврищева Екатерина Михайловна	Информационные технологии: 10 из 14Тюленева Татьяна Александровна	Экономика и менеджмент: 9 из 56Мошин Андрей Юрьевич	Экономика и менеджмент: 9 из 56Осипова Алла Александровна	Экономика и менеджмент: 9 из 56Прохоренко Юрий Иванович	Философия: 3 из 3. Социология: 6 из 6Пилоян Маргарита Грачневна	История: 9 из 9Синицкая Наталья Яковлевна	Экономика и менеджмент: 8 из 56Агаркова Любовь Васильевна	Экономика и менеджмент: 8 из 56Шинина Татьяна Васильевна	Психология: 8 из 8Голикова Татьяна Александровна	Филология: 3 из 7. Иностранные языки: 5 из 12Кропачев Сергей Александрович	История: 8 из 9Попов Евгений Борисович	Иностранные языки: 5 из 12. Филология: 3 из 7Ильина Ирина Юрьевна	Экономика и менеджмент: 7 из 56объекты, которые оценил каждый эксперт, выявить объекты, не получившие оценок, получить данные об интенсивности работы каждого эксперта.

По окончании экспертизы система формирует различные рейтинговые списки объектов с указанием числовых значений полученных оценок. При подсчете каждая оценка, присвоенная экспертом, умножается на «вес» эксперта по данному тематическому направлению.

Система также выдает статистику работы экспертов: какое количество объектов и по каким научным направлениям оценено (табл. 2), какие оценки и каким объектам присвоены данным экспертом или выбранной по тому или иному признаку группой экспертов.

Заключение

Разработанная система прошла апробацию при проведении ряда конкурсов на лучшую научную студенческую работу и лучшую научную публикацию, организованных издательством «Директ Медиа» при участии МСЦ РАН. В планах развития системы – ее настройка для использования в качестве цифровой платформы при организации рецензирования статей, поступающих в научные журналы, и рассмотрении издательствами предложений авторов о публикациях научных монографий.

Работа выполнена в МСЦ РАН – филиале ФГУ ФНЦ НИИСИ РАН в рамках государственного   задания по теме FNEF-2022-0014.

Литература

1.     Осипов Ю.С. и др. Большая российская энциклопедия. М.: Большая российская энциклопедия, 2015.

2.     Большая советская энциклопедия. URL: http://bse.uaio.ru/BSE/bse30.htm (дата обращения: 01.08.2022).

3.     Большая российская энциклопедия. URL: https://bigenc.ru (дата обращения:  01.08.2022).

4.     РАН. Новости. Энциклопедический портал «Знания» как альтернатива Википедии. URL: http://www.ras.ru/news/shownews.aspx?id=b2fbc33e-71bb-4f9d-8d47-8afe983cfd01&fbclid=IwAR16wo  Chih0c_jKUnGlbEl2CZjloFowUdpdnHLGVO_450COlexAi1hUxgpY (дата обращения: 01.08.2022).

5.     Антопольский А.Б., Каленов Н.Е., Серебряков В.А., Сотников А.Н. О едином цифровом пространстве научных знаний // Вестн. Российской академии наук. 2019. Т. 89. № 7. С. 728–735. DOI: 10.31857/S0869-5873897728-735.

6.     Савин Г.И. Единое цифровое пространство научных знаний: Цели и задачи // Информационные ресурсы России. 2020. № 5. С. 3–5. DOI: 10.51218/0204-3653-2020-5-3-5.

7.     Мезенцева М.С., Камальдинова З.Ф. Информационная система дистанционного проведения конкурса научных работ // Цифровизация и управление в социальных системах: сб. науч. тр. 2019.   С. 42–46

8.     Кочитов М.Е., Баженов Р.И. Проект разработки информационной системы «Сервис» по организации конкурсов научно-исследовательских работ (НИР) // Постулат. 2018. № 12. С. 1–11.

9.     Круглик Р.И., Баженов Р.И. Разработка ВЕБ-ориентированного сервиса организации и поддержки конкурсов научно-исследовательских работ // Постулат. 2017. № 5-1 (19). С. 1–7.

10. Власова С.А., Каленов Н.Е., Сотников А.Н. Web-ориентированная система формирования контента единого цифрового пространства научных знаний // Программные продукты и системы. 2020.   Т. 33. № 3. С. 365–374. DOI: 10.15827/0236-235X.131.365-374.

References

 

1.    Osipov Yu.S. Great Russian Encyclopedia. Moscow, Great Russian Encyclopedia Publ., 2015 (in Russ.).
2.    Great Soviet Encyclopedia. Available at: http://bse.uaio.ru/BSE/bse30.htm (accessed August 01, 2022) (in Russ.).
3.    Great Russian Encyclopedia. URL: https://bigenc.ru (accessed August 1, 2022).
4.    RAS. News. Encyclopedic Portal "Knowledge" as an Alternative to Wikipedia. Available at: http://www.ras.ru/news/shownews.aspx?id=b2fbc33e-71bb-4f9d-8d47-8afe983cfd01&fbclid=IwAR16woChih0c_jKUnGlbEl2CZjloFowUdpdnHLGVO_450COlexAi1hUxgpY (accessed August 01, 2022) (in Russ.).
5.    Antopolskii A.B., Kalenov N.E., Serebryakov V.A., Sotnikov A.N. Common digital space of scientific knowledge. Vestn. Rossijskoj Akademii Nauk, 2019, vol. 89, no. 7, pp. 728–735. DOI: 10.31857/S0869-5873897728-735 (in Russ.).
6.    Savin G.I. Common digital space of scientific knowledge: goals and objectives: Goals and tasks. In-formation Resources of Russia, 2020, no. 5, pp. 3–5. DOI: 10.51218/0204-3653-2020-5-3-5 (in Russ.).
7.    Mezentseva M.S., Kamaldinova Z.F. An information system for holding a competition of scientific works remotely. Proc. Digitalization and Management in Social Systems, 2019, pp. 42–46 (in Russ.).
8.    Kochitov M.E., Bazhenov R.I. The project of developing the information system "service for the or-ganization of contests for science-research works (SRW)". Postulat, 2018, no. 12, pp. 1–11 (in Russ.).
9.    Kruglik R.I., Bazhenov R.I. Development of a web-based service organization and support science-research competitions. Postulat, 2017, no. 5, pp. 1–7 (in Russ.).
10.    Vlasova S.A., Kalenov N.E., Sotnikov A.N. A web-based content generation system for a common digital space of scientific knowledge. Software & Systems, 2020, vol. 33, no. 3, pp. 365–374. DOI: 10.15827/0236-235X.131.365-374 (in Russ.).


Постоянный адрес статьи:
http://swsys.ru/index.php?page=article&id=4941
Версия для печати
Статья опубликована в выпуске журнала № 4 за 2022 год. [ на стр. 541-548 ]

Возможно, Вас заинтересуют следующие статьи схожих тематик: