Вишняков Ю.С. () - Федеральный исследовательский центр «Информатика и управление» РАН, ул. Вавилова, 44-2, г. Москва, 119333, Россия (главный научный сотрудник), г. Москва, Россия, доктор технических наук, Жижченко А.Б. () - Федеральный исследовательский центр «Информатика и управление» РАН, ул. Вавилова, 44-2, г. Москва, 119333, Россия (зав. отделом), г. Москва, Россия, доктор физико-математических наук, Жижченко М.А. () - Вычислительный центр им. А.А. Дородницына РАН, г. Москва, Россия, кандидат физико-математических наук, Поликарпов С.А. () - Федеральный исследовательский центр «Информатика и управление» РАН, ул. Вавилова, 44-2, г. Москва, 119333, Россия (ведущий научный сотрудник), г. Москва, Россия, кандидат физико-математических наук, Сотников А.Н. (asotnikov@iscc.ru) - Федеральный исследовательский центр «Информатика и управление» РАН, ул. Вавилова, 44-2, г. Москва, 119333, Россия (главный научный сотрудник), г. Москва, Россия, доктор физико-математических наук | |
Ключевые слова: информационные ресурсы., сетевые средства, суперкомпьютерные системы, дата-центр, интегрированное информационное пространство |
|
Keywords: information resources, networks, supercomputers, Data Centre, shared information space |
|
|
Информационное обеспечение научных исследований, образовательных программ как основы создания и развития новых технологий и инновационных производств является важнейшим средством выполнения программы модернизации страны. Интеграция существующих и создаваемых научно-образовательных информационных ресурсов в рамках единого информационного пространства – основа для построения инфраструктуры информационного общества. Базовыми элементами этой инфраструкту- ры являются суперкомпьютерные системы, те- лекоммуникационные сети, информационные ресурсы. Сегодня инфраструктура – это совокупность суперкомпьютерных центров, ведомственных и корпоративных сетей, разрозненных наборов научных данных и материалов, созданных в рамках самостоятельных и невзаимосвязанных проектов. Значительные усилия предпринимаются в направлении формирования единой вычислительной среды за счет создания и развития суперкомпьютерных центров в научно-исследовательских и образовательных учреждениях, которые совместно создают и используют масштабируемые суперкомпьютерные мощности на основе глубокой интеграции средствами GRID-технологий. Важным шагом на пути интеграции вычислительных средств является вхождение РАН в европейский консорциум суперкомпьютерных центров DEISA. Проект направлен на коллективное использование вычислительных ресурсов европейских стран, проведение совместных исследований и разработок в области архитектур суперкомпьютеров и организации суперкомпьютерных вычис- лений, создания и совместного использования распределенных информационных ресурсов. В проекте участвуют пятнадцать крупнейших европейских суперкомпьютерных центров, включая и Межведомственный суперкомпьютерный центр (МСЦ) РАН. В России насчитывается более двадцати научно-исследовательских и образовательных сетей, являющихся компонентами общероссийской телекоммуникационной сети науки и образования. Среди них следует выделить RASNet (сеть, представляющую РАН и МГУ), RBNet (Курчатовский научный центр), RUNNet (Минобрнауки РФ). Общими усилиями были заложены основы инфраструктуры научно-образовательной телекоммуникационной сети России с опорными узлами в ведущих научных и образовательных центрах. Важным шагом в формировании единой интегрированной высокоскоростной телекоммуникационной сетевой инфраструктуры в научно-образовательной и исследовательской сферах явилось создание Национальной ассоциации исследовательских и научно-образовательных электронных инфраструктур е-АРЕНА, объединяющей крупнейшие научно-образовательные сети страны и обеспечивающей их интеграцию с европейской научно-образовательной сетью GEANT. В настоящее время под управлением ассоциации e-АРЕНА функционирует базовый узел межсетевого обмена научно-образовательных сетей «GigaNAP/Москва». Научно-образовательные сети подключены к данному базовому узлу каналами связи 1–10 Гбит/с. Европейская научно-образовательная сеть GEANT имеет в своей основе 50 тысяч километров сетевой инфраструктуры, объединяет более 8 тысяч исследовательских институтов, обеспечивает доступ к вычислительным, сетевым и информационным ресурсам около 40 миллионов ученых, специалистов и студентов, включая и российских. Развитие сетевых и компьютерных технологий привело к тому, что в настоящее время в мире стало возможным объединение распределенных разнородных вычислительных ресурсов, хранилищ данных, соответствующего ПО в единую инфраструктуру, на базе которой можно обеспечивать доступ к ресурсам, в том числе к различным имитационным моделям, как к web-сервису в рамках так называемой концепции облачных вычислений. Российское научно-образовательное сообщество, и в первую очередь РАН, является обладателем и генератором огромного научного информационного фонда, сконцентрированного в научных институтах и центрах РАН, а также в библиотеках, архивах и музеях. Эффективное использование этих уникальных информационных фондов в интересах науки, образования и инноваций требует кардинально новых подходов к их организации, формированию и сопровождению, обеспечивающих широкий доступ. Вместе с тем сложившаяся система информационной поддержки научных исследований, образовательных программ и инновационных производств является разрозненной и неоднородной, носит преимущественно узконаправленный и внутриотраслевой характер, ограничивает доступ к накопленным массивам знаний и информации, ведет к потере данных. Это не позволяет в полной мере обеспечить решение задач по формированию и актуализации БД и БЗ, повышению эффективности взаимодействия научных коллективов. Современное развитие исследовательской и научно-образовательной сфер, разработку новых технологий, особенно в таких областях, как нанотехнологии, альтернативная энергетика, биоинженерия и других, невозможно представить без соответствующих информационных технологий. Необходимы определенные имитационные и математические модели различных процессов и явлений, что, в свою очередь, требует решения задач, связанных с обработкой больших массивов данных, и выполнения значительных объемов вычислений, затруднительных даже для суперкомпьютеров. С другой стороны, работы носят принципиально междисциплинарный характер и зачастую требуют сотрудничества коллективов, находящихся в различных регионах. Дорогостоящие, а иногда и уникальные элементы материально-техничес- кой базы, формируемые и необходимые для научных исследований информационные ресурсы также часто оказываются географически разнесенными. Таким образом, в интересах научно-образовательного сообщества возникла необходимость реализовать проект формирования единой среды распределенных информационных ресурсов, как уже существующих, так и вновь создаваемых, с унифицированной системой доступа и с подключением к этой среде широкого круга активных пользователей [1]. Признанной мировой практикой решения проблем накопления, сохранения, интеграции научных данных и знаний, обеспечения унифици- рованного доступа к ним является комплекс технических, технологических и организационных решений, объединенных понятием «Дата-центр». Состояние проблемы в России Во многих научных организациях и исследовательских центрах, и в первую очередь в РАН, накоплены колоссальные объемы данных, представляющих собой результаты экспериментальных исследований и наблюдений, математические модели, на основе которых можно решать самые разнообразные исследовательские, аналитические, образовательные задачи. Российские электронные информационные ресурсы в научной сфере, включая область научного наследия, достаточно многочисленны, однако они чрезвычайно разрозненны, несистемны, несовместимы между собой, различны по качеству и методологии создания, целям и возможностям для дальнейшего развития. Множество проектов в этой сфере, созданных по грантам научных фондов, перестают поддерживаться и исчезают после прекращения финансирования. Крайне слабо осуществляется связь научной и образовательной сфер в этой области. В то же время некоторые информационные ресурсы научно-образовательного профиля являются качественными, вполне жизнеспособными и востребованными научным сообществом. Примером могут служить репозитории экспериментальных и теоретических данных по структурной протеомике (Институт биоорганической химии им. академиков М.М. Шемякина и Ю.А. Овчинникова РАН, г. Москва), востребованные для создания высокоэффективных подходов к рациональному компьютерному конструированию новых молекул (в том числе лекарств, вакцин и пр.) и наноконструкций с заданным спектром биологической активности. Создание фондов численных данных по свойствам веществ и материалов, атомно-молекулярных и наноструктур является одним из ключевых результатов исследований, выполняемых в институтах РАН естественно-научного и технического профилей. Широкую известность приобрели БД ИВТАНТЕРМО, ТЕРМАЛЬ, ЭПИДИФ, включающие обширные массивы информации по теплофизическим и термодинамическим свойствам (Объединенный институт высоких температур РАН, г. Москва) [2]. Начаты работы по организации компьютерных систем хранения и обработки слабоструктурированных данных, характерных для наноструктур и наноматериалов. Следующий проект нацелен на инвентаризацию основных, прежде всего сетевых, информационных ресурсов РАН в части пространственных данных и знаний, накопленных в институтах и других учреждениях РАН географического, геоэкологического, геохимического и геофизического профилей, включая наборы базовых цифровых тематических данных, охватывающих предметные области наук о Земле. Среди них геология, рельеф (геоморфология), почвы, флора, фауна, биологическое разнообразие и биогеографическое районирование, климат, водные объекты суши, мировой океан, особо охраняемые природные территории, объекты культурного наследия, воздействие на окружающую среду, зоны природных рисков, объекты народного хозяйства, население и его демографические характеристики, здравоохранение и безопасность среды обитания (медико-географические характеристики), земельные, водные, биологические, энергетические и минерально-сырьевые ресурсы. Для описания этих данных используется академический профиль метаданных «ГеоМЕТА» [3]. Существенно продвинулась разработка решений, ориентированных на работу с большими объемами информации и интеграции разнородных информационных ресурсов. Здесь следует в первую очередь отметить создание общероссийского математического портала Math-Net.Ru – современной информационной системы, обеспечивающей представителям российского и международного математических сообществ различные возможности в поиске необходимой в научной работе информации [4]. К числу успешных проектов формирования интегрированных информационных ресурсов следует отнести и создание электронной библиотеки «Научное наследие России», объединяющей информационные фонды библиотек, архивов, музеев и научных учреждений РАН и предоставляющей в открытый доступ информацию о российских достижениях в области фундаментальных естественных и гуманитарных наук с возможностью ознакомления с полными текстами научных работ ученых [5]. Все большую популярность в мире приобретает концепция проблемно-ориентированных web-площадок (hub – сетевой концентратор), поддерживающих сотрудничество в конкретных областях науки и образования (например в экономике, биологии и др.). Инновационность подхода состоит в объединении современных концепций web 2.0 с возможностью доступа к прикладным моделям. В этой связи уникальным для России является опыт Института системного программирования РАН (ИСП РАН, г. Москва) по реализации программы «Университетский кластер» [6], организованной ИСП РАН (центр компетенции) совместно с МСЦ РАН, компанией Hewlett-Packard и национальным оператором связи Синтерра. Цель проекта – создание единой инфраструктуры (экосистемы) исследований, разработок и образования в области параллельных и распределенных вычислений, а также создание сообщества пользователей и разработчиков соответствующих технологий. Другим примером является участие РАН в международном проекте OpenCirrus, организованном компаниями Hewlett-Packard, Intel и Yahoo! при участии Национального научного фонда США (NSF), Университета Иллинойса в Урбане-Шампэйн, Министерства развития компьютерных коммуникаций Сингапура, Технологического института в Карлсруэ. Целью проекта Open Cirrus является создание стенда на базе распределенных центров обработки данных для поддержки разработчиков как прикладных, так и системных программных средств в области облачных вычислений. РАН стала первой восточно-европейской организацией, присоединившейся к проекту Open Cirrus, и одним из семи центров компетенции в составе ИСП РАН, МСЦ РАН и РНЦ «Курчатовский институт». Понимание проблемы и необходимый научный и технический задел имеются и в регионах России. Так, в Институте математики и механики Уральского отделения РАН (ИММ УрО РАН, г. Ижевск) разработано уже не одно поколение программных средств для создания электронных каталогов библиотек. В рамках этой работы созданы четыре специализированных библиотечных сервера – в Екатеринбурге, Перми, Ижевске и Сыктывкаре. На них установлено ПО, позволяющее создавать и редактировать электронные каталоги и осуществлять доступ пользователей к ним через Интернет. Разработанное ПО имеет статус FreeWare и распространяется свободно. В рамках проектов формирования и исполь- зования информационных ресурсов в РАН на базе Вычислительного центра им. А.А. Дородницина РАН (г. Москва) проведены исследования и раз- работки, создан задел, который позволяет перейти к масштабному интеграционному проекту – созданию Дата-центра науки, образования и инноваций, который смог бы объединить усилия в данной области учреждений РАН, высшей школы, других организаций научно-информационной сферы России. Именно совместная работа в этом направлении представителей всех заинтересованных ведомств – РАН, вузов страны, исследо- вательских организаций создаст предпосылки для успешной реализации проекта в кратчайшие сроки. Задача интеграции средствами Дата-центра научно-образовательной информации в единое информационное пространство, создание условий его эффективного освоения, несомненно, должна рассматриваться как составная часть стратегии развития отечественной науки и образования и, таким образом, становления и развития информационного общества в России. При реализации проекта необходимо учитывать лучший зарубежный опыт. С одной стороны, целесообразно использовать технологические достижения, современные международные стандарты, технологию открытых систем, семантического Web и др. С другой – важно учесть практический опыт реализации крупных интеграционных проектов в области формирования распределенных научных ресурсов: Еврокомиссии DRIVER, создания Дата-центров, электронных библиотек и др. Наконец, необходимо ориентироваться на тесное взаимодействие с аналогичными проектами в США, Европе, Японии, Китае и в других странах для обеспечения возможности обмена с ними как ресурсами, так и технологиями. Общие принципы создания Дата-центра науки, образования и инноваций Главной целью проекта создания такого Дата-центра является организация качественно новой, современной инфраструктуры для проведения научных исследований, обработки и хранения результатов научных исследований. В ходе выполнения работ по проекту должны быть решены следующие задачи: – обеспечение процедур сбора, хранения, обработки распределенных данных и управления информационными потоками данных и знаний; объединение различных информационных фондов с помощью интегрированного каталога метаданных и механизмов логической адресации единиц хранения; – реализация механизмов и логики управления жизненным циклом данных, включая создание материалов, передачу, хранение, доступ к ним; – предоставление механизмов поиска и доступа пользователей к информационным ресурсам. Пользователи должны получить масштабируемое прозрачное хранилище гетерогенных данных с гарантированным качеством сервиса (защита, сохранность, скорость доступа, точность поиска) и унифицированными механизмами обмена данными разного типа (файлы, таблицы, массивы), совместимое с вычислительными и сетевыми сервисами GRID-инфраструктуры. Хранилище должно поддерживать долговременное хранение, поиск и удобный доступ к параметрам экспериментов, к необработанным экспериментальным данным и результатам их обработки, описаниям математических моделей и данным имитационного моделирования, методикам проведения экспериментов, научным отчетам и комментариям к ним, другим материалам. Объектами хранения в распределенной системе данных должны быть файлы, коллекции файлов, многомерные массивы, базы и банки данных. Участники программы. В ближайшие 2–3 года основными участниками программы должны стать исследовательские центры и институты РАН. В качестве исполнителей в программу могут быть приглашены другие государственные академии, научные библиотеки, архивы, музеи и из- дательства, а также организации-генераторы и держатели научных информационных фондов, профессионально занимающиеся научно-образовательной деятельностью. Предполагается, что проект принципиально должен быть открыт и для других учреждений, а также для зарубежных организаций. Все участники предоставляют в общее пользование имеющиеся у них информационные ресурсы в электронной форме по профильной для участника тематике и в виде, определяемом соглашениями. Каждый участник самостоятельно осуществляет поиск и отбор материалов, удовлетворяющих согласованным требованиям, перевод в электронную форму, создание метаданных, решение правовых и экономических вопросов, связанных с размещением информационных ресурсов в Интернете и предоставлением их пользователю. Централизованно осуществляются контроль качества, управление метаданными и словарями, общая навигация и организация поиска. Вопросы централизации или распределения ресурсов на технических средствах участников, архивирования ресурсов, мониторинга Дата-центра и реализации некоторых других функций определяются отдельными соглашениями. Информационное наполнение Дата-центра. Информационное пространство Дата-центра предлагается организовать на основных сущностях, образующих множество научных данных, таких как файлы, репозитории данных, базы и банки данных, хранилища данных. В информационном пространстве Дата-центра будут представлены результаты экспериментальных исследований, физических наблюдений и экспериментов, математического моделирования, алгоритмы, модели и программы, а также информационные объекты, являющиеся электронными копиями объектов библиотечного, архивного и музейного хранения, – печатных изданий, архивных документов, аудио- и видеоматериалов, музейных экспонатов. Архитектура Дата-центра. Дата-центр строится как распределенная информационная система с выделенным центральным узлом и узлами, объединяющими ресурсы участников. Узлы системы, с одной стороны, являются точками входа в электронные информационные ресурсы организаций-участников проекта, с другой – поставщиками информации для всей распределенной системы. Таким образом, ключевой принцип архитектуры – независимое развитие электронных ресурсов организаций-участников с одновременной интеграцией данных в единое пространство. Это достигается стандартизацией метаданных, форматов предоставления данных, интерфейсов поиска и словарей. Таким образом, каждая из организаций-участников может хранить данные в собственных форматах и предоставлять свои сервисы, но в то же время обеспечивать единые для всех интерфейсы, упомянутые выше. Центральный узел системы должен обеспечивать навигацию, поиск и предоставление данных по всем цифровым ресурсам в соответствии с унифицированными форматами и сервисами, то есть принцип единого окна доступа к запрашиваемым данным и информации, объединенной средствами Дата-центра. Общие (обязательные для всех звеньев) метаданные необходимо создавать на базе международных стандартов. Функциональность Дата-центра науки, образования и инноваций. Основными элементами функциональности Дата-центра являются следующие. · Доступ к информационным ресурсам – запрос, определение местоположения, извлечение, трансформация ресурса; поиск может осуществляться как по атрибутам ресурса, так и по полным текстам. · Управление информационными ресурсами – создание новых информационных объектов и коллекций, внесение их в информационное хранилище Дата-центра, удаление ненужных и изменение существующих. · Управление метаданными и словарями – их создание, поддержка в актуальном состоянии и развитие. · Управление пользователями – их регистрация, учет прав, определение объемов и типов получаемой пользователями информации, обеспечение взаиморасчетов за оказываемые услуги, персональная информация о пользователях. · Системное администрирование – установка, конфигурирование, необходимые периодические мероприятия, восстановление после сбоев, обеспечение сохранности данных. · Мониторинг – учет и анализ посещаемости и цитируемости Дата-центра и его отдельных частей различными категориями пользователей. · Обеспечение защиты информации – создание развитой системы администрирования, пресечения попыток несанкционированного доступа к ресурсам. Организационно-экономические условия реализации проекта Организация работ по проекту. С учетом реальной ситуации должен быть принят принцип постоянного и постепенного расширения круга участников проекта. На первом этапе в нем участвуют несколько организаций РАН. Затем к ним должны присоединиться организации других ведомств, государственных академий, в результате проект будет организован как межведомственный. На более поздних этапах может быть рассмотрена возможность расширения числа участников программы. Для эксплуатации Дата-центра должна быть создана специальная эксплуатационная служба. Также необходимо создать службы эксплуатации в организациях, участвующих в проекте своими инфраструктурными мощностями и информационными фондами. Правовые основы создания Дата-центра. В России принят ряд важнейших государственных решений по вопросам создания и развития информационных технологий, суперкомпьютерных технологий, GRID-технологий, создания ПО. В них отражается необходимость скорейших действий, направленных на достижение сравнимого с мировым уровня информационной инфраструктуры страны. Приняты основы государственной политики в области создания и применения суперкомпьютерных и GRID-технологий в интересах национальной безопасности. Одним из приоритетных направлений технологического прорыва является программа фундаментальных исследований Президиума РАН на 2010 г. «Стратегические информационные технологии, включая вопросы создания суперкомпьютеров и разработки программного обеспечения». Представлен перечень поручений Президента РФ Правительству РФ от 24.01.2008 г., в котором отмечена необходимость принятия мер по обеспечению деятельности национальной научно-исследовательской информационно-вычислительной сети, предоставляющей научным и образовательным центрам доступ к распределенным вычислительным средам высокой производительности. Принята Стратегия развития информационного общества в РФ. В ней задаются общие принципы создания инфраструктуры IT-технологий в России, предлагаются конкретные шаги по реализации этих принципов, определяются контрольные ориентиры на будущее. Одним из важнейших решений стало принятие Федерального закона РФ № 217-ФЗ от 2.08.2009 г. Вместе с вступившей в силу в конце 2006 г. Частью 4 Гражданского кодекса РФ, обеспечивающей охрану интеллектуальной собственности и авторских прав в РФ, этот закон впервые позволил бюджетным научным учреждениям и научным учреждениям государственных академий наук совместно с коммерческими структурами создавать хозяйственные общества, деятельность которых заключается в практическом применении (внедрении) результатов интеллектуальной деятельности. При этом в Законе содержится прямое указание на то, что бюджетные научные учреждения и созданные государственными академиями наук научные учреждения в качестве вклада в уставные капиталы таких хозяйственных обществ могут вносить право использования результатов интеллектуальной деятельности. В перспективе управляемые Дата-центром ресурсы могут получить статус федеральной межотраслевой информационной системы (согласно Федеральному закону «Об информации, информационных технологиях и защите информации»). При этом Дата-центр выступит ее оператором. Взаимодействие с другими информационными системами. Важным направлением функционирования и развития Дата-центра должна стать организация взаимодействия со смежными информационными ресурсами, научными электронными библиотеками и другими организациями, как российскими, так и зарубежными. Для этого необходимо разработать организационно-экономические и технологические регламенты такого взаимодействия, предполагающие координацию сбора и обработки информации, в частности, обмен информационными ресурсами. Регламент должен предусматривать четкие указания на права сторон при различных способах использования материалов Дата-центра. Текущее состояние и ожидаемые результаты На данный момент создана устойчивая кооперация организаций-участников проекта, заинтересованных в размещении своих информационных ресурсов в информационном пространстве Дата-центра в соответствии с разработанными регламентами и процедурами. Проведены работы в направлении каталогизации научно-информационных ресурсов РАН и формирования их метаописаний. В качестве первого этапа интеграции ресурсов предложена система паспортизации ресурсов, адекватно отражающая предметную область, типологию ресурса, условия доступа и пр. [7]. На базе Вычислительного центра им. А.А. Дородницына РАН (г. Москва) сформирована и функционирует пилотная зона Дата-центра. Основными компонентами хранилища данных Дата-центра являются система хранения Hitachi AMS 2100 емкостью 240 ТБ, набор серверов, объединенных локальной сетью с подключением к сети Интернет. Отработаны основные принципы распределенного хранения и обработки данных. Созданы и поддерживаются проблемно-ориентированные web-площадки (механика сплошной среды; пространственные данные, свойства материалов; структурная протеомика). Реализация проекта по созданию Дата-центра как технического, технологического и организационного ядра единого интегрированного информационного пространства науки, образования и инноваций обеспечит решение ряда важных задач и послужит достижению следующих основных целей. · Создание принципиально новой системы организации и использования информационных ресурсов в сфере науки, образования и инноваций, а также реализация распределенной архитектуры для самостоятельного создания участниками проекта информационных ресурсов и централизованной поддержки программных, лингвистических и технологических средств, обеспечивающих необходимую функциональность и единство системы, в частности, одноразовый ввод и обработку информации. · Обеспечение интеграции разнородных материалов, в том числе электронных копий репозиториев научных данных, фондов электронных научных библиотек, банков и баз данных, объектов библиотечного, архивного и музейного хра- нения. · Обеспечение надежной сохранности различных материалов в цифровой форме, а также возможность подключения новых организаций, коллекций и типов информационных ресурсов за счет архитектуры и технологии функционирования Дата-центра. · Разработка и реализация организационно-экономической и правовой модели межотраслевой постоянно действующей и развивающейся информационной системы. Дата-центр науки, образования и инноваций должен стать образцом добровольного сотрудничества и эффективного взаимодействия научных, образовательных и информационных учреждений России в создании общего научно-образовательного информационного пространства. Литература 1. Жижченко А.Б., Сотников А.Н. Создание единой распределенной информационной системы науки, образования и инноваций // Информационное общество: тр. VII Тверского социально-экономич. форума. М.: Ин-т развития информ. об-ва. 2011. Т. 2. 2. Erkimbaev A.O., Zhizhchenko A.B., Zitserman V.Yu., Kobzev G.F., Son E.E., Sotnikov A.N., Integration of Database on Substance Properties: Approach and Technologies, Automatic Documentation and Mathematical Linguistics, 2012, Vol. 46, no. 4, pp. 170–176. 3. Атаева О.М., Кузнецов К.А., Серебряков В.А., Филиппов В.И. Портал пространственных данных «ГеоМета» // RCDL 2010: тр. 12-й Всерос. конф., Казань, 2010. С. 219–224. 4. Жижченко А.Б., Изаак А.Д. Информационная система Math-Net.Ru. Современное состояние и перспективы развития. Импакт-факторы российских математических журналов // Успехи математических наук. 2009. Т. 64. Вып. 4 (388). С. 195–204. 5. Каленов Н.Е., Савин Г.И., Сотников А.Н. Информационная библиотека «Научное наследие России» // Информационные ресурсы России. 2009. № 2. С. 19–20. 6. Гайсарян С.С., Самоваров О.И., Аветисян А.И., Иванников В.П. «Университетский кластер»: интеграция образования, науки и индустрии // Открытые системы. 2010. № 5. 7. Еркимбаев А.О., Жижченко А.Б., Зицерман В.Ю., Кобзев Г.А., Серебряков В.А., Сотников А.Н., Шиолашвили Л.Н. Метаописания и каталогизация научно-информационных ресурсов // Программные продукты и системы. 2012. № 3. С. 117–123. |
http://swsys.ru/index.php?id=3481&lang=%E2%8C%A9%3Den&page=article |
|