Программные продукты и системы

Статьи из свежего выпуска

Упорядочить результаты по: Дате публикации | Заголовку статьи | Авторам

1. Методы и средства извлечения терминов из текстов для терминологических задач [№1 за год]
Авторы: Большакова Е.И., Семак В.В.
Просмотров: 487
В статье рассматривается современное состояние области автоматического извлечения терминов из специализированных текстов на естественном языке, включая научно-технические документы. К числу актуальных практических приложений методов и средств извлечения терминов из текстов относятся создание терминологических словарей, тезаурусов и глоссариев предметных областей, а также выявление ключевых слов и построение предметных указателей для узкоспециализированных документов. Представлен обзор подходов к автоматическому распознаванию и извлечению терминологических слов и словосочетаний, охватывающих традиционные статистические методы, а также методы на основе машинного обучения, включая обучение по признакам терминов и с применением современных нейросетевых языковых моделей. Проводится сравнение подходов, в том числе оценки качества распознавания и извлечения терминов, указываются наиболее известные программные средства для автоматизации извлечения терминов в рамках статистического подхода и обучения по признакам. Описываются исследования, проведенные авторами для распознавания терминов на базе нейросетевых языковых моделей применительно к обработке научных текстов по математике и программированию на русском языке. Кратко характеризуется набор данных с терминологической разметкой, созданный для обучения программных моделей распознавания терминов и охватывающий данные семи близких предметных областей. Программные модели разработаны на основе предобученной нейросетевой модели BERT c ее дообучением двумя способами: как бинарного классификатора терминов-кандидатов (предварительно извлеченных из текстов) и как классификатора для последовательной разметки терминологических слов в обрабатываемых текстах. Для разработанных моделей экспериментально определены оценки качества распознавания терминов, проведено сравнение со статистическим методом. Лучшие результаты продемонстрировали модели бинарной классификации, существенно превосходя остальные рассмотренные подходы. Проведенные эксперименты показывают применимость обученных моделей и для текстов близкой научной области.

2. Использование семантического анализа для автоматизированного выявления хайповых технологий [№1 за год]
Авторы: Логинова И.В., Пиекалнитс А.С., Соколов А.В.
Просмотров: 602
Предметом проведенного исследования являются завышенные общественные ожидания от новых технологий (хайпов). В статье представлены результаты разработки и апробации методики автоматизированного выявления хайпов среди технологических тематик на основе их текстового следа на примере сферы цифровых технологий. Количество новых технологических разработок в мире постоянно растет, однако реальный потенциал их практического применения может сильно различаться. Важно понимание надежных факторов, позволяющих отличать тренды от хайпов. К числу возможных признаков хайпов отраслевые и технологические эксперты предлагают относить, как правило, отсутствие устойчивой бизнес-модели, несформированный или заведомо ограниченный потребительский рынок, большое количество более эффективных альтернатив. Выявление хайпов в технологической повестке было и остается сложной аналитической задачей. Это обусловлено несогласованностью терминологического аппарата, экспертной природой задачи, недостаточно развитыми методологическими подходами, отсутствием конкретных технических инструментов. Описываемая в статье методика включает извлечение методами обработки естественного языка и компьютерной лингвистики из нескольких десятков миллионов текстовых документов различных типов (научные публикации, патенты, рыночная аналитика) терминов, означающих технологии, расчет объективной меры хайповости каждой технологии, а также построение визуальной карты – наглядного представления ландшафта технологий, позволяющего отделить устойчивые тренды от потенциальных хайпов (тематик с высоким значением показателя хайповости). Хайп-карты в комплексе с другими аналитическими результатами могут использовать лица, принимающие решения, в задачах выявления приоритетных направлений развития, анализа текущих и прогнозирования будущих трендов, риск-менеджмента.

3. Генетический алгоритм размещения требований в задаче планирования производственных процессов потокового типа [№1 за год]
Авторы: Кибзун А.И., Рассказова В.А.
Просмотров: 506
В статье рассматривается задача планирования производственных процессов потокового типа. В рамках каскадной схемы комплексное решение охватывает этап назначения подготовительных агрегатов и последующий этап формирования детализированных технологических маршрутов для исполнения заданного множества требований точно в срок и с учетом ограничений на допустимые длительности обработки на каждом переделе. Данная схема реализуется в составе проблемно-ориентированного вычислительного комплекса, однако по ряду естественных причин задача может оказаться несовместной уже на этапе назначения подготовительных агрегатов. Один из путей преодоления обозначенных трудностей – разработка и реализация алгоритмов штрафных функций для поиска максимальных совместных подсистем в противоречивых задачах оптимизации. В настоящей работе для этих целей предлагается идеологически другой подход, основанный на рассмотрении предварительного этапа размещения требований таким образом, чтобы последующие этапы решения комплексной задачи были гарантированно разрешимы. Размещение требований формализуется как задача поиска отображения установленного вида, оптимального по эвристическому критерию потенциальной нагрузки на подготовительные агрегаты в рассматриваемом периоде планирования. Для решения этой задачи авторы статьи разработали генетический алгоритм, что обусловило существенное преимущество по быстродействию в сравнении с фундаментальными подходами математического программирования (например, в сравнении с моделями целочисленного линейного программирования). В целях снижения рисков вымирания популяции на каждой итерации генетического алгоритма применяется правило безусловной миграции представителя с наименьшим значением критерия. Такой подход обеспечивает также эффективные показатели сходимости алгоритма по числу итераций без существенного улучшения целевого функционала. Разработанный генетический алгоритм реализуется как автономный модуль вычислительного комплекса для решения задач планирования процессного производства. Вычислительный эксперимент проводится с использованием данного модуля в разрезе сравнительного анализа качества решения исходной комплексной задачи.

4. Гибридный подход к выделению структурированных данных из «Летописи жизни и творчества А.С. Пушкина» [№1 за год]
Авторы: Кокорин П.П., Котов А.А., Кулешов С.В., Зайцева А.А.
Просмотров: 517
Статья посвящена решению проблемы создания программной инфраструктуры для систематизации, аннотирования, хранения, поиска и публикации рукописей и иных материалов, представленных в цифровом виде. Исследование построено на материалах, связанных с жизнью и творчеством А.С. Пушкина и составляющих важную часть научно-просветительского ресурса «Пушкин цифровой». Актуальность решаемой проблемы обусловлена необходимостью сохранения авторского наследия русских писателей в условиях цифровой трансформации предметной области филологических, источниковедческих и библиографических исследований их трудов, что является частью национальных проектов Российской Федерации «Образование», «Культура», «Наука и университеты». В данном контексте особую роль играет решение задачи извлечения структурированного текста из растровых изображений страниц томов «Летописи жизни и творчества А.С. Пушкина» для использования в разрабатываемых системах хранения, систематизации, публикации материалов библиотечных, архивных, музейных, фонографических и иных фондов и коллекций и частичной автоматизации филологических, источниковедческих и библиографических исследований. В работе предложен гибридный подход, основанный на использовании априорных данных о структуре элементов верстки страницы, технологиях OCR – распознавание текста на базе библиотеки Tesseract и методах верификации. Особенностью разработанных методов верификации является использование регулярных выражений для извлечения структурированных данных из предварительно распознанного текста и автоматизированного конвейера обработки текстов в сборочной системе GitLab. Приведены результаты применения предложенного гибридного подхода. Показано, что этот подход дает удовлетворительные результаты, обеспечивая минимизацию ручной постобработки полученных данных путем вычитки результатов, размещаемых на научно-просветительском ресурсе. Полученные результаты могут использоваться не только в разрабатываемом ресурсе «Пушкин цифровой», но и в других проектах, в основе реализации которых лежит необходимость распознавания и автоматизированной обработки больших объемов оцифрованных авторских текстов, архивных и других бумажных документов.

5. Моделирование надежности программных компонентов киберфизических систем [№1 за год]
Авторы: Привалов А.Н., Ларкин Е.В., Богомолов А.В.
Просмотров: 451
Актуальность данного исследования обусловлена тем, что надежность программных компонентов киберфизических систем является ключевой составляющей их эффективного функционирования. Ее адекватное математическое моделирование имеет существенное значение для прогресса цифровизации экономики. Работа направлена на устранение недостатков известных подходов к моделированию надежности программных компонентов, при реализации которых оценки характеристик надежности формируются на основе эмпирических данных о количестве ошибок, выявленных при тестировании программ. Поэтому результаты тестирования существенно зависят как от его длительности, так и от полноты покрытия области обрабатываемых данных подобластью данных, генерируемых при тестировании, что снижает эффективность оценивания надежности. Предметом исследования стали методы моделирования надежности программных компонентов киберфизических систем, характеризуемой временем запаздывания в цепи обратной связи между компонентами. В работе использованы методы программной инженерии, теории надежности, теории вероятностей и марковских процессов. Основным результатом являются математические модели надежности программных компонентов киберфизических систем, объединяющей полумарковские модели программных компонентов, генерации их сбоев и отказов. Разработанные математические модели основаны на структурно-параметрической полумарковской модели сбоев и отказов программного обеспечения, параметры которой определяются вычислительной сложностью и требованиями, предъявляемыми к программному обеспечению с учетом его функционального назначения. Получены формализованные описания пуассоновских потоков сбоев и отказов программных компонентов киберфизической системы. Практическая значимость работы определяется ее ориентированностью на применение для определения надежности программных компонентов на всех этапах жизненного цикла киберфизических систем, элементы которых взаимодействуют, самонастраиваются и адаптируются к изменениям с помощью стандартных программно реализуемых протоколов.

6. Планирование вычислений в системах реального времени: эффективные алгоритмы построения оптимальных расписаний [№1 за год]
Авторы: Кононов Д.А., Фуругян М.Г.
Просмотров: 412
В статье рассматриваются вопросы, связанные с разработкой одного из основных блоков вычислительной системы реального времени – блока планирования вычислений. Предлагаются алгоритмы построения оптимальных расписаний для различных случаев в зависимости от числа процессоров и характеристик работ и ресурсов вычислительной системы. Для однопроцессорного случая с прерываниями и директивными интервалами усовершенствован алгоритм относительной срочности путем использования кучи для хранения данных. Это способствовало понижению вычислительной сложности алгоритма. Разработан алгоритм для задачи с частичным порядком выполнения работ, основанный на предварительной коррекции моментов готовности и директивных сроков и на сведении исходной задачи к задаче без отношений предшествования. Для многопроцессорного случая с прерываниями и директивными интервалами предложен приближенный алгоритм, основанный на обобщении однопроцессорного алгоритма относительной срочности на случай нескольких процессоров. Проведен сравнительный анализ с точным потоковым алгоритмом. Доказано, что в случае учета временных издержек на прерывания и переключения задача является NP-трудной. Для многопроцессорного случая без прерываний и переключений с общим директивным интервалом для всех работ и идентичными процессорами разработан псевдополиномиальный алгоритм, основанный на ограниченном переборе вариантов. Создан приближенный алгоритм для системы с возобновляемыми и невозобновляемыми ресурсами, а также для комплекса со смешанным набором работ (как непрерываемых, так и допускающих прерывания и переключения). Алгоритм основан на сетевом моделировании и сведении исследуемой задачи к поиску потока с определенными свойствами в специальной сети.

7. Система верифицируемых спецификаций программных компонентов с поддержкой встраивания и извлечения [№1 за год]
Автор: Шапкин П.А.
Просмотров: 458
Объектами данного исследования являются спецификация и верификация программных систем и их компонентов. Предмет исследования – унифицированный язык спецификаций, оснащенный соотнесением как с системами случайного тестирования, так и со средствами статической верификации на основе систем типов. Разнообразие языков программирования, систем конфигурирования, развертывания и другие инструменты требуют от разработчиков усилий по их интеграции. Упростить задачу помогает наличие верифицируемых спецификаций компонентов. В работе предложен подход к унифицированному представлению спецификаций, интегрированному с системами как для статической проверки типов, так и для динамического тестирования. Это решение опирается на методы аппликативных вычислительных систем и теории типов и предоставляет понятийный каркас для построения спецификаций, встраиваемых в различные программные среды. Недостаток возможностей статической верификации из-за ограниченности систем типов до некоторой степени устраняется за счет динамического тестирования. Тестирование осуществляется посредством интерпретации спецификаций в определения для систем случайного тестирования на основе свойств. Практическая значимость предлагаемого подхода состоит, в частности, в автоматизации процесса построения типизированных оберток, или фасадов, необходимых для использования компонентов из менее типизированных сред в языках программирования с более выразительными системами типов. Автоматизируются как верификация таких оберток, так и способы их построения за счет определения операций уточнения спецификаций. На практике это позволяет выявлять ошибки в типизации сторонних компонентов на ранних стадиях разработки. В статье приведены примеры спецификаций программ с побочными эффектами. В качестве основы для спецификаций использованы формализации из теории категорий. Проанализированы подходы к транслированию спецификаций в другие представления и к итеративному усовершенствованию спецификаций путем их трансформации.

8. Имитационное моделирование систем физической защиты в среде АКИМ [№1 за год]
Авторы: Сениченков Ю.Б., Шарков И.К.
Просмотров: 526
В статье обсуждается методика построения имитационных моделей в отечественном программном комплексе АКИМ. Модели предназначены для решения задачи анализа защищенности существующих и проектируемых систем физической защиты объектов и для формирования оценок их эффективности с помощью статистического эксперимента. Приводится обзор существующих современных подходов к решению аналогичной задачи. Большинство из них применяют марковские цепи для поиска уязвимых путей и графы атак и защит для оценки эффективности системы. В качестве альтернативы предлагается строить имитационную модель без построения графа атак и защит, опираясь только на план системы физической защиты. Модель в среде АКИМ создается из экземпляров базовых классов, моделирующих реальные элементы системы физической защиты, в результате чего возникает план, по которому будут двигаться модели агентов и охранников, имитируя реальные атаки. Подход позволяет подробно описывать функции, реакции и возможности системы на уровне ее элементов и задавать фактические параметры нарушителей и охранников, что обеспечивает точность и полноту анализа без упрощений или исключения важных деталей. На демонстрационных примерах показано, что оценки эффективности моделей защиты систем, полученные с помощью программного комплекса АКИМ, близки к оценкам эффективности моделей систем, построенных с помощью марковских цепей. При этом рассматриваемый метод построения имитационных моделей позволяет преодолевать трудности, связанные с использованием марковских цепей: необходимость использовать экспертные оценки коэффициентов матрицы переходов, матрицы большого размера, сложности модификации модели.

9. Авторская метрика оценки близости программ: приложение для поиска уязвимостей с помощью генетической деэволюции [№1 за год]
Авторы: Буйневич М.В., Израилов К.Е.
Просмотров: 439
Актуальность темы статьи обусловлена наличием в сфере информационной безопасности задач, требующих сравнения программ в их различных представлениях, таких, как текстовый ассемблерный код (например, для поиска уязвимостей или подтверждения авторства). В работе представлена метрика близости двух текстов в виде списка строк из символов, являющаяся развитием ее предыдущей версии. Основным результатом текущего исследования (как части главного, направленного на генетическую деэволюцию программ) являются сама метрика, а также ее характеристики и особенности, выявленные с помощью проведенных экспериментов. Метрика представлена в аналитическом виде, программно реализована на языке Python, принимает на вход два списка символьных строк для сравнения и коэффициенты учета позиции ее элементов от начала списка и последовательности символов. Результатом ее вычисления является числовое значение в диапазоне от 0 до 1. Новизна метрики заключается в достаточно точной и чувствительной оценке близости двух текстов независимо от форматов представления данных; текущая версия метрики отличается от предыдущей учетом указанных коэффициентов. Теоретическая значимость заключается в развитии способов сравнения произвольных текстов, представляющих собой список символьных строк, содержащих информацию, последовательно излагаемую согласно определенной логике (что требует учета позиции). Помимо общего назначения сравнительных инструментов такого рода, практическая значимость метрики состоит в возможности определения близости двух программ, имеющих бинарное представление машинного кода, предварительно преобразованное в текстовое представление ассемблерного кода.

10. Фреймворк для автоматизации прогнозирования остаточного ресурса оборудования при построении проактивных систем поддержки принятия решений [№1 за год]
Авторы: Задиран К.С., Волкова Д.А., Щербаков М.В.
Просмотров: 510
В статье описан фреймворк, разработанный для автоматизации исследований в области проектирования проактивных систем поддержки принятия решений. В частности, исследуется задача анализа и прогнозирования временных рядов с целью создания инструментов автоматизации прогнозирования различных процессов в системах управления активами, в том числе технического обслуживания и ремонта. Определена роль процессов автоматизации в управлении активами в этих системах. В работе выделены основные факторы, влияющие на выбор программы для реализации системы предиктивной аналитики. Предложен алгоритм решения задачи прогнозирования оставшегося срока службы на основе анализа данных о производственных активах с использованием компонентов искусственного интеллекта. Предлагаемое программное решение, основанное на CRISP-DM, не является отдельным программным продуктом и может быть встроено в существующее программное обеспечение, поддерживая возможность модификации методов. Фреймворк выполняет следующие функции: загрузка и предобработка данных, построение моделей прогнозирования, прогнозирование временных рядов, оценка прогноза. Разработанный фреймворк обладает гибкой модульной архитектурой для добавления новых методов анализа и прогнозирования. Возможность на основе имеющихся базовых классов переопределить и реализовать собственные источники данных, стадии предобработки, модели прогнозирования и метрики расширяет вариативность и повышает эффективность его функционирования. В статье приведен пример использования фреймворка для решения задачи анализа временных рядов и определения оставшегося срока службы оборудования, демонстрирующий эффективность разработанного продукта в области исследования данных и искусственного интеллекта.

| 1 | 2 | Следующая → ►