Software & Systems

Разработанная компанией IBM операционная система (ОС) z/OS предназначена для поддержки архитектуры z/Architecture, которая используется в мейнфреймах на платформе zSeries. Ввиду того, что эволюция данной ОС берет свои истоки от платформы S/360, выпущенной IBM в 60-е годы прошлого века, структура ОС и заложенные в ней принципы отличаются от распространенных в настоящее время UNIX-подобных ОС, что ставит задачи разработки средств автоматизации тестирования, учитывающих особенности данной ОС.

В UNIX-подобных ОС организация данных (их формат) осуществляется приложением. Для таких ОС минимальной единицей информации является бит, в то время как в z/OS формат данных опре- деляется ОС уже при создании, а минимальной единицей, оперируемой ОС, является запись, представляющая собой набор связанных данных, к которым в дальнейшем приложение получает доступ. Ввиду указанных особенностей файлы в z/OS именуются наборами данных, а их внутренняя структура – организацией набора данных.

Организация PDSE-наборов данных

Современные мейнфреймы в процессе размещения данных используют дисковые приводы IBM 3380 и 3390. В настоящее время структура этих приводов эмулируется из дисковых массивов RAID уровня 5 при помощи устройств IBM 2150 Enterprise StorageServer® (рис. 1). Более подробно процесс эмуляции описан в [1].

Таким образом, z/OS при размещении наборов данных взаимодействует с томами (volumes) типа 3390/3380, структура которых представлена на рисунке 2. В каждом цилиндре содержится 15 треков. Размер каждого трека составляет 47 476 байт для тома 3380 и 56 664 для 3390 [2]. Размещение наборов данных во внешней памяти происходит в соответствии со структурой томов.

В ОС z/OS выделяют следующие типы организации наборов данных:

-      последовательные наборы, используемые в основном при записи информации на магнитные ленты и распечатке логов системы;

-      наборы VSAM (Virtual Storage Access Method); файлы такой организации используются в БД и предоставляют более быстрые способы доступа, чем последовательные наборы данных;

-      библиотечные (секционированные) наборы, используемые для хранения загрузочных библиотек (load library), объектных библиотек, библиотек макросов, исходного кода программ и других взаимосвязанных файлов.

Одним из библиотечных наборов является набор данных PDSE, широко используемый при обработке данных в z/OS и имеющий сложную организацию, которая требует дополнительных затрат в процессе тестирования.

При создании PDSE-набора данных область внешней памяти разбивается на равные блоки по 4 Кб, именуемые страницами, в которых содержатся блоки оглавления и разделов (данных). Для вновь созданного PDSE-набора его физическая структура в памяти представлена на рисунке 3 [3].

PDSE-наборы могут динамически расширяться при добавлении и удалении разделов с данными. В них поддерживается механизм повторного использования пространства после удаления или перемещения разделов. Структура PDSE-наборов с данными показана на рисунке 4 [3].

Для обеспечения динамического расширения оглавление набора данных, а также изменения параметров разделов блоки оглавления распределяются разрывным образом вместе с блоками данных.

Оглавление имеет индексную организацию, состоящую из страниц AD (Attribute Directory) и ND (Name directory), которые обеспечивают взаимосвязь со страницами разделов.

AD-страницы имеют иерархическую структуру, реализованную по принципу В-дерева, и содержат информацию об атрибутах разделов (время создания, время последнего изменения, размер и т.д.), а также о самом наборе данных.

Разделы PDSE отслеживаются посредством идентификатора FSN (files sequence number). Указатель на страницу, содержащую данные раздела, хранится в FPM (fragment parcel map).

ND-страницы также организованы по принципу В-дерева и связывают индивидуальные имена разделов с их идентификаторами FSN.

Структура элементов оглавления показана на рисунке 5 [3].

Наиболее часто используемые страницы оглавления кэшируются в виртуальную память для ускорения доступа к данным.

Задачи тестирования наборов данных

Важными задачами тестирования являются проверка целостности и доступности данных. Можно выделить следующие ключевые моменты в решении этих задач.

·       Проверка целостности структуры набора данных. Данная задача в основном возложена на внутренние утилиты ОС z/OS.

·       Тестирование поведения набора данных в условиях совместной обработки его несколькими системами, объединенными в кластер.

В случае необходимости обработки большого объема задач, таких как бизнес-транзакции и запросы к базам данных, несколько систем z/OS объединяют в кластер, что позволяет увеличить производительность и осуществлять параллельный доступ для чтения и записи к общим данным. Организация кластера выполняется с помощью определенных программных и аппаратных ресурсов, для архитектуры zSeries кластер организуется по технологии Parallel Sysplex. В такой ситуации набор данных PDSE позволяет производить доступ к разным разделам данных совместно с несколькими системами.

Одним из ключевых моментов в приведенном случае является проверка соответствия индексных структур AD- и ND-страниц, расположенных в виртуальной и во внешней памяти (рис. 6).

В таких условиях немаловажной является проверка «состязательных» ситуаций, то есть корректности работы алгоритма по предоставлению доступа к данным.

·       Оценка производительности, связанная с проверкой скорости выполнения таких операций, как добавление, удаление и поиск раздела в наборе данных.

·       Проверка совместимости версий. Данная проверка напрямую связана с регрессионным тестированием, которое необходимо ввиду постоянной модификации и обновления элементов ОС, поддерживающих структуру и принципы работы наборов данных.

·       Тестирование работы в нештатных условиях. К нештатным условиям относятся сценарии с эмуляцией нехватки памяти, пространства для создания набора данных, задание некорректных параметров и др.

Описанные выше задачи предполагают формирование разнородных конфигураций ОС. На данный момент применяется технология виртуальных машин.

На рисунке 7 приведена текущая структура среды тестирования, использующая ОС z/VM [5] в качестве средства виртуализации. Основные задачи по запуску тестов выполняются программой-планировщиком, реализующей алгоритм распределения и загрузки виртуальных машин. Библиотека тестов содержит экземпляры тестов, созданные в процессе эволюции системы в течение более двадцати лет [4].

Неуклонный рост числа регрессионных тестов, связанный с постоянной эволюцией ОС, с одной стороны, и ограниченностью ресурсов виртуальной среды, с другой, приводит к необходимости решения проблем с отбором подмножества тестов для выборочного тестирования отдельных функций и компонент ОС, запуском этих подмножеств и автоматизированным анализом результатов тестирования.

Команды и утилиты ОС z/OS для PDSE

ОС z/OS предоставляет ряд утилит и сервисов, используемых при тестировании PDSE-наборов данных.

·       Средства проверки целостности данных и анализа PDSE [3]:

-      VARY SMS, PDSE – команда, позволяющая идентифицировать проблемы разделения ресурсов и вовлеченные в них наборы данных PDSE; включает средства по восстановлению от определенных проблем;

-      DISPLAY SMS, PDSE – команда, отображающая информацию об управляющих структурах и исполняемых модулях загруженных в адресное пространство наборов данных PDSE;

-      D GRS – команда, предоставляющая информацию о том, какой набор данных PDSE ожидает обработки;

-      D SMS, OPTIONS – команда, отображающая информацию о текущем режиме разделения ресурсов;

-      IEBCOPY – утилита, предназначенная для копирования наборов данных; в процессе копирования осуществляет чтение данных и ассоциированных с ними структур оглавления, тем самым проверяя целостность набора данных;

-      PDSE HFS Analysis Tool (PIT) – предоставляет информацию о выделенных страницах оглавления;

-      D XCF – команда, показывающая статус системы в кластере и информацию о межсистемных группах сопряжения (Cross-system coupling facility – XCF);

-      IEHLIST LISTVTOC – утилита, предоставляющая информацию, содержащуюся в оглавлении тома;

-      IEBPDSE – утилита, предназначенная для верификации структуры директории PDSE.

·       Средства оценки производительности. Оценка производительности системы, в частности скорость обработки наборов данных, осуществляется в z/OS средствами Resource Measurement Fa­cility (RMF). RMF позволяет отслеживать скорость обработки данных z/OS или кластера z/OS и имеет инструменты для оптимизации параметров и конфигурации системы (z/OS или кластера z/OS).

Описанные выше средства предоставляют широкие возможности для определения проблемы, но в большинстве случаев требуют ручного ввода и анализа полученных отчетов для последующей диагностики неисправности, что в случае исполнения группы автоматизированных тестов затруднительно.

Существующие тесты PDSE и порядок их употребления

Разработка новых тестов, как и исходный код старых, использует ассемблер высокого уровня HLASM (High-level Assembler), интерпретируемый язык программирования REXX (REstructured eXtended eXecutor), язык управления заданиями JCL (Job Control Language), а также другие проприетарные средства.

Проверка работоспособности PDSE предполагает проведение ряда тестов.

·       Проверка базовых операций работы с набором данных:

-      выделение пространства на томе и создание пустого PDSE-набора данных;

-      добавление/удаление разделов;

-      переименование разделов;

-      конкатенация наборов данных;

-      копирование раздела/набора данных.

Выполнение этих операций осуществляется при помощи вызова макросов, описанных в [5]. Следует отметить, что проверка базового, как и описанного далее, функционала осуществляется с использованием различных параметров, определяющих свойства набора данных, таких как формат записи и размер логической записи, что значительно увеличивает число возможных комбинаций.

·       Проверка структуры, осуществляемая после операций над набором данных.

Такая проверка, как уже было сказано, использует вызовы штатных средств ОС z/OS и особенно актуальна при фрагментации оглавления набора данных. Также осуществляется проверка сохранения предельных значений набора данных, таких как предел числа разделов и их записей.

·       Создание резервных копий и их способности к последующему корректному восстановлению, используя утилиту IEBCOPY и такие продукты, как DFSMSdss™.

·       Проверка свойств набора данных в кластере.

Основными в таких тестах являются проверка разделения и сериализации ресурсов, выявление ситуаций блокирования доступа к данным, а также проблемы миграции и совместимости версий.

·       Тестирование производительности.

В виртуальной среде точное определение характеристик производительности PDSE-наборов данных, таких как загруженность центрального процессора и интенсивность операций ввода-вы­вода, не дает однозначных результатов ввиду ограниченности ресурсов. Тем не менее критериями проверки служат показатели подсистем System Management Facility (SMF) и Resource Measure­ment Facility (RMF).

Большинство данных сценариев реализованы и применяются в соответствии с регламентом тестирования организации.

Тем не менее в процессе эксплуатации ОС обнаруживаются ошибки, в том числе и в PDSE, к примеру [6], что говорит о неполном решении задачи тестирования, а именно задач автоматизации, которые в настоящее время решены лишь частично и находятся в поле зрения разработчиков программного обеспечения. В частности, в [7] рассматривается процесс разработки фреймворка, служащего для автоматизации регрессионного тестирования для z/OS.

В заключение следует отметить, что в статье рассмотрены особенности структуры библиотечного набора данных PDSE z/OS. Сформулированы основные задачи тестирования и проведен анализ текущих решений, а также внутренних средств z/OS, используемых для решения задач тестирования. Из сказанного выше следует необходимость разработки дополнительных тестов, проверяющих корректность работы тех частей системы, которые были подвержены изменениям, а также определение тестов в регрессионной базе, подлежащих модификации в связи с изменением тестируемых параметров, и создание новых, увеличивающих тестовое покрытие на основе анализа существующих тестов. Такая разработка должна осуществляться с использованием средств автоматизации тестирования, которые позволят обеспечить снижение трудоемкости и повысят эффективность тестирования.

В качестве последующего направления исследования планируются дальнейшее изучение структуры наборов z/OS и определение требований к системе тестирования, способной автоматизированно производить анализ и выявление ошибок.

Литература

1.     Castets G.A., Leplaideur D., Bras J.A., Galang J. IBM Enterprise Storage Server, IBM, 2001, 70 p.

2.     3390 disk information. URL: http://www.lascon.co.uk/ hwd-3390-disks.php (дата обращения: 05.02.2014).

3.     Lovelace M., Fletcher A., Gutschke D., Mastrorilli M. Partitioned Data Set Extended Usage Guide, IBM, 2005, 13 p.

4.     Loveland S., Miller G., Prewitt R., Shannon M. IBM Systems Journ., 2002, vol. 41, no. 1. URL: http://dl.acm.org/cita­tion.cfm?id=1660998 (дата обращения: 05.02.2014).

5.     DFSMS Macro Instructions for Data Sets. URL: http://www.redbooks.ibm.com/ (дата обращения: 05.02.2014).

6.     IBM support portal: APAR information. URL: http:// www-01.ibm.com/support/docview.wss?uid=isg1OA40404 (дата обращения: 05.02.2014).

7.     Иконников В.В., Лебедев А.А. Система автоматизации регрессионного тестирования программного обеспечения с закрытым исходным кодом, разрабатываемого для мейнфреймов, работающих под управлением операционной системы z/OS // Современная наука: актуальные проблемы теории и практики. Сер.: Естественные и технические науки. 2011. № 1.

Reference

1.     Castets G.A., Leplaideur D., Bras J.A., Galang J. IBM Enterprise Storage Server. IBM Publ., 2001, 70 p.

2.     3390 disk information, available at: http://www.lascon.co. uk/hwd-3390-disks.php (accessed February 5, 2014).

3.     Lovelace M., Fletcher A., Gutschke D., Mastrorilli M. Partitioned data set extended usage guide. IBM Publ., 2005, 13 p.

4.     Loveland S., Miller G., Prewitt R., Shannon M. IBM Systems Journ. 2002, vol. 41, no. 1, avalibale at: http://dl.acm.org/ citation.cfm?id=1660998 (accessed February 5, 2014).

5.     DFSMS Macro Instructions for Data Sets. Avalible at: http://www.redbooks.ibm.com/ (accessed February 5, 2014).

6.     IBM support portal: APAR information. Available at: http://www-01.ibm.com/support/docview.wss?uid=isg1OA40404 (accessed 5 February 2014).

7.     Ikonnikov V.V., Lebedev A.A. Automated system for testing closed initial code software which is developed for z/OS mainframes. Sovremennaya nauka: aktualnye problemy teorii i praktiki. Seriya “Estestvennye i tehnicheskie nauki” [Modern science: actual problems of theory and practice. Natural and Technical Sciences series]. 2011, no. 1 (in Russ.).