В семействе многопроцессорных вычислительных комплексов «Эльбрус» реализуется одна из версий семафоров. Среди них используются комбинированные семафоры, объединяющие в себе семафор-счетчик и двоичный семафор. На основе анализа всех известных задач синхронизации обработки общих данных, а также на основе требований к синхронизации параллельных вычислений, исследуется полнота используемых процедур над семафорами, предлагаются общие схемы применения этих процедур при программировании взаимосвязанных параллельных процессов.

Механизм семафоров признан универсальным, расширяемым и простейшим механизмом синхронизации. Все известные средства синхронизации параллельного процесса сводятся к механизму семафоров.

Различают двоичные семафоры, имеющие значения “открыт” и “закрыт”, и семафоры-счетчики. “Закрытие” увеличивает их на единицу, “открытие” уменьшает на единицу.

Анализ задач, и в частности задач обработки больших массивов данных (баз данных и баз знаний), показал целесообразность совместной реализации [1] этих двух принципов в многопроцессорной вычислительной системе. В одном семафоре, назовем его комбинированным, в действительности воплощены два семафора: двоичный и счетчик.

С:  Двоичный семафор Са      Семафор-счетчик Сб  

В начале считывания из массива выполняется операция Сб := Сб + 1 ; при окончании считывания – операция Сб := Сб - 1. Значение Сб ¹ 0 означает: семафор С “закрыт по считыванию”.

При записи в массив выполняется операция: Са:= 1, “закрыть”, то есть семафор С “закрывается по записи”. При окончании записи выполняется операция Са := 0, “открыть”, то есть семафор С “открывается по записи”.

Однако удобства семафора-счетчика могут быть реализованы в процедурах над двоичными семафорами (двоичный семафор в действительности более универсален).

Перечислим основные процедуры над семафорами, реализуемые в МВК «Эльбрус».

Процедура ОБЪЯВИТЬ (С) объявляет список семафоров, который рассматривается как описание, действующее внутри данного блока в алгоритмическом языке. Этим обеспечивается выделение памяти и тип переменной при трансляции.

Процедура ЗАКРЫТЬ (С) сначала присваивает семафорам, перечисленным в списке С, значение “закрыт”. Затем для каждого семафора она проверяет, был ли он закрыт ранее. Если в списке С семафоров указаны один или несколько семафоров, которые были закрыты до выполнения данной процедуры, происходит прерывание процесса (задачи). Процедура ОС, запустившаяся по прерыванию, ставит данный процесс в очередь к тем семафорам, которые были закрыты ранее. Таким образом, процесс задерживается до тех пор, пока другие процессы не откроют эти семафоры. После прерывания процесса и обработки прерывания процессор обращается к очереди для выборки следующего задания – “готового” процесса. Если до выполнения данной процедуры все семафоры из списка С были открыты, выполняется следующая инструкция программы.

Процедура ЖДАТЬ (С) в случае, если в С указаны семафоры со значением “закрыт”, организует прерывание процесса. Процесс, ставший пассивным, дополняет очереди к закрытым семафорам из списка С. Концом выполнения процедуры является переход к анализу очереди “к процессору” для последующей его загрузки.

Процедура ЖУЖ (С) не переводит процесс в очереди к семафорам, а организует ожидание процессором, на котором выполняется процесс, момента открытия всех семафоров в режиме “жужжания” – непрерывного опроса семафоров, указанных в списке С.

Процедура ЖДАТЬ (С,Т) ограничивает время ожидания семафоров, указанных в списке С, значением Т.

Процедура ОТКРЫТЬ (С) присваивает семафорам, указанным в списке С, значение “открыт”. Процессы снимаются с очереди к указанным в С семафорам и, если они не стоят в очереди к другим семафорам, переводятся в очередь “к процессору” в соответствии с их приоритетом. Выполнение этих процессов на процессорах будет продолжено с повторного выполнения тех процедур ЗАКРЫТЬ (С’) или ЖДАТЬ (С’’), на которых ранее произошло прерывание данной задачи. Таким образом, если прерывание произошло при выполнении процедуры ЗАКРЫТЬ (С’), то всем семафорам, указанным в списке C’, вновь присваивается значение “закрыт”. При этом, если среди множества семафоров C’ \C ¹ Æ окажутся такие, которые ранее были закрыты, или другой процесс (на другом процессоре) успел закрыть семафор из C’ раньше, то выполнение данного процесса вновь прервется, и он станет в очередь к закрытым семафорам.

Процедура ПРОПУСТИТЬ (С) полностью соответствует упрощенной версии процедуры ОТКРЫТЬ (С). Семафорам, перечисленным в списке С, присваивается значение “открыт”, и процессы из очередей к данным семафорам переводятся в очередь “к процессору”. Если процессы находились в очереди к семафорам из С после прерывания в результате выполнения процедур ЗАКРЫТЬ или ЖДАТЬ, то повторного выполнения этих процедур не происходит, процессы выполняются со следующей инструкции.

Различают два крайних способа распараллеливания: по управлению и по информации.

Первый способ – представление алгоритма задачи в виде частично упорядоченной последовательности выполняемых работ. Затем в результате диспетчирования реализуется оптимальный план выполнения работ в ВС – при ограничениях на время выполнения всего алгоритма или за минимальное время.

Второй способ распараллеливания по информации используется тогда, когда можно распределить обрабатываемую информацию между процессорами для обработки по идентичным алгоритмам (по одному алгоритму).

В [2] систематизируются основные задачи синхронизации параллельных вычислительных процессов при обработке общих данных. Эти задачи решаются преимущественно при реализации второго способа распараллеливания.

Предварительно систематизируем ряд понятий.

Объектами распараллеливания являются неделимые процессы – работы, на которые разбивается исходный алгоритм или разрабатываемая программная система.

Процессы используют различные устройства, данные, компоненты программного обеспечения, которые называются ресурсами системы.

Ресурсы, используемые несколькими процессами, называются разделяемыми.

Разделяемые ресурсы, которые одновременно могут использоваться не более чем одним процессом, называются критическими ресурсами (например, очередь “к процессору” – критический ресурс).

Участки программы (процесса), где процессы обращаются к разделяемому ресурсу, называются критическими интервалами (блоками, секциями).

Процессы называются взаимосвязанными, если они используют общие критические ресурсы.

Процессы называются информационно-взаимосвязанными, если они обмениваются информацией.

Процессы называются взаимосвязанными по управлению, если один из них вырабатывает условия для активизации другого (других).

Ограничения на порядок выполнения процессов называются синхронизацией процессов.

Отношения между процессами задаются правилами синхронизации.

Для задания правил синхронизации используются механизмы (средства) синхронизации (матрицы следования, семафоры и др.).

Задача синхронизации – это задача, в рамках которой требуется согласовать выполнение нескольких процессов. Решение таких задач достигается с помощью механизмов синхронизации.

С задачами синхронизации связывают тупики (тупиковые ситуации). Тупик – это взаимная блокировка процессами друг друга, при которой их выполнение не может быть продолжено, а также самоблокировка.

Например, процессу А необходимы внешние устройства X, Y. С устройством Y пока работает процесс В. Тогда процесс А “захватывает” пока устройство X и ждет освобождения Y. Но устройство X потребовалось и процессу В, который также зависает в ожидании его освобождения.

Под общим тупиком подразумевается взаимная блокировка всех взаимосвязанных процессов. Под локальным тупиком понимается бесконечная блокировка одного из процессов при попытке войти в критический интервал.

Известны типичные задачи синхронизации, к которым могут быть сведены практически все известные задачи синхронизации.

Обсуждая первый способ распараллеливания, рассмотрим развитие примера, приведенного в [3].

Пусть в однопроцессорной ВС в режиме реального времени решаются две задачи А и В с разной частотой решения. Задачи оформлены и запускаются как отдельные процедуры. Задача А решается в цикле длительности Т0, задача В – в цикле длительности Т1 = 4Т0, но не ранее, чем в цикле длительности Т1 будет решена один раз задача А. Можно предположить использование сигналов прерывания в моменты времени, кратные Т0. Однако для организации временного режима решения задач мы воспользуемся возможностями операций над семафорами.

Будем полагать, что в моменты времени, кратные Т0, но не кратные Т1, запускается управляющий процесс (супервизор) УПР0, а в моменты времени, кратные Т1, – управляющий процесс (супервизор) УПР1. Требуемая временная диаграмма решения задач представлена на рисунке 1.

Тогда в каждом из процессов могут быть запланированы операции над семафорами следующим образом.

Пусть предварительно объявлены семафоры D1, D2, A, B1, B2.

Тогда четыре данных процесса могут быть оформлены, как показано на рисунке 2.

Предположим, первоначально t0 = t1 = 0. Тогда из первых команд УПР0 видно, что он включается в моменты Т0, 2Т0, 3Т0, 5Т0,… .

УПР1 включается в моменты 0, Т1, 2Т1,… .

Начальные значения семафоров А и В1 – “закрыт”, семафора В2 – “открыт”. Первоначально задачи А и В находятся в очереди “к процессору”. При их назначении на процессор и при выполнении первых процедур ЖДАТЬ (А) и ЖДАТЬ (В1, В2) произойдет прерывание. После него задача А находится в очереди к семафору А, задача В – к семафору В1. Пусть приоритет задачи А выше приоритета задачи В (задачи, решаемые с большей частотой, как правило, снабжаются более высоким приоритетом).

В момент времени кратный Т1 задача УПР1 закрывает семафор В2, но открывает семафоры А и В1. Задача А переводится в очередь “к процессору”. Пусть одного процессора достаточно для выполнения всех задач. Тогда с учетом приоритета в мультипрограммном режиме задача В решается в промежутки времени, не занятые решением других задач. После выполнения задачи УПР1 начинается выполнение задачи А с закрытия семафора А. Так как до выполнения процедуры ЗАКРЫТЬ(А) семафор А имел значение “открыт”, то прерывания выполнения задачи А не произойдет, и она будет решена до конца. В конце ее решения по процедуре ПРОПУСТИТЬ(В2) откроется семафор В2 и задача В перейдет в очередь “к процессору”. Задача А организована по принципу зацикливания, то есть после ее окончания управление передается на ее начало с процедуры ЗАКРЫТЬ(А). Так как к моменту выполнения этой процедуры семафор А закрыт в результате ее предыдущего выполнения, произойдет прерывание и постановка задачи А в очередь к семафору А. Этот семафор откроется только при выполнении задачи УПР0 после увеличения текущего времени на Т0. Так как открытие семафора А в задаче УПР0 производится процедурой ОТКРЫТЬ, а прерывание задачи А произошло по процедуре ЗАКРЫТЬ, то выполнение задачи А продолжится с выполнения процедуры ЗАКРЫТЬ(А). Таким образом, более чем однократное решение задачи А без прерывания вновь окажется невозможным.

Аналогично по принципу зацикливания организовано и решение задачи В. После однократного выполнения она будет прервана при повторном выполнении процедуры ЗАКРЫТЬ(В1). Семафор В1 откроется только при следующем выполнении задачи УПР1 после увеличения текущего времени на Т1. При этом выполнение задачи В продолжится с повторного выполнения процедуры ЗАКРЫТЬ(В1), так как семафор В1 открывается процедурой ОТКРЫТЬ. Однако продолжение выполнения задачи В станет возможным после открытия семафора В2. Он же окажется открытым только после однократного выполнения задачи А в цикле длительности Т1 после выполнения процедуры ПРОПУСТИТЬ(В2) в конце решения задачи А. Использования этой процедуры в данном случае достаточно.

Таким образом, соблюдается требуемый порядок решения задач.

Теперь усложним пример. Предположим, что для решения задачи А одного процессора недостаточно и необходимо использовать возможности ее параллельного решения. Мы представляем эту задачу в виде частично упорядоченного множества информационно-взаимосвязанных работ – подзадач – и используем механизм семафоров для соблюдения порядка следования этих работ. При этом мы предполагаем, что в ВС реализовано децентрализованное диспетчирование, то есть свободные процессоры обращаются за очередным заданием к очереди “к процессору”. На рисунке 3 представлена примерная граф-схема задачи на основе составляющих ее подзадач. Каждая вершина соответствует подзадаче. Стрелки определяют информационную преемственность. Процедура над семафорами, изображенная выше вершины, показывает, что соответствующая подзадача начинается с выполнения этой процедуры. Процедура, изображенная ниже вершины, показывает, что подзадача заканчивается выполнением этой процедуры.

Рассмотрим теперь типовые задачи синхронизации, которые, как правило, решаются при реализации второго способа распараллеливания.

1. Задача взаимного исключения

Имеется несколько процессов, программы которых содержат критические интервалы, где процессы обращаются к одному разделяемому критическому ресурсу (например к базе знаний). Требуется исключить одновременное вхождение в такие критические интервалы более чем одного процесса.

Требования к решению этой задачи:

-         задержка любого процесса вне его критического интервала не должна влиять на развитие других процессов;

-         решение должно быть симметрично относительно процессов;

-         решение не должно допускать тупиков.

Решение с помощью механизма семафоров:

ЗАКРЫТЬ(С)

<Критический интервал>

Открыть(С)

Для сравнения приведем альтернативный способ решения с помощью механизма активного ожидания [2].

Выделим ячейку памяти С, в которую будем записывать 0, если ни один из процессов не требует доступа к критическому ресурсу, и номер i-го процесса (или выполняющего процессора), который вступил в свой критический интервал. Тогда условием вхождения i-го процесса в критический интервал является результат выполнения следующего оператора:

L: if C<>0 then go to L else C:= i;

   if C<> i then go to L;

   <Критический интервал> ;

   C:=0

Действительно, если (С) = 0, то процесс может войти в критический интервал. Однако возможно, что через небольшое время другой процесс (на другом процессоре) тоже сделал такую же проверку и следом за первым произвел засылку в С своего номера. Поэтому требуется повторная проверка того, что в С именно номер данного процесса. При положительном результате повторного анализа процесс может вступить в критический интервал, (занять критический ресурс). После выполнения критического интервала в С засылается 0.

С помощью механизма семафоров такая синхронизация выполняется значительно проще, так как многие действия предусмотрены внутри процедур их обработки.

2. Задача “поставщики – потребители”

Имеется ограниченный буфер на несколько порций информации. Он является критическим ресурсом для процессов двух типов:

-     процессы “поставщики”, получая доступ к ресурсу, помещают на свободное место в буфере несколько или одну порцию информации;

-     процессы “потребители”, получая доступ к ресурсу, считывают из него порции информации.

Требуется исключить одновременный доступ к ресурсу любых двух процессов. При опустошении буфера следует задерживать процессы “потребители”, при полном заполнении – процессы “поставщики”. Эта задача возникает, например, при обмене с внешними устройствами и заключается в программной имитации кольцевого, или бесконечного буфера.

Возможная схема решения задачи с помощью семафоров такова.

Процесс “ПОСТАВЩИК”:         Процесс “ПОТРЕБИТЕЛЬ”:

       ЗАКРЫТЬ(С)                                          ЗАКРЫТЬ(С)

    if <Буфер неполон> then                if<Буфер непуст> then

    begin < запись>;                              begin < считывание>;

    <изменение индикатора              <изменение индикатора

    заполнения>                                    заполнения>

    end                                                     end

       ОТКРЫТЬ(С)                                         ОТКРЫТЬ(С)

Имитация кольцевого (бесконечного) буфера показана на рисунке 4.

Тогда уточним данную процедуру с учетом используемых индикаторов считывания и заполнения.

Процесс “ПОСТАВЩИК”:         Процесс “ПОТРЕБИТЕЛЬ”:

 

      ЗАКРЫТЬ(С)                                   ЗАКРЫТЬ(С)

  if (in + 1)mod N ¹ out then                    if (out + 1)mod N ¹ in then

  begin                                                    begin

  in := (in + 1)mod N ;                              out := (out + 1)mod N ;

  <запись(in)>                                       <считывание(out)>

  end                                                       end

       ОТКРЫТЬ(С)                                    ОТКРЫТЬ(С)

3. Задача “читатели - писатели”

Имеется разделяемый ресурс – область памяти, к которой требуется доступ процессам двух типов.

Процессы первого типа, “ЧИТАТЕЛИ”, могут получать доступ к разделяемому ресурсу одновременно. Они считывают информацию.

Процессы второго типа, “ПИСАТЕЛИ”, взаимно исключают друг друга и “читателей”. Они записывают в разделяемую область памяти данные.

Задача известна в двух вариантах.

1. “Читатели”, изъявившие желание получить доступ к ресурсу, должны получить его как можно быстрее; это – первая задача ЧП.

2. “Читатели”, изъявившие желание получить доступ к ресурсу, должны получить его как можно быстрее, если отсутствуют запросы от “писателей”. “Писатель”, требующий доступ к ресурсу, должен получить его как можно быстрее, но после обслуживания “читателей”, подошедших к ресурсу до первого “писателя”. Это – вторая задача ЧП.

Приведем возможное решение задач с помощью комбинированного семафора.

Считаем, что процедура ОТКРЫТЬ ПО СЧИТЫВАНИЮ выполняется подобно процедуре ПРОПУСТИТЬ, изменяя только значение семафора-счетчика. Процедура ОТКРЫТЬ ПО ЗАПИСИ выполняется подобно процедуре ОТКРЫТЬ, “открывая” семафор и обеспечивая запуск “задержанных” процессов с процедур ЗАКРЫТЬ ПО ЗАПИСИ или ЖДАТЬ ПО ЗАПИСИ, при выполнении которых произошло прерывание.

ЧП-1

        Процесс ЧИТАТЕЛЬ:                                 Процесс ПИСАТЕЛЬ:

 

       ЖДАТЬ ПО ЗАПИСИ(С)               ЖДАТЬ ПО СЧИТЫВАНИЮ(С)

  ЗАКРЫТЬ ПО СЧИТЫВАНИЮ(С)       ЗАКРЫТЬ ПО ЗАПИСИ(С)

              < читать >                                                  < писать > 

 ОТКРЫТЬ ПО СЧИТЫВАНИЮ(С)     ОТКРЫТЬ ПО ЗАПИСИ(С)

ЧП-2

        Процесс ЧИТАТЕЛЬ:                                 Процесс ПИСАТЕЛЬ:

 

          ЖДАТЬ ПО ЗАПИСИ(С)                   ЗАКРЫТЬ ПО ЗАПИСИ(С)

  ЗАКРЫТЬ ПО СЧИТЫВАНИЮ(С)  ЖДАТЬ ПО СЧИТЫВАНИЮ(С)

            < читать >                                                      < писать >

 ОТКРЫТЬ ПО СЧИТЫВАНИЮ(С)        ОТКРЫТЬ ПО ЗАПИСИ(С)

4. Задача “обедающие философы”

За круглым столом сидят k философов, которые проводят время, чередуя философские размышления с потреблением пищи. Перед каждым тарелка спагетти, между тарелками по одной вилке. Для еды каждому философу требуются две вилки. Использовать можно только вилки, лежащие рядом с тарелками. Так как переходы от размышления к принятию пищи производятся в непредсказуемые моменты времени, то возможны конфликты и требуется синхронизация процессов.

Представим следующую модель, требующую решение данной задачи – модель оперативного обмена между процессорами векторной ВС или строк (столбцов) матричной ВС (рис. 5).

Например, после счета очередного элемента в узле сетки результаты должны быть переданы соседним процессорным элементам для использования в следующей итерации. Очевидна возможность конфликтов при попытке одновременной встречной передачи.

Пусть с i-м процессором для передачи влево связан “левый” семафор Ci, для передачи вправо – “правый” семафор Ci+1. Пусть каждый процессор, нуждающийся в передаче двум соседям, пытается сначала закрыть свой “правый” (аналогично левый) семафор. Затем, если это не успел сделать левый сосед, он попытается закрыть “левый” семафор и произвести передачу. Тогда возможен общий тупик, если все процессоры одновременно закроют все семафоры (при одновременном пересчете значений функции в узлах сетки вероятность такой ситуации высока).

Разрешим четным процессорам сначала закрывать “левые” (“правые”) семафоры, а нечетным – “правые” (“левые”). Тогда схемы программ для них будут выглядеть следующим образом:

Для четных процессоров:          Для нечетных процессоров:

 

       ЗАКРЫТЬ(Сi)                             ЗАКРЫТЬ(Сi+1)

       ЗАКРЫТЬ(Сi+1)                          ЗАКРЫТЬ(Сi)

        < передача >                                   < передача >

       ОТКРЫТЬ(Сi,Ci+1)                     ОТКРЫТЬ(Сi,Ci+1)  

Обычно n – степень двойки. Если же n нечетно, то на границе n ¬® 1 взаимодействуют два “нечетных” процесса обмена. Здесь возможна блокировка, когда процессор 1 закроет С2, а процессор n – семафор C1 (1 = (n+1)mod n). Однако процессор n обязательно дождется открытия семафора Cn и выполнит обмен. Значит, и процессор 1 дождется открытия семафора С1, выполнит обмен и откроет С2. Так что тупики и в данном случае исключены.

Рассмотрение данной задачи синхронизации выводит нас за рамки традиционного применения мультипроцессорной системы типа MIMD, к каким относятся ВС семейства “Эльбрус”. Однако универсальность такой архитектуры допускает принципиальную возможность воспроизведения на ней более жестких архитектур – матричных и векторных, то есть типа SIMD. Реализация метода “сеток” на матричных ВС или на структурах типа гиперкуб требует подобной передачи не только двум соседним процессорам по строке, но и соседним по столбцу, по диагонали и т.д. Значит, возможно обобщение данной задачи и алгоритма синхронизации. Указанный выше прием разделения процессоров на четные и нечетные может быть применен по всем направлениям обмена – по строкам, столбцам, диагонали и т.д.

5. Задача обновления данных

Задача предполагает запрет на использование обновляемых данных. Например, процессор обновляет запись в базе данных. В простейшем случае может быть использован признак, по которому запрещается обращение к данной записи, пока она не будет обновлена. (Конечно, мы не рассматриваем того примитивного решения, когда БД превращается в ресурс с последовательным доступом. Мы стремимся к многоканальному, параллельному доступу.)

Вместо признака может быть использован семафор. Ожидание может быть организовано процедурами ЖДАТЬ или ЖУЖ.

Список литературы

1.   Многопроцессорные ЭВМ и методы их проектирования / Б.А. Бабаян, А.В. Бочаров, В.С. Волин и др. – М.: Высш. шк., 1990. – 143 с.

2.   Архитектура и математическое обеспечение многопроцессорных суперЭВМ: Учебное пособие / Л.К. Бабенко, П.П. Кравченко, О.Б. Макаревич, А.Г. Чефранов - Таганрог. Радиотехн. ин-т. - Таганрог, 1992. –154 с.

3.   Барский А.Б. Параллельные процессы в вычислительных системах. Планирование и организация. – М.: Радио и связь, 1990. – 256 с.