Software & Systems

Исследование когнитивных систем при помощи компьютерных программ-симуляторов имеет ряд преимуществ по сравнению с традиционными методами, используемыми в когнитивной психологии. Симулятор предоставляет широкие возможности для экспериментального исследования когнитивных феноменов, предлагая исследователю виртуальную когнитивную систему, более доступную для манипулирования, чем модель-прото­тип. Однако, несмотря на эти и другие преимущества программ-симуляторов, их разработка и использование не получили широкого распространения. Это связано с проблемами формального моделирования и проектирования подобных симуляторов.

Решение отмеченных проблем представляется возможным путем приближения языка моделирования к концептуальному базису моделей когнитивных феноменов. Одним из практически осуществимых направлений такого приближения является применение техники объектно-ориентиро­ванного моделирования для обобщения и формального описания когнитивных моделей с последующей трансляцией этих моделей в программный код.

Большое количество экспериментов, посвященных исследованию внимания, породило множество моделей, объясняющих этот феномен. Отмеченные модели различаются по отношению к концепции механизма внимания (внимание – фильтр и внимание – ресурс), сенсорным модальностям (слуховое и зрительное внимание), к концентрации внимания (сфокусированное и разделенное внимание) и т.д. В [1] продемонстрированы применимость объектно-ориентированной концепции в версии UML (Unified Modeling Lang­uage) для моделирования когнитивных феноменов и возможность использования полученных моделей для разработки программных симуляторов. Настоящая работа посвящена исследованиям в этом направлении, в частности, программной реализации объектно-ориентированной модели фильтрации внимания.

Рассматривается гипотеза феномена внимания, предложенная Бродбентом [2], причем выбор обусловлен, главным образом, ее простотой и хрестоматийностью. Основная цель работы – не синтез новой, более совершенной модели внимания, а демонстрация применимости объектно-ориентиро­ванной концепции в версии UML для экспериментального исследования когнитивных феноменов и систем.

Гипотеза сфокусированного внимания Бродбента

Модели фильтрации внимания, предложенные в работах [2, 3], предполагают аналогию между психологическими и техническими фильтрами. Однако между фильтрацией в психологическом и техническом смыслах существует различие. Технический фильтр имеет информационный вход и выход, а часть сигнала, попавшего на вход, ослабляется фильтром настолько, что не достигает выхода. Согласно гипотезе Найссера [4], восприятие – это циклический процесс, не имеющий входа и выхода. Поэтому психологическая фильтрация – это не «отрезание» части сенсорной информации, а, скорее, ее невосприятие в связи с отсутствием соответствующих средств (в первую очередь, соответствующих сенсоров и психологических схем) в структуре цикла восприятия. Например, человек не может воспринять информацию в виде модулированного ультразвукового сигнала не потому, что он ее отфильтровывает, а потому, что у него отсутствуют необходимые сенсоры, да и речь на незнакомом языке человек не воспринимает потому, что у него отсутствуют необходимые психологические схемы.

Будем различать два класса сенсорных событий – рутинные и подозрительные. Такая классификация необходима, поскольку при появлении сенсорных событий, относящихся к классу подозрительных, внимание организма автоматически фиксируется на этих событиях, а восприятие потока рутинных сенсорных событий прерывае-тся. Примером подозрительного сенсорного события может служить сигнал частотой 400 герц в экспериментах по дихотическому слушанию Черри [5]. В данных экспериментах субъекты устойчиво детектировали этот сигнал, который случайно транслировался в левое ухо, несмотря на то, что их внимание было сфокусировано на восприятии текста, транслируемого в правое ухо. Граница между рутинными и подозрительными событиями нечеткая. В зависимости от контекста некоторые события могут относиться как к рутинным, так и к подозрительным. Так, например, в отмеченных экспериментах Черри только часть субъектов детектировала сообщения, транслируемые в левое ухо женским голосом высокой тональности.

Назовем информационный образ сенсорного события, формируемый сенсорной системой, сенсорным сегментом. Ясно, что классификация сенсорных событий на рутинные и подозрительные распространяется и на сенсорные сегменты. Последовательность сенсорных сегментов, соответствующая потоку сенсорных событий, заполняет сенсорный буфер ограниченной емкости. Назовем эту последовательность очередью сенсорных сегментов. Представление содержимого сенсорного буфера в виде очереди вполне уместно, поскольку сенсорные сегменты заносятся в буфер и считываются из него последовательно. Специфическим свойством сенсорного буфера является естественное затухание сенсорных сегментов с течением времени.

На рисунке 1 приведена UML-диаграмма классов, отражающая введенные классы понятий и отношения между ними.

Класс QueueOfSS моделирует информацию, находящуюся в сенсорном буфере, и является упорядоченным (в виде очереди) агрегатом экземпляров класса сенсорных сегментов.

Класс SensorySegment является обобщением полного набора субклассов: RoutineSS (класс рутинных сенсорных сегментов) и SuspiciousSS (класс подозрительных сенсорных сегментов). Класс SensorySegment содержит атрибут decay­Cycle и операцию decay(decayCycle), которые моделируют свойство естественного затухания сенсорного сегмента и наследуются обоими субклассами. Значение атрибута decayCycle определяет время полного затухания информации в сенсорном буфере, а операция decay(decayCycle) реализует этот процесс. Одним из атрибутов класса SensorySegment является атрибут age, моделирующий текущий «возраст» сенсорного сегмента. Значение этого атрибута находится в диапазоне 0

С учетом структуры сенсорной информации, приведенной на рисунке 1, и циклического характера процесса восприятия работа механизма внимания может быть описана следующим образом. Сенсорные сегменты последовательно выбираются из очереди сенсорных сегментов, распознаются и сравниваются со схемами, ожидаемыми организмом на данном цикле восприятия. Максимальная близость одной из ожидаемых схем с распознанным сенсорным сегментом определяет последующий набор ожидаемых схем. Появление подозрительного сенсорного события детектируется, обработка текущих рутинных событий прерывается, и внимание переключается на обработку подозрительного сенсорного события.

Экспериментальные исследования подтверждают, что существует механизм быстрого обнаружения подозрительного события, который действует помимо относительно медленного канала категоризации. По всей видимости, каждый сенсорный орган обладает детектором признаков подозрительных событий. Для звуковых стимулов это могут быть сигналы высокой частоты или громкости. Для зрительных стимулов – быстро перемещающиеся границы света и тени и т.д. Работа детектора может рассматриваться как перманентное сравнение физических свойств сенсорных событий с хранимым классом признаков подозрительности (suspiciousFeature). После детектирования подозрительного сенсорного события цель организма меняется, он переходит к восприятию и обработке нового потока сенсорных событий, начинающегося с обнаруженного подозрительного сенсорного события.

На рисунке 2 приведена структура системы внимания по Бродбенту. Поскольку модель Бродбента является обобщением данных, полученных в первую очередь в экспериментах по дихотическому слушанию, структура системы внимания на рисунке отражает случай сфокусированного слухового внимания.

Классы очередей сенсорных сегментов RightQueueOfSS и LeftQueueOfSS соответствуют сенсорным событиям для правого и левого уха соответственно. На рисунке приведена структура только одного из классов – RightQueueOfSS. Структура класса LeftQueueOfSS идентична. Классы, изображенные в левой части рисунка, соответствуют сенсорной системе, а в правой части – постсенсорной системе.

Модель, приведенная на рисунке 2, предполагает, что класс RelevantSS, реализующий функции фильтра Бродбента, является внешним для класса Recognizer, реализующего функции категоризации. Класс RelevantSS умеет переключаться с очереди сенсорных сегментов правого уха на очередь сенсорных сегментов левого уха с помощью операции changeQueue. Аргументами этой операции являются имя очереди сенсорных сегментов (queueID) и время переключения (switchCycle). Класс RelevantSS также умеет выбирать из очереди сенсорный сегмент и передавать его классу Recognizer при помощи операции selectSegment. Эта операция имеет единственный аргумент – selectionCycle, определяющий время выборки очередного сегмента. Однако класс RelevantSS не умеет принимать решение о том, на какой из очередей сенсорных сегментов сфокусировать внимание. Эта информация передается классу RelevantSS в виде соответствующих сообщений от класса AttentionFocusControl. Класс Attention­FocusControl принимает решение о том, на каком из входных потоков сфокусировать внимание, на основании информации о наличии подозрительного сенсорного события, обнаруженного одним из детекторов подозрительных событий.

На рисунке 2 приведены детекторы RightDe­tector и LeftDetector, соответствующие правому и левому уху соответственно. Признак подозрительного сенсорного события обнаруживается детектором, который информирует об этом класс AttentionFocusControl. Этот класс, в свою очередь, передает фильтру Бродбента сообщение о прерывании обработки рутинных сенсорных событий (поступающих, например, в правое ухо) и переключении на подозрительное сенсорное событие (поступившее, например, в левое ухо). Отмеченное переключение (перемещение фокуса внимания) реализуется операцией changeQueue.

Исследование адекватности модели

Модель сфокусированного внимания Бродбента была предложена для объяснения результатов экспериментов по дихотическому слушанию [2]. Для органа слуха сенсорными событиями являются последовательности акустических сигналов, разделенные паузами. В экспериментах по дихотическому слушанию субъект помещается в искусственную среду, в которой его органы слуха работают независимо и каждый формирует свою очередь сенсорных сегментов. Основная техника в экспериментах по дихотическому слушанию называется «затенение» (shadowing). Техника затенения предполагает, что субъекта просят повторять сообщения, поступающие только в один сенсорный орган (например, в правое ухо) и таким образом фокусировать внимание на очереди сенсорных сегментов, соответствующих этому органу. Сенсорные события в реальных экспериментах представляли собой магнитофонные записи списков цифр от 1 до 10, названные Бродбентом бинауральными (binaural) списками.

После синтеза модели структуры системы внимания в соответствии с гипотезой Бродбента была поставлена задача исследования соотношений основных временных характеристик предложенной модели и сравнения полученных результатов с данными реальных экспериментов, опубликованных в литературе, для проверки адекватности разработанной модели.

Входные данные для симулятора представлены в виде двух файлов структуры PCM – по одному для каждого из входных каналов. В каждом таком файле содержится цифровой дискретный звуковой сигнал, полученный в результате записи произнесенных в микрофон бинауральных списков, разделенных паузами необходимой длительности.

Для получения симулятором исходных данных к формализованному описанию модели Бродбента был добавлен новый класс – источник аудиоинформации (AudioDataSource). Основной задачей данного класса является первичная сенсорная обработка поступающей в симулятор аудиоинформации, которая отождествляется с сенсорным преобразованием, выполняемым человеческим органом слуха. Посредством сенсорного преобразования исходная сенсорная информация переводится из амплитудно-временной зависимости к амплитудно-частотной. В амплитудно-частотной области звуковой сигнал будет представлять собой набор гармоник (спектр), каждая из которых характеризуется значениями амплитуды, частоты и начальной фазы. Спектр, получаемый в результате подобного преобразования, однозначно описывает форму исходного звукового сигнала и рассматривается как его информационный образ.

Для реализации постсенсорной системы использовалась идеология системы распознавания изолированных цифр, предложенная в [6]. При проектировании были приняты следующие предположения относительно постсенсорной системы:

–    наличие словаря эталонов – словаря малого объема, который состоит из изолированных слов, обозначающих десять цифр от 1 до 10;

–    дикторозависимость системы;

–    отсутствие обучения системы.

Поскольку сенсорный сегмент имеет вид амплитудного спектра, представляющего собой сумму определенного числа гармоник, его естественное затухание моделировалось путем поэлементного затухания его составных частей – гармоник. Затухание отдельной гармоники представлено в виде уменьшения ее амплитуды относительно начального значения с течением времени по экспоненциальному закону, , где A0 – начальная амплитуда гармоники;  – время полного затухания; t – время.

На рисунке 3 показаны этапы процесса распознавания слов, используемые в симуляторе.

Для распознавания выделенных слов создан словарь эталонов в виде текстового файла, состоящего из разделов, каждый из которых хранит информацию о конкретном слове – цифре от 1 до 10. Структура файла представлена в таблице 1.

Таблица 1

Словарь эталонов состоит из разделов. Заголовок каждого раздела словаря представляет собой лексическое значение слова, а тело раздела содержит строки, состоящие из порядкового номера сенсорного сегмента в диапазоне от 1 до Ls – количества сенсорных сегментов в слове и перечисления значений модулей всех гармоник его спектрального образа в диапазоне от 0 до k-1, где k – количество гармоник, составляющих спектральный образ слова.

Для распознавания подаваемых на вход симулятора речевых сигналов такие параметры, как частота дискретизации, разрядность АЦП, ширина окна сегментации, должны быть идентичны значениям, при которых происходило формирование словаря.

Каждый структурный элемент формализованной модели предметной области реализован в виде визуализированного класса, имеющего свое функциональное назначение и интерфейс взаимодействия с пользователем.

В симуляторе реализованы следующие возможности экспериментирования: 1) регулирование различных динамических характеристик структурных элементов системы (уровень шума, период следования сенсорных сегментов, время формирования сенсорного сегмента, время анализа сенсорного сегмента, время переключения селективного фильтра между сенсорными сегментами, период затухания информации в сенсорном буфере и время распознавания слов); 2) анализ большой выборки, состоящей из нескольких сотен экспериментов с установкой необходимых характеристик эксперимента (последовательный или параллельный анализ поступающей сенсорной информации).

Экспериментатор может наблюдать графическое представление состояний структурных элементов симулятора, взаимодействие между ними, общее поведение модели, а также входной звуковой сигнал, процесс формирования его информационного образа и результат распознавания слов. На рисунке 4 показано рабочее окно программы.

Предложенная программа была протестирована с набором временных характеристик, описанных в литературе, что позволило оценить адекватность предложенной модели и опытным путем установить характеристики, которые не были получены при проведении психологических экспериментов.

Эталонный набор параметров следующий.

1.   Цифры предъявлялись испытуемым со скоростью 1 пара в сек. Предъявление 3 пар занимало около 2,5 сек. с паузой между парами в 0,5 сек. Следовательно, продолжительность каждого сенсорного сегмента от момента его поступления до начала затухания в модели составляет

 сек., или 500 мс.

2.   Пауза между предъявлением цифр (в модели – пауза между сегментами последовательности) для первой группы испытуемых составляла 0,5 сек. и варьировалась от 0,5 до 2 сек. для второй группы испытуемых. Минимальное время переключения фильтра между каналами, по оценке Бродбента, составляет около 300–500 мс. В модели switchCycle оно принято равным 400 мс.

3.   Важнейшая особенность модели Бродбента – предположение о том, что мы выбираем сообщение для обработки на основе физических характеристик. В этом есть смысл с точки зрения нейрофизиологии. В результате исследований Уолдорфа [7] по определению времени первичной слуховой обработки поступающей сенсорной информации определенными областями коры головного мозга была зарегистрирована усиленная реакция на слуховые сигналы в интервале между 200 и 500 мс после начала предъявления стимула (в модели selectionCycle).

4.   Найссер описал систему, которая удерживает необработанную слуховую информацию, и назвал ее сенсорной слуховой памятью, или эхоической памятью. В работе [8] определено, что информация в эхоической памяти доступна для обработки в течение короткого времени, от 250 мс до 4 сек. В модели decayCycle оно принято равным 3 сек., или 3 000 мс.

5.   Время распознавания слов (в модели re­cognitionCycle) было определено опытным путем и составило 400 мс.

6.   Опытным же путем было установлено максимальное количество сенсорных сегментов, которые могут сохраняться в памяти, – 7,5.

Результаты сравнения экспериментальных данных приведены в таблице 2.

Таблица 2

Примечание: А – количество правильных ответов, полученных в психологических экспериментах, %; Б – количество правильных ответов, полученных с помощью стимулятора, %; 1 – 1-й эксперимент (поканальное слушание); 2 – 2-й эксперимент (параллельное слушание).

Сравнительный анализ показал следующее. Числовые параметры модели не противоречат данным, указанным в литературе, и в значительной степени уточняют их (опытным путем были определены время распознавания сенсорного сегмента и максимальное количество сенсорных сегментов, которые могут сохраняться в памяти). Результаты первого эксперимента всегда лучше второго. Хорошие результаты объясняются тем, что суммарное время, потраченное фильтром и системой распознавания, было меньше времени естественного затухания. Результаты второго эксперимента при малых паузах (500–1 000 мс) снизились более чем в 2 раза по сравнению с результатами первого эксперимента. Большое количество ошибок объясняется тем, что общее время, потраченное фильтром и системой распознавания, пре- вышало время естественного затухания. Резуль- таты второго эксперимента при больших паузах (1 500–2 000 мс) выше, чем при малых, но не превышают результаты первого эксперимента.

Таким образом, можно сделать следующие выводы.

Формальную систему UML следует использовать для строгого описания когнитивных феноменов и систем.

Адекватность UML-модели сфокусированного внимания, соответствующей гипотезе Бродбента, подтверждается хорошей согласованностью с результатами экспериментов по дихотическому слушанию.

Симулятор позволяет моделировать базовые функции и основные динамические характеристики структурных элементов системы внимания (например, период следования сенсорных сегментов, время нахождения сегмента в сенсорном буфере, время переключения между сенсорными сегментами, время затухания информации в сенсорном буфере и время распознавания). В ней реализованы средства поддержки экспериментального исследования сфокусированного внимания. При проведении экспериментов есть возможность наблюдать графическое представление состояний структурных элементов симулятора, взаимодействие между ними, общее поведение модели, а также входной звуковой сигнал, процесс формирования его информационного образа и результат распознавания слов.

Легкость интеграции моделей, представленных в UML-нотации, определяет направление дальнейших исследований – разработка более масштабных моделей, объединяющих систему внимания с системой восприятия, с одной стороны, и с системой категоризации – с другой. Особенно перспективным представляется встраивание полученных моделей внимания в модель цикла восприятия, предложенную в [4].

Текущая версия программного симулятора может использоваться для учебных и исследо- вательских целей в области когнитивной психо- логии, когнитивного моделирования и в других областях, где изучаются различные аспекты развития и функционирования психологических систем.

Литература

1.   Чмырь И.А., Жирякова И.А., Аль-Кавасми Р.М. Объектные модели фильтрации внимания: классификация и интеграция // Искусственный интеллект. 2003. № 2. С. 52–63.

2.   Broadbent D.E. Perception and Communication – Oxford: Pergamon Press, 1958. 338 p.

3.   Treisman A.M. Selective Attention in Man // British Medical Bulletin. 1964. № 20, pp. 12–16.

4.   Neisser U. Cognition and reality: principles and implications of cognitive psychology – San Francisco: W.H. Freeman and Company, 1976. 230 p.

5.   Cherry E.C. Some experiments on the recognition of speech with one and two ears // Journal of the Acoustical Society of America. 1953. № 25, pp. 975–979.

6.   Sambur M.R., Rabiner L.R. A Speaker independent digit recognition system // Bell System Tech. J. 1975. V. 54. № 1.

7.   Woldorff M.G., Gallen C.C., Hampson S.A., Hillyard S.A., Pantev C., Sobel D. & Bloom F.E. Modulation of early sensory processing in human auditory context during auditory selective attention // Proceedings of the National Academy of Science. 1993. V. 90, pp. 8722–8726.

8.   Glucksberg S., Cowan G.N. Memory for nonattended auditory material // Journal Cognitive Pscychology. 1970. № 1.