Программные продукты и системы

Традиционно управление компьютером и связанными с ним устройствами осуществляется путем сознательной (с точки зрения пользователя) подачи команд с применением ставших классическими каналов коммуникации с использованием клавиатуры, джойстика, мыши и т.п. По сути эти команды формируются лишь в одном из состояний пользователя – при его сознательно контролируемой деятельности. При этом практически не учитывается важная информация, связанная со многими другими аспектами активности пользователя, а именно разнообразные непроизвольные сигналы, порождаемые самим пользователем, которыми большинство людей не в состоянии управлять без дополнительной тренировки. Эта информация весьма значима для оценки состояния человека и может оказывать существенное влияние на его работу при человеко-машинном взаимодействии. К информации такого вида можно отнести частоту сердечных сокращений, частоту дыхательных движений, кожно-гальваническую реакцию, электроэнцефалограмму, параметры артериального давления, ряд элементов электромиограммы и др. Регистрация подобной информации с последующей передачей ее пользователю в реальном масштабе времени служит основой технологии биологической обратной связи (БОС), которую, в свою очередь, можно считать естественным продолжением классических работ академика И.П. Павлова [1, 2].

Целью настоящей работы является разработка принципов управления компьютером или основанной на нем системы с использованием эмоционального канала, когда функционирование компьютера должно подстраиваться под эмоциональное состояние пользователя.

Применение систем БОС для управления внешними устройствами

Существенно усовершенствованная с появлением цифровой техники технология биологической обратной связи в настоящее время стала широко использоваться во многих лечебных мероприятиях (см., например, [3]), а также для реабилитационных процедур. Смысл применяемой при этом методики заключается в том, что пациент учится сознательно управлять своими функциями, которые в обычном состоянии осуществляются непроизвольно, или корректировать их. Они могут анализироваться с применением программно-аппаратных комплексов, а результаты этого анализа наглядно представляются пользователю. Так, в работе [4] было использовано непроизвольное изменение реакций электрогенеза головного мозга для управления изменением цветовой гаммы интерфейса программы на экране монитора. При этом используются сигналы головного мозга, которые регулируются непроизвольным образом. Для достижения требуемого эффекта управления компьютером необходима определенная перестройка деятельности головного мозга, которая выражается в изменении амплитуды и частоты генерируемых электрических волн, видимых на электроэнцефалограмме, что осуществляется фактически без произвольного участия пользователя.

Классическая схема БОС представлена на рисунке. Как видим, схема цикла биологической обратной связи, отражающая механизм произвольного управления функциями органов человека, представляет собой последовательность из пяти шагов.

Шаг 1. В ходе выполнения полученного задания или в процессе тренировки испытуемый пытается изменить активность одного из своих органов (или системы органов). В норме такие изменения либо крайне затруднены, либо невозможны. Задача тренировки – освоить технику управления определенными функциями организма.

Шаг 2. Состояние органа (системы органов) контролируется приборами, регистрирующими биомедицинские сигналы, при том, что частота получения данных о состоянии органа достаточно велика, а его мониторинг ведется постоянно.

Шаг 3. Сигналы от прибора, регистрирующего состояние органа, например частоту сокращений сердца (от кардиографа, пульсометра), электрическую активность головного мозга (от электроэнцефалографа или церебрального оксиметра) и прочее, усиливаются, оцифровываются и направляются для обработки в компьютер.

Шаг 4. Полученные компьютером данные обрабатываются и классифицируются.

Шаг 5. На их основе формируются команды, которые затем передаются устройству-эффектору (или другому компьютеру), после чего возникает ответная реакция или выдается сообщение пользователю в доступной форме об изменении уровня активности или состояния одного из его органов или системы органов (патент РФ № 2118117, авторы: Титомир Л.И., Струтынский А.В., Бла- тов И.В.; патент РФ № 2201130, авторы: Бородянский И.М., Бородянский Ю.М., Ольшанская Е.Г., Сурженко И.Ф., Хало П.В.; патент РФ № 2201130, авторы: Фролов А.Б., Артюх Л.Н.).

Отметим, что системы БОС в наиболее распространенном виде применяют компьютер в первую очередь для сообщения пользователю в доступной форме информации о его состоянии, а не для управления самой программно-аппаратной частью системы.

Развившиеся из систем БОС системы нейро-компьютерного интерфейса (НКИ) [5, 6] используют, как правило, электрофизиологические феномены центральной нервной системы опять же для произвольного управления внешними устройствами типа манипулятора, компьютера, осуществляющего набор текста, и так далее. В целом подобные устройства характеризуются пока еще недостаточной скоростью и точностью работы, если их сравнивать с устройствами со стандартными каналами управления компьютером (клавиатурой, джойстиком, мышью и т.п.). Однако при нынешней невысокой скорости работы устройств, основанных на принципах нейро-компьютерного интерфейса, их применение, учитывая еще и их сложность, является эффективным только в ограниченном числе случаев, например для инвалидов, когда иные способы связи с компьютером оказываются для них недоступными в силу тяжелой травмы или серьезного заболевания. Поэтому логичным является использование непроизвольно порождаемых пользователем сигналов (конечно, после их интерпретации) для управления некоторыми параметрами, влияющими на работу компьютерных систем, например для управления приоритетом выполняемой программы.

В настоящее время управление приоритетами процессов или программ, реализуемых на компьютере, осуществляется операционной системой и в ряде случаев требует ручной настройки, когда в диспетчере задач или аналогичной программе пользователь сам может установить нужный приоритет. В значительной мере отсутствие необходимых навыков не позволяет пользователю качественно настроить работу системы приоритетов при том, что, даже обладая необходимыми компетенциями, он не сможет достаточно быстро менять приоритеты заданий в соответствии со складывающейся ситуацией и доступными в данный момент ресурсами компьютера. Подобный недостаток операционных систем приводит к тому, что в ряде случаев происходит существенное замедление работы приложений, запущенных пользователем, в ущерб текущим системным задачам, подчас не связанным с задачами пользователя (например, запуск текущей антивирусной проверки в условиях дефицита ресурсов и т.п.), что, естественно, не лучшим образом сказывается на работе процессов пользователя. Таким образом, возможности систем БОС непроизвольного управления цветовой гаммой графического интерфейса компьютерных программ путем изменения ритма электрических сигналов головного мозга пользователя и систем НКИ не могут полноценно использоваться для управления компьютером (например, для изменения приоритета конкретного выполняемого процесса). В этом режиме сам пользователь должен изменить свое состояние под требования реализации управления определенными параметрами компьютера.

Представленный выше подход можно использовать для оптимизации работы компьютера путем сокращения времени, в течение которого пользователь вынужден ожидать выполнения операционной системой его заданий. Этот результат достигается тем, что по проводному или беспроводному каналу связи в реальном масштабе времени регистрируется один или несколько показателей, отражающих функциональное состояние или напряжение пользователя (частоту сердечных сокращений, кожно-гальваническую реакцию, паттерны дыхания и т.п.). Необходимо отметить, что для широкой реализации эмоционально-зависимого канала управления следует выбирать наиболее легко регистрируемые показатели, разработка или приобретение систем детектирования которых не представляет большой сложности.

Помимо мониторинга физиологических показателей человека, оцениваются используемые каждой программой (или процессом) ресурсы: степень загрузки центрального процессора, объем используемой оперативной памяти (включая размер файлов подкачки), параметры жестких дисков и другие ресурсы, а также число системных и пользовательских процессов и так далее. При этом желательно знать степень активности пользователя при использовании им клавиатуры, мыши, тачпэда и т.п., которая также представляет собой важную информацию, характеризующую уровень эмоционального напряжения человека, работающего на компьютере.

На основании оценки эмоционального состояния пользователя можно реализовать несколько стратегий управления компьютером.

В ситуации, когда показатели пользователя для выбранного им канала управления или совокупности таких каналов (пульс, частота дыхания, кожно-гальваническая реакция, особенности работы на клавиатуре, мыши, тачпэде и так далее) находятся в состоянии, соответствующем покою, вне зависимости от активности пользователя при работе на компьютере управление приоритетами процессов осуществляется операционной системой по умолчанию, исходя из потребностей текущих задач. Если же показатели состояния пользователя для выбранного им канала или совокупности каналов указывают на стресс или напряжение функциональной системы, управление приоритетами процессов осуществляется путем перераспределения ресурсов компьютера в пользу программ и процессов, с которыми в настоящее время работает пользователь. При этом подходе более высокий приоритет задач пользователя позволит существенно ускорить их выполнение, что в известной степени снизит его эмоциональную нагрузку.

Если пользователь использует компьютерные игры или мультимедийные приложения, то состояние героя компьютерных игр (характеризующие его цвет, поведение, опции управления и состояния и др.), музыкальное сопровождение игры и/или работы пользователя на компьютере, цветовая гамма игры и/или ряда элементов работы с операционной системой (вид и состояние интерфейса, включая графический), выбранные пользователем, меняются в соответствии с установленными пользователем настройками с учетом его состояния, оцениваемого перечисленными выше способами.

Таким образом достигается своего рода эмоциональная настройка компьютера исходя из состояния пользователя, а в компьютерных играх еще осуществляется и введение в «геймплэй» эмоциональной привязки к состоянию человека, которая в некоторых случаях может передаваться другим игрокам для повышения динамичности и зрелищности игрового процесса.

Оптимизация работы компьютера с использованием эмоционального канала управления

Рассмотрим примеры использования эмоционального канала для управления работой компьютера, реализованные в рамках создания в лаборатории информационных технологий в медицине кафедры цифровых технологий факультета компьютерных наук Воронежского государственного университета линейки человеко-машинных интерфейсов.

Пример 1. Пользователь при работе с компьютером изменяет настройки разработанного программного продукта так, чтобы его расслаблен- ному состоянию соответствовал зеленый цвет графического интерфейса, а напряженному – красный. При этом регистрируется только частота сердечных сокращений (ЧСС) пользователя по принципу пульсометрии (фотоплетизмографии). Данные передаются в компьютер по проводному каналу. В случае, если пользователь расслаблен, то есть его ЧСС, например, ниже 75 ударов в минуту, окна графического интерфейса операционной системы Windows имеют цвета, относящиеся к серо-зеленой гамме. По мере того как ЧСС пользователя возрастает, что отражает его напряжение, цветовая гамма интерфейса смещается через синюю область в красную.

Пример 2. Пользователь играет в игру семейства «Тетрис». При этом также регистрируется только его ЧСС по принципу пульсометрии, а данные передаются в компьютер по проводному каналу. Согласно установкам пользователя, в состоянии покоя (ЧСС меньше 80 ударов в минуту) компоненты игры имеют цвета в холодной гамме, а при превышении этого показателя – в теплой. Таким образом, по мере нарастания напряжения игры ее цветовая гамма будет отражать состояние пользователя, что обеспечит игре интерактивность и динамичность.

Пример 3. Пользователь работает со своим программным приложением, выполняющим расчеты, связанные с его деятельностью. При этом также регистрируется только ЧСС пользователя по принципу пульсометрии, а данные передаются в компьютер по проводному каналу. Согласно установкам пользователя, в состоянии покоя (ЧСС меньше 80 ударов в минуту) его приложение имеет статус приоритета «средний», при превышении этого показателя приоритет меняется на «высокий».

Как известно, недостаточная скорость выполнения ряда приложений, приводящая к слишком большому времени ожидания результатов, является для пользователя компьютера стрессоформирующим фактором. Созданный в данной работе алгоритм позволяет уменьшить стресс пользователя за счет ускорения работы запущенных им приложений путем необходимого изменения их приоритетов. Не изменяющиеся в течение достаточно длительного времени приоритеты приложений пользователя могут вызвать как снижение скорости работы операционной системы с другими пользовательскими приложениями, так и нежелательное замедление выполнения ряда системных операций, обеспечивающих поддержку работы пользовательских программ. Спокойное состояние пользователя, которое передается по каналам связи в систему управления компьютером, разрешает компьютеру выполнять текущие задачи в режиме по умолчанию. Следовательно, динамическое изменение приоритетов работающих приложений, исходя из потребностей пользователя, дает возможность гибко подстраиваться под его требования и снижать психологическую нагрузку при работе с компьютером.

В заключение отметим, что в настоящей работе исследуется возможность применения дополнительного канала коммуникации человек–компью­тер на основе использования оценки функционального напряжения и/или эмоционального состояния пользователя для оптимизации управления компьютером. Сделан вывод, что использование предложенного эмоционального канала управления компьютером в дополнение к уже существующим позволит заметно повысить эффективность его работы, приведет к сокращению времени, в течение которого пользователь вынужден ожидать выполнения операционной системой своих заданий, к оптимизации функционирования мультимедийных приложений, появлению новых возможностей взаимодействия с операционной системой (в том числе к улучшению вида и состояния интерфейса, включая графический), расширению функционала героя его компьютерных игр и так далее. В дальнейшем это позволит обеспечить внедрение элементов контекстно-ориенти­рованного взаимодействия в системы управления компьютером или в целом в информационно-коммуникационные технологии.

Литература

1.     Основы психофизиологии: учебник; [отв. ред. Ю.И. Александров]. М.: ИНФРА-М, 1997. 349 с.

2.     Физиология человека; [под ред. В.М. Смирнова]. M.: Медицина, 2002. 608 с.

3.     Сороко С.И., Трубачев В.В. Нейрофизиологические и психофизиологические основы адаптивного биоуправления. СПб: Политехника-сервис, 2010. 607 с.

4.     Kaplan A.Ya., Lim J.J., Jin K.S., Park B.W., Byeon J.G., Tarasova S.U. Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception. Intern. J. Neuroscience. 2005, vol. 115, pp. 781–802.

5.     Wolpaw J.R., McFarland D.J. Control of a twodimensional movement signal by a noninvasive brain-computer interface in humans. Proc. Nat. Acad. Sci. USA, 2004, vol. 101 (51), pp. 17849–17854.

6.     Gao X., Xu D., Cheng M. et al. A BCI-Based Environmental Controller for the Motion- Disabled. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2003, vol. 11, no. 2, pp. 137–140.

References

1.     Aleksandrov Yu.I., ed. Osnovy psikhofiziologii [The basics of psychophysiology]. Text book. Moscow, INFRA-M Publ., 1997, 349 p.

2.     Smirnov V.M., ed. Fiziologiya cheloveka [Human physiology]. Moscow, Meditsina Publ., 2002, 608 p.

3.     Soroko S.I., Trubachev V.V. Neyrofiziologicheskie i psi­khofiziologicheskie osnovy adaptivnogo bioupravleniya [Neurophysiological and psychophysiological basics of adaptive biocontrol]. St. Petersburg, Politekhnika-servis Publ., 2010, 607 p.

4.     Kaplan A.Ya., Lim J.J., Jin K.S., Park B.W., Byeon J.G., Tarasova S.U. Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception. Intern. J. Neuroscience. 2005, vol. 115, pp. 781–802.

5.     Wolpaw J.R., McFarland D.J. Control of a twodimensio- nal movement signal by a noninvasive brain-computer interface in humans. Proc. Nat. Acad. Sci. USA. 2004, vol. 101 (51), pp. 17849–17854.

6.      Gao X., Xu D., Cheng M. A BCI-based environmental controller for the motion-disabled. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2003, vol. 11, no. 2, pp. 137–140.