Software & Systems

Введение. Взаимодействие человека с электронными устройствами на основе регистрации и анализа электрической активности мозга обеспечивают интерфейсы мозг–компьютер (ИМК) [1]. Традиционно ИМК используются в медицинских целях, например, для управления протезами искусственных конечностей или для коррекции различных нарушений нервной системы и улучшения психофизиологического состояния здоровых пользователей [2]. Чаще всего применяются неинвазивные технологии, основанные на регистрации электроэнцефалограммы (ЭЭГ). Работа ИМК включает пять основных этапов: сбор данных, обработка сигнала, выделение значимой информации, интерпретация признаков и принятие решения, обратная связь и вывод решения. Хотя эти этапы во многом схожи у многих ИМК, каждая система опирается на разные процессы предобработки сигналов [2], выделения признаков и особые методы классификации [3].

Современные алгоритмы машинного обучения превосходят стандартные методы анализа ЭЭГ при выполнении сложных задач. Например, на основе алгоритмов машинного обучения разрабатываются нейроинтерфейсы для управления различной техникой (инвалидными колясками, автоматизированными больничными койками и другими роботизированными системами) [4]. В работе [5] для классификации эмоций по паттерну ЭЭГ применяется метод, основанный на сверточных нейронных сетях (СНС), достигающий 79 % точности распознавания нескольких классов. Подобные системы используются в нейромаркетинге. Также авторы рассматривают алгоритм удаления помех из ЭЭГ при помощи рекуррентных нейронных сетей. Сверточные сети применяются и для других за- дач, связанных с анализом ЭЭГ. В исследовании [6] для выявления признаков эпилептиформной активности в записях ЭЭГ, предварительно обработанных методом вейвлет-анализа, использована модель архитектуры ResNet18. Модели на базе классических алгоритмов показывают меньшую эффективность по сравнению с СНС.

В настоящее время СНС широко распространены благодаря их успешному применению в сложных задачах классификации и генерации изображений [7], а также для классификации паттернов ЭЭГ, связанных с движениями. Представленные в работах [7, 8] модели СНС имели разные наборы данных и демонстрировали точность от 60 до 94 %.

Одним из примеров использования архитектуры СНС является модель, разработанная в ходе проекта “EEGNet: a compact convolutional neural network for EEG-based brain–computer interfaces” [7]. EEGNet применяется для ИМК на основе регистрации и анализа ЭЭГ и некоторых других задач. Основа подхода данной архитектуры заключается в последовательной свертке фрагмента записи сначала во временном диапазоне, а затем в пространственном, то есть по разным осям массива данных [9, 10]. Это позволяет выделить признаки, содержащиеся как в отдельных каналах, так и в их пересечениях, выполняя как временную, так и пространственную фильтрацию. При этом свертка происходит одномерно, хотя для нее применяется слой двухмерной свертки Conv2d [7, 11]. Двухэтапная сверточная последовательность основана на алгоритме общего пространственного шаблона банка фильтров “Filter Bank Common Spatial Pattern” (FBCSP) [12, 13]. Указанная модель и другие подобные модели [14, 15] демонстрирует высокие показатели классификации движений с набором данных BCI Challen- ge, размещенном на сайте Kaggle (https://www. kaggle.com/c/inria-bci-challenge/data). Данные собраны по 56 и более каналам, однако при работе с меньшим числом каналов эффективность моделей резко падает. В настоящее время наиболее распространенным и доступным средством регистрации ЭЭГ являются электроэнцефалографы с 32 каналами. Отмечено, что уменьшение количества каналов ЭЭГ перспективно для создания компактных и удобных в использовании систем современных нейроинтерфейсов [16].

Таким образом, цель представленного проекта заключается в создании на основе EEGNet новой модели для классификации ряда вообра- жаемых и реальных движений рук с применением электроэнцефалографа с 32 каналами, а также в ее обучении и тестировании на собственном наборе данных. Указанная модель может быть использована при разработке ПО комплекса, включающего ИМК и экзоскелет кистей рук. Такой комплекс управляется в зависимости от параметров ЭЭГ при мысленном представлении движения и используется для коррекции развития детей с детским церебральным параличом (ДЦП).

Метод исследования

Для доработки, обучения и тестирования новой версии модели было собрано несколько датасетов ЭЭГ с фрагментами записей, соответствующих воображаемым и реальным сжатиям кистей левой и правой рук.

Поскольку предполагалось, что распознавание реальных движений проще, чем воображаемых, первым этапом исследований стало применение модели глубокого обучения на основе EEGNet для классификации реальных движений. Для этой задачи был собран набор данных из 36 записей ЭЭГ, зарегистрированных у двух испытуемых и содержащих эпохи, соответствующие набору реальных движений рук. ЭЭГ регистрировалась монополярно в лобных (Fpz, Fp1, Fp2, Fz, F1, F2, F3, F4), центральных (Cz, C1, C2, C3, C4), теменных (Pz, P1, P2, P3, P4) и затылочных (Oz, O1, O2) отведениях, расположенных по неполной международной схеме 10–10 с частотой дискретизации 500 Гц. В качестве референтного использован объединенный ушной электрод, для регистрации ЭЭГ – отечественный энцефалограф NVX 52, программа NeoRec и разработанное на языке Python приложение для отслеживания движений с применением библиотеки MediaPipe. Данное приложение обеспечивает захват видеоизображений с камеры во время регистрации ЭЭГ и позволяет проводить эксперимент более быстро и комфортно для испытуемого, давая возможность совершать движения в произвольное время без предоставления стимулов. Каждая запись длилась произвольное количество времени (в пределах 15 мин.), на протяжении которого испытуемый совершал от 100 до 200 циклов движений (сжатия, разжимания, расслабления кисти левой руки), после чего делали перерыв.

При проведении предобработки проводилась фильтрация при помощи FFT фильтра, выделялись сигналы в частотном диапазоне 1–40 Гц. Для устранения выбросов удалялись сэмплы с амплитудой сигнала, превышающей 100 мкВ. Проводилась нормализация сэмплов средствами библиотеки scikit-learn.

В задаче распознавания реальных движений модель EEGnet, обученная на данных 32 каналов, продемонстрировала максимальную точность 77 % на валидационной выборке и 67 % на тестовой при бинарной классификации наличия движения и отдыха (рис. 1).

Вторым этапом исследований являлось применение использованной ранее модели для классификации воображаемых движений. С этой целью был собран датасет из 1 382 записей 150 здоровых испытуемых в возрасте от 18 до 30 лет. Запись ЭЭГ осуществлялась с помощью приложения, разработанного на базе программной платформы Open Vibe. Приложение обеспечивало выполнение сценария эксперимента, при котором испытуемым на экране компьютера предъявлялись команды «сжатие левой руки», «разжатие левой руки», «сжатие правой руки», «разжатие правой руки», «отдых». В ответ на эти команды надо было кинестетически воображать соответствующее движение руки или состояние расслабления. С участием каждого испытуемого проводилось по 10 сессий регистрации ЭЭГ, каждая из которых продолжалась 15 минут. В результате был получен датасет, содержащий 120 341 семпл, соответствующий воображаемым движениям или расслаблению. Предобработка данных осуществлялась указанным выше методом.

В задаче классификации с тремя классами состояний – сжатие левой руки, правой руки и расслабление – удалось достичь точности в 68 % на валидационном датасете и 65 % на тестовом (рис. 2).

Для повышения точности классификации и оптимизации модели, а также ее обучения были изменены параметры всех слоев свертки. В первом слое размер фильтров был увеличен до 64, во втором – до 128. Размер ядра в слоях, выполняющих свертку по оси времени, был увеличен до 64, что при частоте дискретизации сигнала 128 Гц соответствует временному отрезку около 0.5 секунды. Значение dropout было уменьшено до 0.1, слои AveragePooling2D заменены на MaxPooling2D.

Результаты исследования

Новая модель в задаче бинарной классификации реальных движений и расслабления продемонстрировала точность 85 % на валида- ционном наборе данных и 73 % на тестовом (рис. 3).

В задаче классификации воображаемых движений левой руки, правой руки и расслабления удалось получить точность 80 % на валидационном датасете и 75 % на тестовом (рис. 4).

Таким образом, была проанализирована существующая методика разработки ИМК на основе глубокого обучения с применением сверточных сетей. Собраны два набора данных, зарегистрированных ЭЭГ с 32 каналами и содержащих паттерны ЭЭГ, соответствующие реальным и воображаемым движениям. Протестирована модель с архитектурой EEGnet, и разработана ее улучшенная версия, показавшая более высокую эффективность в задачах распознавания паттернов ЭЭГ.

Заключение

В настоящее время в лаборатории «Фаблаб» КФУ имени В.И. Вернадского разрабатывается программа, использующая описанную модель для обработки данных ЭЭГ и классификации движений в режиме реального времени. Это позволит создать комплекс, включающий нейроинтерфейс для проведения коррекционных тренингов на основе биологической обратной связи для детей с ДЦП. Экзоскелеты кистей рук, также входящие в состав комплекса, совершают движения при совпадении активности головного мозга ребенка с параметрами паттернов ЭЭГ здоровых испытуемых. В дальнейшем планируется провести серию клинических исследований для оценки эффективности данного комплекса с соответствующим набором программ.

Список литературы

1.   Camargo-Vargas D., Callejas-Cuervo M., Mazzoleni S. Brain-computer interfaces systems for upper and lower limb rehabilitation: A systematic review. Sensors, 2021, vol. 21, no. 13, art. 4312. doi: 10.3390/s21134312.

2.   Saproo S., Faller J., Shih V., Sajda P., Waytowich N.R. et al. Cortically coupled computing: A new paradigm for synergistic human-machine interaction. Computer, 2016, vol. 49, no. 9, pp. 60–68. doi: 10.1109/MC.2016.294.

3.   Fu J., Chen S., Jia J. Sensorimotor rhythm-based brain-computer interfaces for motor tasks used in hand upper extremity rehabilitation after stroke: A systematic review. Brain Sci., 2022, vol. 13, no. 1, art. 56. doi: 10.3390/brainsci13010056.

4.   Бодин О.Н., Солодимова Г.А., Спиркин А.Н. Нейроинтерфейс для управления роботизированными устройствами // Измерение. Мониторинг. Управление. Контроль. 2019. Т. 30. № 4. С. 70–76. doi: 10.21685/2307-5538-2019-4-8.

5.   Шанин И.А., Ступников С.А. Методы анализа данных электроэнцефалографии с применением сверточных и рекуррентных нейронных сетей // Системы и средства информатики. 2021. Т. 31. № 2. С. 36–46. doi: 10.14357/ 08696527210204.

6.   Назариков С.И. Математическая модель для выявления эпилептических приступов на записи ЭЭГ // Изв. вузов. ПНД. 2023. Т. 31. № 5. С. 628–642. doi: 10.18500/0869-6632-003065.

7.   Lawhern V.J., Solon A.J., Waytowich N.R., Gordon S.M. EEGNet: A compact convolutional neural network for EEG-based brain–computer interfaces. JNE, 2018, vol. 15, no. 5, art. 056013. doi: 10.1088/1741-2552/aace8c.

8.   Waytowich N., Lawhern V.J., Garcia J.O., Faller J., Vettel P.S., Vettel J.M. Compact convolutional neural networks for classification of asynchronous steady-state visual evoked potentials. JNE, 2018, vol. 15, no. 6, art. 066031. doi: 10.1088/ 1741-2552/aae5d8.

9.   Schirrmeister R.T., Springenberg J.T., Fiederer L.D.J., Glasstetter M., Eggensperger K. et al. Deep learning with convolutional neural networks for EEG decoding and visualization. Human Brain Mapping, 2017, vol. 38, no. 11, pp. 5391–5420. doi: 10.1002/hbm.23730.

10. Gordon S.M., Jaswa M., Solon A.J., Lawhern V.J. Real world BCI: Cross-domain learning and practical applications. Proc. BCIforReal, 2017, pp. 25–28. doi: 10.1145/3038439.3038444.

11. Yin Z., Zhang J. Cross-session classification of mental workload levels using EEG and an adaptive deep learning model. Biomedical Signal Processing and Control, 2017, vol. 33, pp. 30–47. doi: 10.1016/j.bspc.2016.11.013.

12. Park S.H., Lee D., Lee S.G. Filter bank regularized common spatial pattern ensemble for small sample motor imagery classification. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2018, vol. 26, no. 2, pp. 498–505. doi: 10.1109/TNSRE.2017.2757519.

13. Arpaia P., Esposito A., Natalizio A., Parvis M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. JNE, 2022, vol. 19, no. 3. doi: 10.1088/1741-2552/ac74e0.

14. Khademi Z., Ebrahimi F., Kordy H.M. A review of critical challenges in MI-BCI: From conventional to deep learning methods. J. of Neuroscience Methods, 2023, vol. 383, art. 109736. doi: 10.1016/j.jneumeth.2022.109736.

15. Tibrewal N., Leeuwis N., Alimardani M. Classification of motor imagery EEG using deep learning increases performance in inefficient BCI users. PLoS One, 2022, vol. 17, no. 7, art. e0268880 doi: 10.1371/journal.pone.0268880.

16. Ямаев М.И., Шипицин С.П., Филатова Е.С. Нейронные сети для классификации ЭЭГ: от перцептрона до сверточной LSTM-сети // Междунар. конф. по мягким вычислениям и измерениям: матер. 2018. Т. 1. С. 765–768.

References

1.      Camargo-Vargas, D., Callejas-Cuervo, M., Mazzoleni, S. (2021) ‘Brain-computer interfaces systems for upper and lower limb rehabilitation: A systematic review’, Sensors, 21(13), art. 4312. doi: 10.3390/s21134312.

2.      Saproo, S., Faller, J., Shih, V., Sajda, P., Waytowich, N.R., et al. (2016) ‘Cortically coupled computing: A new paradigm for synergistic human-machine interaction’, Computer, 49(9), pp. 60–68. doi: 10.1109/MC.2016.294.

3.      Fu, J., Chen, S., Jia, J. (2022) ‘Sensorimotor rhythm-based brain-computer interfaces for motor tasks used in hand upper extremity rehabilitation after stroke: A systematic review’, Brain Sci., 13(1), art. 56. doi: 10.3390/brainsci13010056.

4.      Bodin, O.N., Solodimova, G.A., Spirkin, A.N. (2019) ‘Neurointerface for controlling robotic devices’, Measurement. Monitoring. Management. Control, 30(4), pp. 70–76 (in Russ.). doi: 10.21685/2307-5538-2019-4-8.

5.      Shanin, I.A., Stupnikov, S.A. (2021) ‘Electroencephalography data analysis with convolutional and recurrent neural networks’, Systems and Means of Informatics, 31(2), pp. 36–46 (in Russ.). doi: 10.14357/08696527210204.

6.      Nazarikov, S.I., (2023) ‘Mathematical model for identifying epileptic seizures on EEG recordings’, Izv. VUZ. Applied Nonlinear Dynamics, 31(5), pp. 628–642 (in Russ.). doi: 10.18500/0869-6632-003065.

7.      Lawhern, V.J., Solon, A.J., Waytowich, N.R., Gordon, S.M. (2018) ‘EEGNet: A compact convolutional neural network for EEG-based brain–computer interfaces’, JNE, 15(5), art. 056013. doi: 10.1088/1741-2552/aace8c.

8.      Waytowich, N., Lawhern, V.J., Garcia, J.O., Faller, J., Vettel, P.S., Vettel, J.M. (2018) ‘Compact convolutional neural networks for classification of asynchronous steady-state visual evoked potentials’, JNE, 15(6), art. 066031.
doi: 10.1088/1741-2552/aae5d8.

9.      Schirrmeister, R.T., Springenberg, J.T., Fiederer, L.D.J., Glasstetter, M., Eggensperger, K. et al. (2017) ‘Deep learning with convolutional neural networks for EEG decoding and visualization’, Human Brain Mapping, 38(11),
pp. 5391–5420. doi: 10.1002/hbm.23730.

10.    Gordon, S.M., Jaswa, M., Solon, A.J., Lawhern, V.J. (2017) ‘Real world BCI: Cross-domain learning and practical applications’, Proc. BCIforReal, pp. 25–28. doi: 10.1145/3038439.3038444.

11.    Yin, Z., Zhang, J. (2017) ‘Cross-session classification of mental workload levels using EEG and an adaptive deep learning model’, Biomedical Signal Processing and Control, 33, pp. 30–47. doi: 10.1016/j.bspc.2016.11.013.

12.    Park, S.H., Lee, D., Lee, S.G. (2018) ‘Filter bank regularized common spatial pattern ensemble for small sample motor imagery classification’, IEEE Transactions on Neural Systems and Rehabilitation Engineering, 26(2), pp. 498–505. doi: 10.1109/TNSRE.2017.2757519.

13.    Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. (2022) ‘How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art’, JNE, 19(3). doi: 10.1088/1741-2552/ac74e0.

14.    Khademi, Z., Ebrahimi, F., Kordy, H.M. (2023) ‘A review of critical challenges in MI-BCI: From conventional to deep learning methods’, J. of Neuroscience Methods, 383, art. 109736. doi: 10.1016/j.jneumeth.2022.109736.

15.   Tibrewal, N., Leeuwis, N., Alimardani, M. (2022) ‘Classification of motor imagery EEG using deep learning increases performance in inefficient BCI users’, PLoS One, 17(7), art. e0268880 doi: 10.1371/journal.pone.0268880.

16.    Yamaev, M.I., Shipitsin, S.P., Filatova, E.S. (2018) ‘Neural networks for EEG classification: From perceptron to convolutional LSTM’, Proc. Int. Conf. SCM, 1, pp. 765–768 (in Russ.).