Программные продукты и системы

Введение. Одним из направлений развития цифровизации образования является внедрение в учебный процесс электронных систем обучения в виде мобильных приложений, обеспечивающих студентам больше гибкости при выборе времени и места обучения [1].

Современными исследователями ведутся разработка и активное внедрение в учебный процесс мобильных обучающих систем для преподавания различных дисциплин, однако часто это носит хаотичный характер.

Так, в исследовании [1] представлено мобильное приложение для реализации интерактивного и индивидуального обучения студентов, в работе [2] – для изучения физики.  В [3] рассматривается мобильная система для распознавания символов японского языка,  а в [4] – для изучения программирования. Работа [5] посвящена мобильным системам для изучения английского языка. В статье [6] описывается проектирование мобильного приложения для изучения концепций образовательных технологий.

Несмотря на обилие мобильных прило- жений для обучения, методических рекомендаций по их разработке недостаточно. Приме- нение мобильных устройств в образовании на  современном этапе происходит стихийно и неорганизованно из-за отсутствия единых требований к структуре и интерфейсной части обучающей системы [1]. При реализации мобильного обучения создаются одинаковые для всех мобильные приложения, без учета особенностей каждого студента.

Некоторыми учеными реализована попытка персонализации мобильной обучающей систе- мы [7, 8], но в их работах осуществлена только адаптация контента теоретической части под уровень знаний студентов, а адаптация интерфейсной части мобильного приложения не рассматривается. В работе [7] авторы предлагают алгоритм адаптивности, основанный на исполь- зовании экспертных систем при создании адаптивного мобильного приложения обучающей системы (МПОС). В исследовании [8] описано создание дополнительного слоя для среды обучения, который адаптирует контекст учебника в зависимости от вычислительной среды мобильного оборудования, методов обучения пользователей или их предпочтений.

Таким образом, несмотря на рост разработок и использования мобильных приложений в образовательном процессе, вопросы адаптации интерфейсной части обучающих систем недостаточно раскрыты.

При работе с мобильным приложением в активном режиме студентам приходится дополнительно изучать учебный материал дисциплины. В результате повышается усталость, снижается концентрация внимания. Пользователи МПОС имеют различные психофизиологические особенности, возраст и эмоциональное состояние, которые могут повлиять на процесс обучения с помощью телефона. У каждого студента имеется свое представление о том,  каким должен быть идеальный интерфейс мобильного приложения, его дизайн, размер шриф- та и др.

Предметом настоящего исследования является разработка алгоритмического, математического и программного обеспечения персонализации интерфейсов МПОС к особенностям  и потребностям студентов и к характеристикам их смартфонов.

Предлагается не генерация готового прототипа, а подбор значений каждого компонента отдельно. В результате формируется персонализированный, в определенной степени уникальный интерфейс как совокупность значений компонентов, подобранных с учетом особенностей и потребностей отдельного студента.

В качестве математической модели для реализации подбора значений компонентов выбрана технология искусственных нейронных сетей (ИНС).

Постановка задачи исследования

В настоящем исследовании представлены этапы разработки адаптивного интерфейса мобильного приложения на примере создания электронной обучающей системы для работы студентов-программистов. Данный обучающий ресурс состоит из трех блоков: учебный (теоретическая и практическая части), методический и блок электронного журнала [9].

Разработанное МПОС представляет собой компактную версию электронной обучающей системы, позволяющую изучать материал в лю- бом удобном для студента месте.

Персонализацию интерфейса предполагает- ся реализовать комплексно по трем направлениям адаптации – к особенностям пользователей, к техническим возможностям устройства,  а также к дизайну интерфейса в соответствии  с пожеланиями пользователя.

На первом этапе оцениваются профессиональные (компьютерная грамотность), физические (моторика рук, острота зрения, цветовосприятие), психические (быстрота мышления, память, концентрация внимания), гендерные, возрастные особенности пользователя, а также его эмоциональное состояние [10].

Затем определяются характеристики мобиль- ного устройства. В качестве основных выбраны плотность пикселей и соотношение сторон экрана.

После использования приложения можно высказать пожелания к изменению дизайна интерфейса с помощью голосовых команд или ручной настройки.

Архитектура мобильного приложения представляет собой клиент-серверное приложение, в клиентской части которого размещена обучающая система. Серверная часть содержит БД, где хранятся результаты оценки особенностей пользователя, его пожелания и информация  о характеристиках смартфона (рис. 1).

Также в БД загружаются значения компонентов интерфейса, являющиеся составляющи- ми прототипа (размер компонентов и текста, расстояние между компонентами, вид сообщений пользователю, цветовая гамма, наличие окна поиска информации). На выход поступает сформированный персонализированный интер- фейс мобильного приложения для каждого обу- чаемого.

Алгоритм адаптации значений  компонентов интерфейса к особенностям пользователя и характеристикам  смартфона

Процесс адаптации каждого компонента экрана к особенностям пользователя разбит на два этапа (рис. 2).

На первом этапе анализируются технические данные мобильного устройства и отличительные особенности пользователей, результаты анализа передаются в искусственную нейронную сеть (ИНС). На выходе формируется реко- мендация о выборе того или иного значения компонента интерфейса. Из множества подобранных значений компонентов с помощью сборщика дизайна генерируется адаптивный интерфейс МПОС.

Затем мобильное приложение передается для работы пользователю, который оценивает функциональность, удобство и эргономичность полученного интерфейса. В ходе работы с приложением студент может корректировать его дизайн согласно своим требованиям: изменять настройки цветовых схем, размер текста  и компоненты меню. Имеются два варианта настройки дизайна – ручной и с помощью голосовых команд.

Разработка модели ИНС для подбора  значений компонентов адаптивного  интерфейса

Для подбора значений компонентов динамического интерфейса использованы технологии ИНС. Выбор обусловлен тем, что они способны обучаться и анализировать большие  и сложные наборы данных, которые с помощью линейных алгоритмов обработать крайне сложно [11].

Благодаря своей структуре ИНС значительно сокращают временные и трудовые затраты на рутинные процессы, требующие объективной оценки и исключающие человеческий фактор.

Учеными выявлены ряд основных архитектур нейронных сетей и область их применения [12]. Каждая архитектура сети предназначена для решения определенного класса задач (регрессии, классификации, кластеризации, прогнозирования) и использует специальные алгоритмы обучения.

Нейронные сети прямого распространения передают информацию от входа к выходу, при этом клетки слоя не связаны между собой в отличие от слоев. Наиболее распространенным семейством сетей прямого действия являются многослойные персептроны, в них нейроны расположены слоями и соединены однонаправленными связями, идущими от входа к выходу сети [11].

В рамках проводимого исследования использована сеть прямого распространения на основе многослойного персептрона. Одним из главных преимуществ данной модели является то, что несколько слоев нейронов открывают возможность для обучения сети. Структура разработанной ИНС представлена тремя слоями: входным, скрытым и выходным (рис. 3).

На вход подаются результаты оценки отличительных особенностей пользователей (профессиональные качества работы на компьютере, физические, демографические, психические характеристики и эмоциональное состояние)  и технических характеристик устройства. Выходными параметрами при работе ИНС являются компоненты будущего прототипа интерфейса МПОС: размер компонентов и текста, расстояние между компонентами, вид сообщений пользователю, цветовая палитра, наличие окна для поиска информации.

Решение задачи по подбору значений компонентов меню мобильного приложения было сведено к двум шагам: обучение персептрона  и сохранение синаптических весов в памяти,  а также непосредственно подбор компонентов интерфейса на основе сформированных синаптических весов [10, 11].

Для обучения ИНС составлены две выборки: обучающая и тестовая. Обучение ИНС осуществлялось с использованием метода прямого распространения ошибки, достоинствами которого являются высокая эффективность, а также простота программной реализации.

Генеральная совокупность представлена в рассматриваемом случае набором данных всех студентов, обучающихся на технических направлениях подготовки Оренбургского государственного университета. Объем обучающей выборки состоял из наборов данных двухсот обучающихся направления подготовки «Программная инженерия». При обучении ИНС на вход подавался вектор входных параметров, для которого определялся соответствующий выходной вектор (значения компонентов интерфейса). Это соответствие достигнуто за счет корректировки синаптических весов.

Процесс классификации схож с процессом обучения. Сначала выбирается пользователь и формируется вектор входных значений. Затем происходит загрузка сохраненной ИНС в память. Реализуется выборка результатов оценки отличительных особенностей пользователей  и характеристик смартфона. Далее входной вектор, описывающий пользователя, подается в нейросеть. После этого вычисляется отклик сети, определяется номер входа, которому  соответствует максимальное значение. По его номеру определяются значения компонентов интерфейса.

Таким образом, в результате работы нейросети интерфейс МПОС для каждого студента будет формироваться динамически в зависимости от входных характеристик.

Разработка МПОС с адаптивным  интерфейсом с использованием  технологий ИНС

В ходе исследования разработано МПОС для изучения дисциплины по основам программирования на языке высокого уровня. После удачной авторизации под уровнем доступа «Студент» предлагается прохождение оценки отличительных особенностей (http://www. swsys.ru/uploaded/image/2025-2/2.jpg).

Для оценки профессиональных качеств, психических и физиологических особенностей можно использовать базовые тесты ИТ-сферы и психологические тесты. Определить в системе эмоциональный тон пользователя, его возраст и пол можно с помощью библиотеки языка Python Deepface [13].

Для обучения и тренировки данной сверточной ИНС была использована библиотека Ten- sorFlow. Достоинствами сети VGG-16 в области распознавания лиц являются возможность учета двумерной топологии изображения,  а также частичная устойчивость к изменениям масштаба, смещениям, поворотам, смене ракурса и прочим искажениям. Полученные данные сохраняются в БД для анализа ИНС [14].

Для каждого из пользователей в приложении будет сформирован интерфейс, учитывающий все его отличительные особенности (возрастная и гендерная группы, эмоциональное состояние) [15].

После прохождения входных тестов обучаемый получит доступ к просмотру результатов во вкладке «Профиль», расположенной в нижнем меню экрана (рис. 4).

В результате оценки всех параметров студенту предоставляется интерфейс, сгенерированный с учетом его отличительных особенностей и характеристик смартфона.

Пользователь представленного интерфейса может работать с обучающей системой, а в дальнейшем высказать свои пожелания к дизайну мобильного приложения. Для этого в системе имеется ручная настройка или настройка с помощью голосового помощника.

В качестве инструмента для распознавания речи использовалась библиотека Whisper языка Python, которая реализует алгоритм на основе обученной сверточной нейронной сети. Данная ИНС может корректно воспринимать произношение с акцентом, распознавать фоновые шу- мы, а также технические термины и жаргон (https://habr.com/ru/companies/ods/articles/692246).

Для пользователя с доступом «Преподаватель» функционал представлен в виде веб-приложения, работающего на стороне сервера. Ему доступны возможность добавления теоретического материала дисциплины, работа с БД оценочных материалов, настройка ИНС (формирование обучающей выборки, тестирование нейронной сети).

Оценка корректности разработанной  модели ИНС

Корректность модели оценивалась с помощью метрик F-меры.

Разработана выборка, на которой была протестирована архитектура ИНС, получена F-мера, равная 0,88, точность 0,92. Следовательно, архитектура выдает хорошие метрики на тестовом наборе данных и является адекватно работающей.

Помимо этого, оценка корректности работы ИНС была реализована с помощью приложения Deductor, в которое включены средства проектирования, моделирования и обучения ИНС (https://basegroup.ru/system/files/documen- tation/guide_analyst_5.3.0.pdf).

На начальном этапе формировалась обучающая выборка, настраивалась архитектура ИНС – указывалось число скрытых слоев, число нейронов на скрытых слоях, функция  активации и др., где формировался граф ИНС. Данные, полученные в результате работы пакета Deductor, совпадают с данными разработанного приложения (при заданном наборе входных данных выдаются аналогичные выходные данные), что говорит о корректности работы ИНС.

Внедрение МПОС

Разработанное мобильное приложение прошло опытную эксплуатацию при обучении студентов Института математики и информационных технологий Оренбургского государственно- го университета.

В эксперименте приняли участие 27 студентов экспериментальной группы выбранного направления и 31 студент контрольной группы. В результате итогового контроля усвоения материалов дисциплины результативность экспе- риментальной группы оказалась в среднем выше, чем в контрольной группе. Студенты экспериментальной группы в основном набра- ли 80 баллов и более из 100 возможных (уровень выше среднего), а средний балл студентов контрольной группы составил 65 (средний уровень). Таким образом, предложенный в работе алгоритм показал продуктивность использования в учебном процессе.

Для оценки эргономичности и комфортности разработанного интерфейса МПОС применен тест Ямамото Хашима, который позволяет определить степень усталости и утомления пользователей прикладных программ (https://quiz- terra.com/ru/test-na-stepen-utomlaemosti-amamoto- hasima). Полученные результаты показали меньшую усталость и напряжение студентов экспериментальной группы в сравнении с контрольной, что доказывает соответствие подобранного интерфейса особенностям пользователей.

Для оценки удовлетворенности пользователей сформированным интерфейсом МПОС  использована также методика оценки SUS (System Usability Scale). Студенты удовлетворены интерфейсом.

Разработанное мобильное приложение является универсальным, гибким, масштабируемым и подходит для любой предметной области, в которой присутствует работа пользователя с интерфейсом программного средства.

Заключение

В статье описаны возможности применения технологий ИНС при создании персонализированных интерфейсов мобильных приложений. Интерфейсная часть разработанного МПОС адаптирована к особенностям и пожеланиям студентов, а также к характеристикам смартфона.

Результаты показали, что внедрение мобильного приложения с персонализированным интерфейсом позволяет повысить качество обучения студентов за счет обеспечения комфортного взаимодействия между обучающим- ся и программой, снижения его эмоциональной нагрузки при изучении материала дисциплины.

Список литературы

1. Голых Н.Я., Лопаткин Н.Н., Кудинов И.С. Мобильное приложение для реализации интерактивного и индивидуального обучения студентов // Казанский педагогический журнал. 2020. № 1. С. 84–89.

2. Дайнеко Е.А., Цой Д.Д., Сейтнур А.М., Ипалакова М.Т., Кальпеева Ж.Б. Разработка мобильного приложения для изучения физики с использованием технологии дополненной реальности // Вестн. ВКТУ им. Д. Серикбаева. 2021. № 4. С. 63–70. doi: 10.51885/1561-4212_2021_4_63.

3. Костин В.Д., Кирпичников А.П., Ляшева С.А., Шлеймович М.П. Мобильная система распознавания символов японского языка // Вестн. Технологического университета. 2018. Т. 21. № 9. С. 141–149.

4. Гуриков С.Р., Воронская Д.А. Разработка мобильного приложения для изучения английского языка // Профильная школа. 2022. Т. 10. № 4. С. 8–15. doi: 10.12737/1998-0744-2022-10-4-8-15.

5. Самылкина Н.Н., Етова А.В. Создание мобильных приложений в MIT App Inventor с использованием элементов геймификации при изучении программирования в основной школе // Информатика в школе. 2020. № 8. С. 37–45. doi: 10.32517/2221-1993-2020-19-8-37-45.

6. Falode O.C., Dome K., Chukwuemeka E.J., Falode M.E. Development of an interactive mobile application for learning undergraduate educational technology concepts. IJPDLL, 2022, vol. 4, no. 1, art. ep2204. doi: 10.30935/ijpdll/12009.

7. Попова Ю.Б., Легчилин И.В. Адаптивное мобильное приложение обучающей системы CATS // Системный анализ и прикладная информатика. 2020. № 1. С. 45–52. doi: 10.21122/2309-4923-2020-1-45-52.

8. Lee K.B., Lee J.W. Development of mobile adaptive learning application using adaptation layer. IJERT, 2022, vol. 11, no. 03, pp. 120–127.

9. Тагирова Л.Ф. Разработка адаптивной обучающей системы технической дисциплины // Программные продукты и системы. 2022. Т. 35. № 4. С. 778–788. doi: 10.15827/0236-235X.140.778-788.

10. Тагирова Л.Ф., Зубкова Т.М. Нейросетевая инструментальная среда для создания персонализированных интерфейсов прикладных программ // Программные продукты и системы. 2023. Т. 36. № 2. С. 212–222. doi: 10.15827/0236-235X.142.212-222.

11. Семенова Н.Г. Модели и методы искусственного интеллекта в задачах электроэнергетики. Оренбург: Изд-во ОГУ, 2022. 189 с.

12. Кадурин А.А., Николенко С.И. Глубокое обучение. Погружение в мир нейронных сетей. СПб: Питер, 2022. 480 c.

13. Пакулич Д.В., Якимов C.A., Алямкин С.А. Распознавание возраста по изображению лица с использованием сверточных нейронных сетей // Автометрия. 2019. Т. 55. № 3. С. 52–61.

14. Тимофеева О.П., Неимущев С.А., Неимущева Л.И., Тихонов И.А. Распознавание эмоций по изображению лица на основе глубоких нейронных сетей // Тр. НГТУ им. Р.Е. Алексеева. 2020. № 1. С. 16–24. doi: 10.46960/1816-10X_2020_1_16.

15. Тагирова Л.Ф., Тумашев М.Н. Мобильное приложение определения демографических характеристик и эмоционального тона пользователей на основе распознавания изображения их лиц: Свид. о регистр. ПрЭВМ № 2023687798. Рос. Федерация, 2023.

References

1. Golykh, N., Lopatkin, N., Kudinov, I. (2020) ‘A mobile application for implementing interactive and personalized learning for university-students’, Kazan Pedagogical J., (1), pp. 84–89 (in Russ.).

2. Daineko, E.A., Tsoy, D.D., Seitnur, A.M., Ipalakova, M.T., Kalpeyeva, Zh.B. (2021) ‘Development of a mobile application for learning physics using augmented reality technology’, Bull. of D. Serikbayev EKTU, (4), pp. 63–70 (in Russ.). doi: 10.51885/1561-4212_2021_4_63.

3. Kostin, V.D., Kirpichnikov, A.P., Lyasheva, S.A., Shleymovich, M.P. (2018) ‘A mobile system for Japanese characters recognition’, Herald of Technological University, 21(9), pp. 141–149 (in Russ.).

4. Gurikov, S.R., Voronskaya, D.A. (2022) ‘Development of the mobile application for learning English’, Profession-Oriented School, 10(4), pp. 8–15 (in Russ.). doi: 10.12737/1998-0744-2022-10-4-8-15.

5. Samylkina, N.N., Etova, A.V. (2020) ‘Creating mobile apps in MIT App Inventor using gamification elements when learning programming in basic school’, Informatics in School, (8), pp. 37–45 (in Russ.). doi: 10.32517/2221-1993-2020-19-8-37-45.

6. Falode, O.C., Dome, K., Chukwuemeka, E.J., Falode, M.E. (2022) ‘Development of an interactive mobile application for learning undergraduate educational technology concepts’, IJPDLL, 4(1), art. ep2204. doi: 10.30935/ijpdll/12009.

7. Popova, Yu.B., Legchilin, I.V. (2020) ‘Adaptive mobile application for the CATS learning system’, System Analysis and Applied Information Science, (1), pp. 45–52 (in Russ.). doi: 10.21122/2309-4923-2020-1-45-52.

8. Lee, K.B., Lee, J.W. (2022) ‘Development of mobile adaptive learning application using adaptation layer’, IJERT, 11(03), pp. 120–127.

9. Tagirova, L.F. (2022) ‘Developing an adaptive training system for an engineering discipline’, Software & Systems, 35(4), pp. 778–788 (in Russ.). doi: 10.15827/0236-235X.140.778-788.

10. Tagirova, L.F., Zubkova, T.M. (2023) ‘Neural network tool environment for creating adaptive application program interfaces’, Software & Systems, 36(2), pp. 212–222 (in Russ.). doi: 10.15827/0236-235X.142.212-222.

11. Semenova, N.G. (2022) Models and Methods of Artificial Intelligence in Power Engineering Problems. Orenburg, 189 p. (in Russ.).

12. Kadurin, A.A., Nikolenko, S.I. (2022) Deep Learning. Immersion in the Neural Network World. St. Petersburg, 480 p. (in Russ.).

13. Pakulich, D.V., Yakimov, S.A., Alyamkin, S.A. (2018) ‘Age recognition by face images using convolutional neural networks’, Avtometriya, 55(3), pp. 52–61 (in Russ.).

14. Timofeeva, O.P., Neimushchev, S.A., Neimushcheva, L.I., Tikhonov, I.A. (2020) ‘Facial emotion recognition using deep neural networks’, Proc. NNSTU n.a. R.E. Alekseev, (1), pp. 16–24 (in Russ.). doi: 10.46960/1816-210X_2020_1_16.

15. Tagirova, L.F., Tumashev, M.N. (2023) Mobile Application for Determining Demographic Characteristics and Emotional Tone of Users Based on Face Image Recognition, Pat. RF, no. 2023687798.