Software & Systems

Введение. Методы математического моделирования, основанные на применении искусственных нейронных сетей, прочно заняли лидирующие позиции в арсенале исследователей по всему миру. Благодаря большому количеству нейросетевых архитектур и парадигм ученые могут решать разнообразные задачи, так или иначе охватывающие значительную часть спектра проблем, стоящих перед ними при изучении и описании закономерностей предметной области. К этим задачам можно отнести интерполирование данных, аппроксимацию зависимостей, прогнозирование временных рядов, классификацию и распознавание образов, кластеризацию и уменьшение размерности данных [1].

Иногда применение искусственных нейронных сетей кажется избыточным и неоправданным из-за недостаточной сложности решаемой задачи. Однако для ряда направлений исследований бывает крайне сложно найти достойную альтернативу этому методу искусственного интеллекта. Получение математического описания биотехнологических процессов – одна из таких задач, зачастую обусловленная неполнотой исходной информации, неопределенностью, непредсказуемостью влияния внешних и многоуровневой взаимосвязью внутренних факторов.

Данная статья посвящена разработке специализированного программно-алгоритмического обеспечения для моделирования биотехнологических процессов на основе многослойных перцептронов – класса искусственных нейронных сетей, характеризующегося прямонаправленным распространением сигналов от входных переменных к выходным, их нелинейным преобразованием с использованием сигмоидной логистической активационной функции и возможностями обучения и дообучения на основе результатов экспериментальных наблюдений [1, 2].

Опыт применения искусственных нейронных сетей в биотехнологии

Анализ современных методов математического моделирования биотехнологических процессов, проведенный на основе научных публикаций в периодических изданиях, показывает актуальность и востребованность применения для этих целей искусственных нейронных сетей и, в первую очередь, многослойных перцептронов. Одной из иллюстраций к сказанному может быть работа [3]. Ее авторы выполняли моделирование, раскрывающее сложные взаимодействия в трехвидовом синтетическом кишечном сообществе. В эксперименте были задействованы три культуры: Roseburia intestinalis L1-82, Faecalibacterium prausnitzii A2-165 и Blautia hydrogenotrophica S5a33. На основе экспериментальных данных о росте этих культур по отдельности и об их поведении при взаимодействии между собой были выполнены моделирование и предсказание роста культур в общей системе. Многослойные перцептроны показали себя отличным инструментом для решения поставленной задачи, что и было подтверждено в ходе работы.

Пример применения многослойных перцептронов для моделирования биотехнологических процессов описан в работе [4], авторы которой использовали нейронные сети для моделирования и оптимизации производства этанола из сока яблок кешью. На вход подавались четыре параметра: начальная концентрация субстрата, температура, начальная концентрация клеток, скорость перемешивания. На выходе получали нормализованные удельные показатели. Три перцептрона сети были объединены в гибридную нейросетевую модель, на выходе которой получали оптимальные условия производства этанола. Для оптимизации было решено выбрать время ферментации, равное 10 часам, с медленной, но достаточной для процесса скоростью перемешивания. По результатам исследования подход гибридного нейросетевого моделирования оказался очень эффективным инструментом для анализа и моделирования алкогольного брожения сока яблок кешью, инициированного флокулянтными дрожжами (S. cerevisiae CCA008). Данный метод моделирования оказался хорошей альтернативой существующим подходам. При тестировании модели был продемонстрирован высокий уровень обобщения обучающих данных, что позволило применить эту модель к другим процессам ферментации.

В статье [5] рассмотрены нейросетевые модели на основе двухслойных перцептронов, позволяющие моделировать изменение концентрации молочной кислоты в ходе непрерывного культивирования бифидобактерий в условиях, эквивалентных условиям в кишечнике человека. Актуальность и целесообразность применения нейронных сетей для математического моделирования биотехнологических про- цессов были подтверждены и в данном случае.

Микробные сообщества (микробиота), представляющие собой сложные многовидовые саморегулирующие системы, образованные многочисленными популяциями микроорганизмов [6], наименее изучены, но относятся к числу самых интересных объектов для микробиологии и биотехнологии. Данные объекты отличает разнообразие взаимодействий [7], что делает их наиболее сложными для изучения. Микробное сообщество кишечника является наиболее густонаселенным, насчитывая примерно 1 014 живых микробных клеток около 2 000 видов, и оказывает огромное влияние на организм хозяина, поэтому оно находится в фокусе многих исследований последних десятилетий. Изучение микробиоты кишечника in vivo естественно сопряжено с рядом этических и методологических проблем, что выдвинуло на передний план многочисленные функциональные in vitro-модели [8]. Также применяют синтетические микробные сообщества, в основе которых лежат не фекальные образцы, а комбинации из нескольких штаммов ключевых представителей [9, 10]. Ранее одна из таких моделей была разработана и применена для оценки поведения бифидобактерий и их влияния на развитие возбудителя кишечных инфекций Bacillus cereus в условиях, приближенных к толстой кишке. Рассмотрено влияние коммерческого пребиотика – олигофруктозы на активность антагонизма бифидобактерий [5, 11]. Для повышения точности количественной оцен- ки этого микроэкологического взаимодействия могут быть применены математические модели, однако традиционные подходы в данном случае осложнены и возможность их распространения на другие объекты ограничена. Поэтому в качестве наиболее мощной и перспективной альтернативы был рассмотрен метод нейросетевого моделирования, что и является основной отличительной особенностью настоящей работы.

Особенности разработки специализированного программно- алгоритмического обеспечения

Существует большое количество инструментов нейросетевого моделирования общего назначения, которые вполне можно использовать для различных целей, начиная с учебных и заканчивая специфическими задачами предметной области, что часто и происходит на практике. Обычно такие инструменты являются избыточными по своим функциональным возможностям, и это влечет за собой ряд ограничений и недостатков. Среди основных можно отметить следующие:

– низкая скорость работы;

– требовательность к вычислительным мощ- ностям платформы;

– дополнительные требования к предустановленному ПО, компонентам и библиотекам;

– избыточность пользовательского интерфейса;

– необходимость приведения в соответствие имеющегося и требуемого программой форматов представления анализируемых данных.

Помимо этого, нередки примеры ограничений на инструменты нейросетевого моделирования как на объекты интеллектуальной собственности, связанные с неполностью доступными функциями, объемом обрабатываемых данных, стоимостью пакетной установки или подписки.

Однако для исследовательских целей даже более важно, что стандартные инструментальные средства зачастую не могут быть полностью адаптированы к предметной области решаемой задачи. Примерами таких ограничений могут являться:

– особенности предварительной обработки обучающей и тестовой выборок данных (масштабирование, нормализация);

– выбор требуемого класса активационных функций и параметров их настройки, в том числе различных активационных функций для выходных нейронов, соответствующих принципиально разным по физическому смыслу переменным;

– способы представления результатов моделирования в виде не только таблиц и графиков, но и конкретного математического описания, которое в дальнейшем можно было бы использовать независимо от инструмента, с помощью которого оно получено.

В этой связи нормальной и часто встречающейся становится практика разработки специализированного программно-алгоритмического обеспечения для решения задач конкретной предметной области. Во многих случаях даже не требуются какие-то узкие знания специалиста-нейроинформатика, так как существующие библиотеки позволяют программисту-разработчику спроектировать программный инструмент, не углубляясь в теорию искусственных нейронных сетей.

К общесистемным требованиям разработанного ПО нейросетевого моделирования Neural Network Modeler относятся:

– гибкая настройка структуры нейронных сетей (количество входов, выходов, слоев, нейро- нов в каждом слое);

– демонстрация хода обучения в режиме реального времени (режим включается и выключается в зависимости от потребности исследователя);

– сохранение и загрузка обученной нейронной сети и результатов работы, возможность многократного использования сети;

– возможность пакетного расчета выходных переменных по обученной нейронной сети.

При формулировании специфических требований следует учесть особенности биотехнологических процессов, проявляющиеся в наличии большого количества значащих факторов, в сложности их взаимосвязи и нелинейности влияния на выходные характеристики. Специально для решения задач математического моделирования биотехнологических процессов в программно-алгоритмическое обеспечение добавлены возможности:

– ручной коррекции пределов нормализации переменных;

– индивидуальной настройки отдельных нейронов или слоев сети;

– управления сценарием обучения благодаря возможности коррекции ряда настроек (скорости, предельного количества эпох) в процессе обучения.

В качестве инструмента разработки использована интегрированная среда Delphi, обеспе- чивающая возможность реализации всех намеченных функциональных возможностей средствами своего языка программирования, быстрое проектирование графического интерфейса, дружественного пользователю, интуитивно понятного и соответствующего принятым стандартам разработки программных приложений. Принципы разработки и организации информационно-моделирующего нейросетевого ПО базируются на полученном ранее собственном опыте и опыте создателей аналогичного ПО.

Организационная структура любого ПО предполагает наличие самостоятельных блоков, имеющих собственную, не всегда одинаковую программную или технологическую платформу.

В состав организационной структуры входят:

– подсистема технических средств, включающая вычислительные средства, а также сред- ства ввода данных и вывода (представления) информации пользователю, базирующиеся на информационно-коммуникационных технологиях;

– подсистема программных средств, включающая стандартное и специализированное программно-алгоритмическое обеспечение, взаи- модействие с которым осуществляется через интерфейс пользователя системы.

Стандартное ПО, в свою очередь, включает операционную систему и систему управления данными. Специализированное ПО – это комплекс математического и программно-алгоритмического обеспечения, в котором реализована вся методическая база и учтена специфика решаемых задач нейросетевого математического моделирования.

На рисунке 1 представлена функциональная структура разработанной информационно-моделирующей системы, адаптированная к данной задаче. В ней, исходя из функционального назначения, выделены пять основных подсистем.

Подсистема ввода и вывода данных предназначена для загрузки и выгрузки обучающей выборки, используемой для обучения нейронных сетей, ввода и сохранения настроек нейросетевой модели, исходных данных по условиям моделирования, сохранения резуль- татов моделирования в файлах данных и отчетов.

В подсистеме работы с выборками реализованы функции для формирования и анализа состава обучающих выборок: проверка наличия и исключение повторяющихся и противоречивых примеров, нормализация и денормализация, масштабирование.

Подсистема нейросетевого моделирования позволяет получать математические модели, а также производить расчеты с использованием полученных моделей.

Благодаря подсистеме визуализации результатов моделирования на экран монитора пользователю выводятся все результаты моделирования в удобной для него форме: графической, табличной, текстовой.

Работу с программой Neural Network Modeler при создании и использовании нейросетевой модели в виде многослойного перцептрона можно разделить на четыре этапа:

1) формирование обучающей выборки;

2) настройка нейронной сети;

3) обучение нейронной сети;

4) работа с обученной нейронной сетью.

Опишем этапы нейросетевого моделирования с использованием разработанного ПО.

1. Заданная пользователем структура нейро- сетевой модели должна быть непосредственно описана в программе соотношением входных и выходных переменных. Нажатием кнопки «Обзор» пользователь выбирает файл с обучающей выборкой. Далее с помощью кнопки «Загрузить» он обращается к обученной ранее ней- ронной сети. Для обученной нейронной сети можно изменить выборку и протестировать сеть, а также выполнить расчеты для произвольно введенных данных.

2. Настройка структуры нейронной сети, параметров нейронов и алгоритма обучения выполняется на вкладке «Настройка». Пользователь может указать количество скрытых слоев и нейронов в каждом из них, значение параметра насыщения сигмоидной логистической активационной функции, начальную скорость обучения, количество эпох, а также самостоятельно задать пределы нормализации для обучающей выборки. Нормализованная обучающая выборка наглядно показывает ее характеристики: количество примеров, пределы нормализации (максимальные и минимальные значения по каждому из векторов), суммарное количество связей между входами и нейронами первого скрытого слоя, а также между нейронами всех соседних слоев (http://www.swsys.ru/ uploaded/image/2024-1/20.jpg).

3. При нажатии на кнопку «Обучить» (http:// www.swsys.ru/uploaded/image/2024-1/21.jpg) будут приняты последние изменения в настрой- ках нейронной сети, сгенерированы случайным образом новые весовые коэффициенты и запущен процесс обучения перцептрона. При этом пользователь в режиме реального времени имеет возможность отслеживать ход процесса обучения по графику зависимости ошибки от количества эпох (http://www.swsys.ru/uploaded/ image/2024-1/22.jpg). В любой момент он может остановить обучение и заменить скорость обучения или предельное количество эпох на вкладке «Настройка», а также сохранить обученную нейронную сеть. Следует заметить, что постоянная демонстрация хода обучения на графике ведет к замедлению процесса из-за больших вычислительных затрат на его визуализацию. Эта проблема легко решается за счет отключения визуализации или переключения на соседние вкладки.

4. На вкладке «Результат» (рис. 2) отображены найденные коэффициенты нейросетевой модели и загруженная выборка данных в исходном масштабе с выходными векторами, рассчитанными обученным перцептроном. Выборку можно сохранить в текстовый файл для дальнейшего использования. Пользователь может также задать свой входной вектор и рассчитать отклик нейронной сети на него.

Рассмотрим результаты нейросетевого моделирования изменения концентрации молочной и уксусной кислот с помощью разработанной программы Neural Network Modeler в рамках решения задачи моделирования биотехнологических процессов, описанных ранее.

Для модели изменения концентрации молочной кислоты объем обучающей выборки состоит из 88 примеров.

На вход нейросетевой модели подаются нормализованные данные в пределах от [0, 1]:

х1 – продолжительность проведения процесса;

х2 – концентрация молочной кислоты в на- чальный момент проведения процесса;

х3 – десятичный логарифм концентрации бифидобактерий в начальный момент проведения процесса;

х4 – десятичный логарифм концентрации бифидобактерий;

х5 – концентрация углеводного субстрата (олигофруктозы) в начальный момент проведения процесса.

Выход нейросетевой модели y – концентрация молочной кислоты в момент времени, соответствующий заданной продолжительности процесса.

Для нейросетевой модели изменения концентрации молочной кислоты был выбрандвухслойный перцептрон с 5 нейронами в скрытом слое и 1 нейроном в выходном слое (рис. 3). Данная структура содержит 30 связей в скрытом слое и 6 связей в выходном слое. Всего 36 связей, включая 5 связей скрытого и 1 связь выходного слоев с фиктивным единичным входом, символизирующие коэффициенты смещения нейронов. Таким образом, соотношение между объемом обучающей выборки и количеством связей составило 2,44, чтоявляется хорошим показателем для эффективного обобщения обучающих данных многослойным перцептроном.

В качестве значения параметра насыщения активационной функции искусственных нейро- нов было выбрано значение a= 2,0.

Нейронная сеть обучалась на протяжении 500 000 эпох. Коэффициент скорости обучения менялся от 0,8 до 0,2 в течение всего процесса. В результате обучения по методу обратного распространения ошибки с переменным коэффициентом скорости обучения общий процент ошибки нейронной сети составил 1,8.

График на рисунке 4 показывает нелинейное увеличение концентрации молочной кислоты с ростом численности бифидобактерий в среде реактора. Однако скорость этого увели- чения непостоянная. При достижении определенного уровня содержания бифидобактерий концентрация молочной кислоты перестает расти, оставаясь на стабильном уровне.

Для модели изменения концентрации уксусной кислоты в смешанной среде объем обучающей выборки составил 38 примеров.

На вход нейросетевой модели подаются нормализованные данные в пределах от [0, 1]:

х1 – продолжительность проведения процесса;

х2 – концентрация уксусной кислоты в на- чальный момент проведения процесса;

х3 – десятичный логарифм концентрации бифидобактерий в начальный момент проведения процесса;

х4 – десятичный логарифм концентрации бифидобактерий;

х5 – концентрация углеводного субстрата (олигофруктозы) в начальный момент проведения процесса;

х6 – десятичный логарифм концентрации бацилл в начальный момент проведения процесса;

х7 – десятичный логарифм концентрации бацилл.

Выход нейросетевой модели y – концентрация уксусной кислоты, г/л.

Искусственная нейронная сеть – двухслойный перцептрон, имеющий 3 нейрона в скрытом слое и 1 нейрон в выходном слое (рис. 5). Данная структура содержит 24 связи в скрытом слое и 4 связи в выходном слое. Всего 28 связей, включая 3 связи скрытого и 1 связь выходного слоев с фиктивным единичным входом, символизирующие коэффициенты смещения нейронов. Таким образом, соотношение между объемом обучающей выборки и количеством связей составило 1,36, что является приемлемым показателем для обобщения обучающих данных многослойным перцептроном.

Рассматривались различные значения параметра насыщения активационной функции искусственных нейронов α = {0,5; 1,0; 1,5; 2,0; 2,5}. На основании предварительно полученных результатов выбрана модель с α = 2,0.

Нейронная сеть обучалась на протяжении 600 000 эпох. Коэффициент скорости обучения оставался равным 1,0 на протяжении всего процесса.

Общий процент ошибки нейронной сети c 3 нейронами в скрытом слое по обучающей выборке составил 3,2.

Графическое представление результата моделирования позволяет увидеть изменения концентрации уксусной кислоты в биореакторе через 22 часа после начала проведения процесса в зависимости от ее начальной концентрации. Очевидно, что рост начальной концентрации уксусной кислоты в системе приводит к ее росту и через заданное время после начала процесса, но менее значительному – в пределах десятых долей г/л (http://www.swsys.ru/uploaded/ image/2024-1/23.jpg).

В целом использование разработанного программного продукта позволяет:

– выполнить имитационное моделирование и прогнозирование изменения основных переменных биотехнологического процесса;

– подключить его к системе управления биотехнологическим процессом для ускорения нормализации в случае спонтанных возмущений;

– подобрать наилучшие настройки биотехнологической системы (начальные концентрации компонентов, концентрацию питательного субстрата, режимы работы) с целью ее устойчивого функционирования.

Таким образом, в результате работы создано программно-алгоритмическое обеспече- ние для моделирования биотехнологических процессов с помощью аппарата искусственных нейронных сетей. Его работа продемонстрирована на примере получения математического описания изменения компонентного состава среды кишечника в процессе роста и угнетения микроорганизмов в виде модели двухслойного перцептрона с низким уровнем ошибки. Результаты практического применения нейросетевой математической модели показали ее высокую эффективность на уровне мирового опыта решения аналогичных задач.

Список литературы

1. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение; [пер. с англ.]. М.: ДМК Пресс, 2018. 652 с.

2. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. СПб: Питер, 2018. 480 с.

3. D’hoe K., Vet S., Faust K., Moens F. et al. Integrated culturing, modeling and transcriptomics uncovers complex interactions and emergent behavior in a three-species synthetic gut community. eLife, 2018, vol. 7, art. e37090. doi: 10.7554/eLife.37090.

4. da Silva Pereira A., Pinheiro Á.D.T., Rocha M.V.P., Gonçalves L.R.B. et al. Hybrid neural network modeling and particle swarm optimization for improved ethanol production from cashew apple juice. Bioprocess and Biosystems Eng., 2021, vol. 44, pp. 329–342. doi: 10.1007/s00449-020-02445-y.

5. Макляев И.В., Нохаева В.С., Леметюйнен Ю.А., Евдокимова С.А., Кареткин Б.А., Гусева Е.В., Дударов С.П. Нейросетевое моделирование изменения концентрации молочной кислоты в ходе непрерывной ферментации бифидобактерий // Бутлеровские сообщения. 2020. Т. 64. № 11. С. 61–69. doi: 10.37952/ROI-jbc-01/20-64-11-61.

6. Berg G., Rybakova D., Fischer D. et al. Microbiome definition re-visited: Old concepts and new challenges. Microbiome, 2020, vol. 8, art. 103. doi: 10.1186/s40168-020-00875-0.

7. Konopka A. What is microbial community ecology? ISME J., 2009, vol. 3, pp. 1223–1230. doi: 10.1038/ismej. 2009.88.

8. von Martels J., Sadabad M.S., Bourgonje A.R., Blokzijl T. et al. The role of gut microbiota in health and disease: In vitro modeling of host-microbe interactions at the aerobe-anaerobe interphase of the human gut. Anaerobe, 2017, vol. 44, pp. 3–12. doi: 10.1016/j.anaerobe.2017.01.001.

9. Baranwal M., Clark R.L., Thompson J., Sun Z., Hero A.O., Venturelli O. Deep learning enables design of multifunctional synthetic human gut microbiome dynamics. bioRxiv, 2021. URL: https://www.biorxiv.org/content/10.1101/2021. 09.27.461983v1 (дата обращения: 10.10.2023). doi: 10.1101/2021.09.27.461983.

10. Gradilla-Hernández M.S., García-González A., Gschaedler A., Herrera-López E.J. et al. Applying differential neural networks to characterize microbial interactions in an ex vivo gastrointestinal gut simulator. Processes, 2020, vol. 8, no. 5, art. 593. doi: 10.3390/pr8050593.

11. Evdokimova S.A., Karetkin B.A., Guseva E.V. et al. A study and modeling of Bifidobacterium and Bacillus coculture continuous fermentation under distal intestine simulated conditions. Microorganisms, 2022, vol. 10, no. 5, art. 929. doi: 10.3390/microorganisms10050929.

References

1. Goodfellow, I., Bengio, Y., Courville, A. (2016) Deep Learning. Cambridge: MIT Press, 785 p. (Russ. ed.: (2018) Moscow, 652 p.).

2. Nikolenko, S., Kadurin, A., Arkhangelskaya, E. (2018) Deep Learning. St. Petersburg, 480 p. (in Russ.).

3. D’hoe, K., Vet, S., Faust, K., Moens, F. et al. (2018) ‘Integrated culturing, modeling and transcriptomics uncovers complex interactions and emergent behavior in a three-species synthetic gut community’, eLife, 7, art. e37090. doi: 10.7554/eLife.37090.

4. da Silva Pereira, A., Pinheiro, Á.D.T., Rocha, M.V.P., Gonçalves, L.R.B. et al. (2021) ‘Hybrid neural network modeling and particle swarm optimization for improved ethanol production from cashew apple juice’, Bioprocess and Biosystems Eng., 44, pp. 329–342. doi: 10.1007/s00449-020-02445-y.

5. Maklyaev, I.V., Lemetyuynen, Yu.A., Nokhaeva, V.S., Evdokimova, S.A. et al. (2020) ‘Neural network modeling of change in lactic acid concentration during continuous fermentation of bifidobacteria’, Butlerov Communications, 64(11), pp. 61–69 (in Russ.). doi: 10.37952/ROI-jbc-01/20-64-11-61.

6. Berg, G., Rybakova, D., Fischer, D. et al. (2020) ‘Microbiome definition re-visited: Old concepts and new challenges’, Microbiome, 8, art. 103. doi: 10.1186/s40168-020-00875-0.

7. Konopka, A. (2009) ‘What is microbial community ecology?’, ISME J., 3, pp. 1223–1230. doi: 10.1038/ismej.2009.88.

8. von Martels, J., Sadabad, M.S., Bourgonje, A.R., Blokzijl, T. et al. (2017) ‘The role of gut microbiota in health and disease: In vitro modeling of host-microbe interactions at the aerobe-anaerobe interphase of the human gut’, Anaerobe, 44, pp. 3–12. doi: 10.1016/j.anaerobe.2017.01.001.

9. Baranwal, M., Clark, R.L., Thompson, J., Sun, Z., Hero, A.O., Venturelli, O. (2021) ‘Deep learning enables design of multifunctional synthetic human gut microbiome dynamics’, bioRxiv, available at: https://www.biorxiv.org/content/10.1101/2021.09.27.461983v1 (accessed October 10, 2023). doi: 10.1101/2021.09.27.461983.

10. Gradilla-Hernández, M.S., García-González, A., Gschaedler, A., Herrera-López, E.J. et al. (2020) ‘Applying differential neural networks to characterize microbial interactions in an ex vivo gastrointestinal gut simulator’, Processes, 8(5), art. 593. doi: 10.3390/pr8050593.

11. Evdokimova, S.A., Karetkin, B.A., Guseva, E.V. et al. (2022) ‘A study and modeling of Bifidobacterium and Bacillus coculture continuous fermentation under distal intestine simulated conditions’, Microorganisms, 10(5), art. 929. doi: 10.3390/microorganisms10050929.