На правах рекламы:
ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Авторитетность издания

ВАК - К1
RSCI, ядро РИНЦ

Добавить в закладки

Следующий номер на сайте

4
Ожидается:
09 Сентября 2024

Перспективы применения гибридных методов прогнозирования показателей Государственной программы России «Развитие науки и технологий»

Prospects for applying hybrid forecasting of performance of the Russian Federation state program
Дата подачи статьи: 07.07.2014
УДК: 004.415.2
Статья опубликована в выпуске журнала № 3 за 2014 год. [ на стр. 167-173 ]
Аннотация:В статье рассматриваются проблемы прогнозирования в сфере исследований и разработок России. Сама сфера исследований и разработок представляет собой совокупность организаций и учреждений, в которых выполняются фундаментальные и прикладные исследования, опытно-конструкторские работы, и опытного производства. В результате деятельности этой сферы появляются новые знания, образцы техники и технологий, научные открытия. Интенсификация производства и использования новых научно-технических результатов предопределила резкое сокращение инновационного цикла, ускорение темпов обновления продукции и технологий. Современная экономическая ситуация в мире требует опережающего развития отдельных специфичных направлений научных исследований и технологических разработок («чистая» энергетика, новые технологии, нанотехнологии и т.д.), по многим из которых нет существенных заделов. Все это порождает появление коротких временных рядов, а любой прогноз основывается на анализе динамики показателей за предшествующий период времени. Как показывает практика, использование статистических методов в таких условиях становится затруднительным. Поэтому для достижения наилучших результатов при построении качественных прогнозов новых показателей, например в нанотехнологиях, предлагается использовать гибридные нейрорегрессионные системы. В статье описывается распределенная система прогноза показателей развития сферы исследований и разработок на основе комплексной эконометрической модели в форме уравнений множественной регрессии. Приводятся экспериментальные результаты краткосрочного прогноза развития сферы, полученные с использованием методов множественной регрессии.
Abstract:The article describes the problem of predicting in research and development (R and D) of Russia. The scope of research and development is a set of organizations and institutions which perform basic and applied research, experimental development and pilot production. As a result there is new knowledge, models of equipment and technologies, scientific dis-coveries. Intensification of production and use of new scientific and technological results has determined the drastic reduction of the innovation cycle and acceleration of products and technologies renovation pace. Current world economic situation re-quires advanced development of individual specific areas of scientific research and technological development ("clean" ener-gy, new technologies, nano-technologies, their application in agriculture, etc.). Many of them do not have a good start. All this triggers the appearance of short time series, and any forecast is based on an indicators dynamics analysis for the previous period. Practice shows that in such circumstances the use of statistical methods becomes difficult. Therefore, to create quali-tative predictions of new indicators, such as nano-technology, the authors propose to use hybrid neuro-regression systems for the best results. This article describes a distributed system for prediction of development indicators in research and development based on a comprehensive econometric model in the form of multiple regression equations. There are experimental results of short-term forecasting obtained using multiple regression.
Авторы: Ярушев С.А. (sergey.yarushev@icloud.com) - Международный университет природы, общества и человека «Дубна» (аспирант), Дубна, Россия, Аверкин А.Н. (averkin2003@inbox.ru) - Международный университет природы, общества и человека «Дубна» (доцент), Дубна, Россия, кандидат физико-математических наук
Ключевые слова: инновации, сфера исследований и разработок, статистические методы, прогнозирование, нейронные сети
Keywords: innovation, research and development scope, statistic methods, forecasting, neural network
Количество просмотров: 14233
Версия для печати
Выпуск в формате PDF (5.36Мб)
Скачать обложку в формате PDF (1.03Мб)

Размер шрифта:       Шрифт:

Сфера исследований и разработок – это совокупность организаций и учреждений, в которых выполняются фундаментальные и прикладные исследования, опытно-конструкторские работы, и опытного производства [1]. Результатом деятельности сферы исследований и разработок (ИиР) являются новые знания, образцы техники, технологий, материалов, услуг, алгоритмов, обладающие ранее недостижимыми или неизвестными свойствами.

Анализ и оценка деятельности сферы ИиР базируются на данных официальной статистики, предоставляемой Росстатом в разделе «Научные исследования и инновации», в котором публикуются отчетные показатели по следующим направлениям:

–      организации, выполняющие исследования и разработки;

–      кадры науки и подготовка научных кадров;

–      финансирование науки;

–      результативность исследований и разработок;

–      технологические, организационные и маркетинговые инновации.

Сфера ИиР постоянно развивается, и возникновение новых проблем и направлений в оценках ее развития требует разработки не только новых показателей, но и новых методов их определения. Выделение главных на текущий момент направлений развития научной сферы и определение механизмов поддержки этих направлений осуществляются в рамках Федеральных целевых программ (ФЦП) как основных инструментов управления развитием сферы ИиР.

Наиболее крупными из них, касающимися сферы ИиР, являются ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014–2020 годы» и ФЦП «Научные и научно-пе­дагогические кадры инновационной России на 2014–2020 гг.».

Как результат дальнейшего развития программных методов управления наукой в России в декабре 2012 г. Правительством Российской Федерации была принята Государственная программа развития науки и технологий (ГПРНТ) на 2013–2020 годы, разработанная Министерством образования и науки России. Реализация ГПРНТ должна обеспечить развитие важнейших направлений ИиР и повысить их эффективность и результативность, но за эти годы вероятность пересмотра индикаторов этой программы увеличится.

Структурно Гпрнт включает подпрограммы и ФЦП, по каждой из которых определены этапы выполнения, объемы финансирования, мероприятия, риски и ожидаемые результаты (индикаторы).

Естественно, что среди показателей, оценивающих ожидаемые результаты выполнения отдельных этапов, могут использоваться новые, ранее не учитываемые и не наблюдаемые, например, рейтинговые оценки публикационной активности и цитируемости, которые отсутствуют в государственной статистической отчетности.

Вместе с тем значительная часть показателей реализации ГПРНТ может быть получена на основании статистической отчетности Росстата. Разумеется, мониторинг реализации ГПРНТ требует сбора и обработки соответствующей статистической информации, что обусловливает необходимость решения ряда проблем.

Например, наблюдаемые Росстатом на основе существующей отчетности научных предприятий показатели дают агрегированную отчетность по утвержденному регламенту сроков представления. А это означает, что некоторые показатели после окончания отчетного периода становятся доступными через 4–5 месяцев, другие – через 7–8, а основной отчетный продукт Росстата – «Российский Статистический Ежегодник», содержащий наиболее полную, систематизированную и достоверную информацию, выходит спустя 14 месяцев после окончания отчетного периода. Очевидно, что для лиц и организаций, ответственных за мониторинг реализации ГПРНТ, такой лаг недопустим.

Для лиц, принимающих решения, требуются результаты мониторинга для оперативного анализа вектора развития и контроля правильности использования средств с целью раннего обнаружения и предотвращения необратимых нежелательных ситуаций и принятия соответствующих решений.

Таким образом, результаты мониторинга ГПРНТ за 2013 год необходимы Минобрнауки России к 1 марта 2014 года, а Росстат предоставит информацию в полном объеме только к 1 марта 2015 года.

Результаты, полученные с применением методов множественной регрессии

В ранее разработанной модели прогноза развития сферы исследований и разработок [2] использованы показатели, на базе которых можно рассчитать отдельные индикаторы реализации ГПРНТ, содержащей в основном показатели, которые могут быть получены на основе существующей статистической отчетности с применением методов множественной регрессии.

К таким показателям относятся следующие.

1. Доля внутренних затрат на исследования и разработки в ВВП. Этот показатель может быть получен на основе прогноза двух показателей: объем внутренних затрат на исследования и разработки (всего); прогнозное значение ВВП (или сценарный показатель – прогноз Минэкономразвития России).

2. Коэффициент изобретательской активности (число отечественных патентных заявок на изобретения, поданных в России, в расчете на 10 тыс. чел. населения).

Учитывая, что не все население участвует в научной деятельности, более логично рассчитывать коэффициент изобретательской активности (число отечественных патентных заявок на изобретения, поданных в России, в расчете на 10 тыс. занятых в сфере ИиР) на основе прогноза двух показателей: число заявок, поданных на выдачу патентов на изобретения российскими заявителями; общая численность занятых в сфере ИиР.

3. Удельный вес внебюджетных средств во внутренних затратах на исследования и разработки может быть рассчитан из двух показателей: внутренние затраты на исследования и разработки (всего); внутренние затраты на исследования и разработки из внебюджетных средств.

4. Отношение средней заработной платы научных сотрудников к средней заработной плате в соответствующем регионе может быть рассчитан по двум показателям: среднемесячная номинальная начисленная заработная плата в РФ; среднемесячная заработная плата персонала, занятого исследованиями и разработками.

5. Удельный вес учреждений высшего профессионального образования во внутренних затратах на исследования и разработки (%) может быть получен на основе прогноза двух показателей: внутренние затраты на исследования и разработки (всего); внутренние затраты на исследования и разработки учреждений высшего профессионального образования.

Проиллюстрируем применение предложенной модели прогнозирования на отдельных показателях.

Среднемесячная номинальная начисленная заработная плата в РФ (AMAW)

Регрессионное уравнение для расчета этого показателя имеет вид

AMAW = a0 + a1 AMAW_1 + a2 CE3 + +a3 PBT2_1 +a4 M2,                                                 (1)

где a0 – свободный член; a1, a2, a3, a4 – коэффициенты регрессионного уравнения; AMAW – текущее значение расчетного показателя; AMAW_1 – значение расчетного показателя в предыдущем периоде (запаздывающая переменная); CE3 – текущее значение макроэкономического показателя «Оплата труда»; PBT2_1 – текущее значение макроэкономического показателя «Валовая прибыль экономики»; M2 – темп изменения денежной массы – сценарный показатель.

На рисунке 1 приведены графики отчетных и расчетных значений «Среднемесячная номинальная начисленная заработная плата в РФ» (AMAW) за 2004–2012 гг., а также прогнозное значение на 2013 год. Как видно из графика и расчетных таблиц, в прогнозном периоде значение этого расчетного показателя растет и в 2013 г. составило 36 900 руб. На графике отображено расчетное значение на 2005–2013 гг., а отчетное значение – на 2004–2012 гг. Графики показывают, что расчетные значения с достаточно высокой точностью совпадают с отчетными, что подтверждается также приемлемыми значениями статистических характеристик (табл. 1).

В приведенной таблице коэффициент детерминации r2 = 0,979 свидетельствует о высокой корреляции зависимой переменной с независимыми. Критерий Дарбина–Уотсона DW = 2,63 показывает, что расчетное значение имеет допустимую невысокую отрицательную автокорреляцию. F-ста­тистика (f-stat = 35,7) показывает, что гипотеза об использовании указанных в уравнении факторов (независимых переменных) может быть принята, так как расчетное значение превышает табличное для действующих степеней свободы.

Таблица содержит также показатели Т-статис­тики, что позволяет оценить вклад каждого фактора в расчет показателя «Среднемесячная номинальная начисленная заработная плата в РФ».

Среднемесячная заработная плата персонала, занятого исследованиями и разработками (SNL)

Регрессионное уравнение для расчета данного показателя имеет вид

SNL = a0 + a1 SNL_1 + a2 SNW + a3 BNE% + +a4 DBF% + a5 M2,                                                  (2)

где a0 – свободный член; a1, a2, a3, a4, a5 – коэффициенты регрессионного уравнения; SNL – текущее значение расчетного показателя «Среднемесячная заработная плата персонала, занятого исследованиями и разработками»; SNL_1 – значение расчетного показателя «Среднемесячная заработная плата персонала, занятого исследованиями и разработками» в предыдущем году; SNW – текущее значение показателя «Персонал, занятый исследованиями и разработками (всего)»; BNE% – текущее значение показателя «Доходы федерального бюджета от внешнеэкономической деятельности (% от ВВП)»; DFB% – текущее значение показателя «Профицит (+), дефицит (–) федерального бюджета»; M2 – темп изменения денежной массы – сценарный показатель.

На рисунке 2 приведены графики отчетных и расчетных значений на 2004–2012 гг. и прогнозных значений на 2013 год показателя «Среднемесячная заработная плата персонала, занятого исследованиями и разработками» (SNL).

На графике отображается расчетное значение на 2005–2013 гг., а отчетное – на 2004–2012 гг. Как видно из рисунка 2 и таблицы 2, в прогнозном периоде значение расчетного показателя «Среднемесячная заработная плата персонала, занятого исследованиями и разработками» (SNL) будет расти и в прогнозном 2013 году составит 35 000 руб.

В таблице 2 приведены статистические характеристики расчета показателя «Среднемесячная заработная плата персонала, занятого исследованиями и разработками» (SNL).

В приведенной таблице коэффициент детерминации r2 = 0,996, что свидетельствует о высокой корреляции зависимой переменной с независимыми. Критерий Дарбина–Уотсона DW = 2,36 показывает, что расчетное значение имеет допустимую невысокую отрицательную автокорреляцию. F-статистика (f-stat = 131) показывает, что гипотеза об использовании факторов в уравнении может быть принята.

Таблица содержит также показатели Т-статис­тики, что позволяет оценить вклад каждого фактора в расчет показателя «Среднемесячная номинальная начисленная заработная плата в РФ».

Персонал, занятый исследованиями и разработками (всего) (SNW)

Регрессионное уравнение для расчета показателя (SNW) имеет вид

SNW= a0 + a1 SNW_1 + a2 SNE_1 + + a3 GI1_1 + a4 DFB% + a5 M2,                           (3)

где a0 – свободный член; a1, a2, a3, a4, a5 – коэффициенты регрессионного уравнения; SNW – текущее значение расчетного показателя «Персонал, занятый исследованиями и разработками (всего)» (SNW); SNW_1 – значение расчетного показателя «Персонал, занятый исследованиями и разработками (всего)» в предыдущем периоде; SNE_1 – значение расчетного показателя «Число организаций, выполняющих исследования и разработки (всего)» в предыдущем периоде; GI1_1 – значение расчетного макроэкономического показателя «Валовое накопление» в предыдущем периоде; DFB% – текущее значение показателя «Профицит (+), дефицит (–) федерального бюджета»; M2 – темп изменения денежной массы (сценарный показатель).

На рисунке 3 приведены графики отчетных, расчетных и прогнозных значений показателя «Персонал, занятый исследованиями и разработками (всего)» (SNW) на 2004–2012 гг., а также прогнозных значений на 2013 г.

На графике отображается расчетное значение на 2005–2013 гг., а отчетное – на 2004–2012 гг. Анализ графиков на рисунке 3 и приведенная расчетная таблица 3 показывают, что расчетные значения с высокой точностью совпадают с отчетными и в прогнозном 2013 г. численность персонала, занятого исследованиями и разработками (SNW), сохранится на уровне предыдущего года (723 тыс. человек). Этот вывод подтверждается приемлемыми значениями основных статистических характеристик (табл. 3).

В таблице 3 коэффициент детерминации r2 = = 0,989, что свидетельствует о высокой корреляции зависимой переменной с независимыми. Критерий Дарбина–Уотсона – DW = 3,00 показывает, что расчетное значение имеет допустимую отрицательную автокорреляцию. F-статистика (f-stat = = 35,3) показывает, что гипотеза об использовании факторов в уравнении может быть принята.

Таблица содержит также показатели Т-статис­тики, что позволяет оценить вклад каждого фактора в расчет показателя «Среднемесячная номинальная начисленная заработная плата в РФ».

На основании изложенных выше результатов можно отметить следующие факты.

1. Полученные в исследовании результаты прогнозных расчетов на основе комплексной макроэконометрической модели показали, что модель может быть использована для прогноза индикаторов реализации Государственной программы развития науки и технологий – основного инструмента управления развитием сферы исследований и разработок в настоящее время.

2. Прогнозные расчеты на основе использования уравнений множественной регрессии отличаются достаточно высокой степенью точности, которая подтверждается приемлемыми значениями основных статистических характеристик, определяющих степень корреляции зависимых и независимых переменных, приемлемость гипотезы изменения зависимых переменных, наличие автокорреляции и др.

3. Модель отражает взаимосвязь индикаторов реализации ГПРНТ с важнейшими макроэкономическими показателями (ВВП, валовые накопления, бюджетные ассигнования, денежная масса и др.).

4. Предложенная модель дает возможность сравнить результаты прогнозных расчетов с использованием уравнений множественной регрессии с прогнозами, основанными на применении альтернативных методов (прямые аналитические расчеты, трендовые однофакторные модели, сплайны, интеллектуальные системы, в частности методы нейросетевого прогноза).

5. В целях более полного описания сферы ИиР и учета соответствующих взаимосвязей целесообразно дополнить модель уравнениями, характеризующими инновационную деятельность (затраты на технологические инновации, объем отгруженной инновационной продукции в общем объеме промышленной продукции, удельный вес инновационно активных предприятий в общем числе предприятий и др.).

Как известно, любой прогноз основывается на анализе динамики показателей за предшествующий период времени. Наиболее точными могут быть прогнозы показателей, для которых известны аналитические зависимости [3], отражающие взаимосвязи рассматриваемых показателей, однако для большинства реальных экономических процессов определение аналитических зависимостей изменения показателей весьма затруднительно. Так, с помощью описанного метода множественной регрессии невозможно прогнозировать показатели, не имеющие предыстории или четкой методологии формирования, например, если имеет место зависимость от директивных указаний или же новые показатели, не имеющие предыстории. Например, развитие сферы нанотехнологий довольно сложно спрогнозировать с помощью статистических методов, так как в данном случае мы сталкиваемся с короткими временными рядами.

Выделим причины, вследствие которых возникают ограничения возможностей применения регрессионных уравнений для прогнозирования:

–      появление новых показателей с короткими (неполными) рядами отчетных данных;

–      несопоставимость отчетных данных показателя из-за радикальных методологических изменений на исследуемом отрезке отчетности;

–      неполнота наборов отчетных показателей Росстата РФ в СНС (например, отсутствие индекс-дефляторов для компонентов структур ВВП);

–      зависимость значений показателя от постановлений законодательной или исполнительной власти или от решений руководства финансовых органов;

–      использование показателей со скрытыми (ненаблюдаемыми) наборами факторов влияния;

–      использование административно-зависи­мых показателей (директивные указания).

Сегодня случаи, когда методы множественной регрессии не способны справиться с задачей прогнозирования, встречаются все чаще.

Развитие сферы ИиР, ее эффективность и результативность в значительной степени определяются уровнем развития экономики, в первую очередь, возможностями ее финансирования. Прогноз показателей сферы ИиР весьма проблематичен, поскольку для этой сферы практически не определяются четко структурные взаимосвязи этих показателей с макропоказателями и показателями других отраслей экономики.

Современная ситуация в мире порождает ранее не предвиденные показатели в развитии сферы ИиР. Развитие науки тесно связано как с экономической ситуацией в мире, так и с политической. Пример тому – события на Украине. Одним из наиболее значимых событий стало вхождение в состав РФ Республики Крым. Появление нового субъекта в стране влечет за собой большие изменения в экономической ситуации. Выделяются огромные средства на развитие новой территории. Так, в соответствии с постановлением президента РФ правительством РФ разработана федеральная целевая программа по социально-экономическому развитию Крыма и Севастополя. Но без научного потенциала решить задачу развития территорий невозможно. Поэтому в Крыму планируется создание научного центра для развития и поддержания научного потенциала республики. В дальнейшем планируется присоединение научных институтов к Российской академии наук. В связи с этим возникает необходимость создания новых подпрограмм развития науки и техники, выделяются новые средства, новые векторы развития.

В 2014 году начал работу Российский научный фонд. Внимание к нему обусловлено не только тем, что по сути он стал новым крупным инвестором фундаментальной науки в стране, но и его внушительным трехлетним бюджетом в 47 млрд рублей, намного превосходящим бюджеты уже существующих фондов. Первый из объявленных конкурсов – «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами» – собрал 11 775 заявок. Из них эксперты отберут порядка 700. Селекция довольно жесткая: более 16 претендентов на один грант [4].

Так, ситуация на Украине поставила правительство РФ перед необходимостью принять меры по переносу на территорию России научно-техни­ческих предприятий, занимающихся разработками для оборонно-промышленного комплекса. По приказу президента РФ эти работы должны быть выполнены в течение полутора лет. Все это также порождает непредвиденные расходы, новые программы и новые показатели, которые пока невозможно спрогнозировать.

Для решения подобных задач целесообразно использовать методы, основанные на построении интеллектуальных систем, например, нейросетевого прогноза, если новые показатели не имеют предыстории и/или четкой методологии формирования. Нейросетевые методы способны успешно моделировать нелинейные зависимости, они не требуют априорной информации о функциональной форме отношений между показателями. Но нейронные сети имеют также некоторые недостатки, такие, например, как сложность в обучении, сложность в построении архитектуры сети [5]. А регрессионные модели можно использовать для определения входов нейронной сети. Кроме того, в качестве исходного значения для расширенных аргументов в сети можно использовать коэффициенты из модели линейной регрессии. Действуя таким образом, можно максимизировать построение действительно мощной нейронной сети, способной давать лучшие, чем методы множественной линейной регрессии, результаты. Весь потенциал нейронных сетей, вероятно, может быть использован в сочетании с линейной регрессионной моделью. Следовательно, нейронные сети необходимо рассматривать как дополнительный механизм, в который будут включены инструменты макроэкономических прогнозов.

Литература

1.     Колмаков И.Б., Кольцов А.В., Доможаков М.В. Применение методологии краткосрочного прогнозирования для мониторинга показателей государственной программы РФ «Развитие науки и технологий» // Интеллектуально-аналити­ческие методы, модели и технологии в управлении экономическими и социальными системами: сб. докл. IV Междунар. науч.-практич. конф. им. А.И. Китова, РЭУ им. Г.В. Плеханова (28 марта 2014 г., Москва). М.: 2014. С. 105–118.

2.     Ганжа А.В., Колмаков И.Б., Кольцов А.В. Распределенные эконометрические модели прогноза развития научной системы России // Научные труды вольного экономического общества России. Вып. 164. 2011. С. 157–165.

3.     Антипов В.И., Колмаков И.Б., Пащенко Ф.Ф. Состояние инновационной и научной системы России и предложения по ее развитию // Вестн. РЭА им. Г.В. Плеханова. 2010. № 2. С. 22–33.

4.     Быкова Н. Наука и технологии России: как раздать миллиард. 2014; URL: http://www.ras.ru/digest/showdnews.aspx (дата обращения 08.05.2014).

5.     Ярушев С.А., Ефремова Н.А. Гибридные методы прогнозирования временных рядов // Гибридные и синергетические интеллектуальные системы: сб. матер. II Междунар. Поспеловского симпоз. Калининград: Изд-во Балтийского федер. ун-та им. Канта, 2014. С. 381–388.

References

1.     Kolmakov I.B., Koltsov A.V., Domozhakov M.V. Application of the short-term forecasting system to monitor the indicators of the state program of the Russian Federation "Development of Science and Technology". Intellektualno-analiticheskie metody, modeli i tekhnologii v upravlenii ekonomicheskimi i sotsialnymi sis­temami: sb. dokl. IV Mezhdunar. nauch.-praktich. konf. im. A.I. Ki­tova [Intellectual and analytical methods, models and technologies in economic and social systems management: Proc. of 4th Int. scientific and practical conf. n.a. A.I. Kitov]. G.V. Plekhanov Russian Univ. of Economics Publ., Moscow, 2014, pp. 105–118 (in Russ.).

2.     Ganzha A.V., Kolmakov I.B., Koltsov A.V. Distributed econometric forecasting models for Russia’s scientific system development. Trudy volnogo ekonomicheskogo obshchestva Rossii [Scientific Works of the Free Economic Society of Russia]. Moscow, 2011, vol. 164, pp. 157–165 (in Russ.).

3.     Antipov V.I., Kolmakov I.B., Pashchenco F.F. The state of innovation and scientific system of Russia and proposals for its development. Vestnik Rossiyskogo ekonomicheskogo universiteta im. G.V. Plekhanova [The bulletin of Plekhanov Russian University of Economics]. Moscow, 2010, no. 2, pp. 22–33 (in Russ.).

4.     Bykova N. Nauka i tekhnologii Rossii: kak razdat milliard [Russian Science and Technologies: How to deal a billion]. 2014, available at: http://www.ras.ru/digest/showdnews.aspx (accessed May 8, 2014).

5.     Yarushev S.A., Yefremova N.A. Hybrid methods for time series prediction. Gibridnye i sinergeticheskie intellektualnye siste­my: sb. mater. II Mezhdunar. Pospelovskogo simp. [Hybrid and sy­nergistic intelligent systems: Proc. of the 2nd Int. Symp. of Pospelov]. Kaliningrad, I. Kant Baltic Federal Univ. Publ., 2014, pp. 381–388.


Постоянный адрес статьи:
http://swsys.ru/index.php?page=article&id=3878&lang=&lang=&like=1
Версия для печати
Выпуск в формате PDF (5.36Мб)
Скачать обложку в формате PDF (1.03Мб)
Статья опубликована в выпуске журнала № 3 за 2014 год. [ на стр. 167-173 ]

Возможно, Вас заинтересуют следующие статьи схожих тематик: