Control Systems and Computers

https://doi.org/10.15407/csc.2022.02.033

Moroz O.H., Linder Ya.M. Problem of Сonstructing the GMDH Neural Networks with Active Neurons. Control Systems and Computers. 2022. № 2. С. 33-42.

УДК 6:004.8

О.Г. Мороз, кандидат технічних наук, старший науковий співробітник,
Міжнародний науково-навчальний центр інформаційних технологій і
систем НАН та МОН України, 03187, м. Київ, просп. Академіка Глушкова, 40, Україна, ORCID: https://orcid.org/0000-0002-2849-5688, olhahryhmoroz@gmail.com

Я.М. Ліндер, кандидат фіз.-мат. наук, старший. науковий співробітник,
Міжнародний науково-навчальний центр інформаційних технологій і
систем НАН та МОН України, 03187, м. Київ, просп. Академіка Глушкова, 40, Україна,
ORCID: https://orcid.org/0000-0003-1076-9211, yaroslav.linder@gmail.com

ПРОБЛЕМА КОНСТРУЮВАННЯ МГУА НЕЙРОННИХ МЕРЕЖ
З АКТИВНИМИ НЕЙРОНАМИ

Вступ. Нейронні мережі на основі багаторядного ітераційного алгоритму групового урахування аргументів (БIA МГУА) є ефективними інструментами для вирішення актуальних проблем прогнозування, аналізу даних, розпізнавання образів, кластеризації, класифікації тощо. Існує багато типів нейронних мереж МГУА, розробка яких спрямована на підвищення ефективності індуктивної побудови моделей складних систем за статистичними даними. Основними недоліками класичної нейронної мережі МГУА є: можливість втрати інформативних аргументів, якщо вони були втрачені на початку пошуку; можливість фіксації неінформативних аргументів, якщо вони були включені на початку пошуку; експоненційне зростання степеня полінома в квадратичному описі; зі збільшенням кількості ітерацій вихідні вектори кращих моделей стають все більш корельованими, що погіршує умовність систем рівнянь для оцінки параметрів.

Для усунення недоліків класичного алгоритму МГУА був розроблений узагальнений ітераційний алгоритм МГУА, який базується на поєднанні ідей щодо збереження початкової бази моделювання та застосування оптимізації складності до частинних моделей з використанням так званих «активних нейронів» з різною структурою, яка оптимізується комбінаторним алгоритмом МГУА. Його окремими випадками є алгоритми багаторядкового та релаксаційного типів, а також деякі типи ітераційно-комбінаторних (гібридних) алгоритмів.

У цій роботі досліджуються переваги та недоліки існуючих архітектур нейронних мереж на основі МГУА з активними нейронами з метою подальшого удосконалення алгоритмів їх побудови. Також у роботі розроблено та досліджено два алгоритми оптимізації узагальненої нейромережі МГУА з активними нейронами з використанням генетичного алгоритму.

Метою статті є дослідження переваг та недоліків наявних архітектур нейромереж  МГУА з активними нейронами та підвищення їх ефективності при індуктивній побудові моделей складних систем за статистичними даними на основі їх гібридизації з гентичними алгоритмами.

Методи. У роботі представлено опис основних нейромереж МГУА з активними нейронами.

Результати. Подано характеристику наявних нейромереж МГУА з активними нейронами, проаналізовано їх основні переваги та недоліки. Серед основних недоліків нейромережі МГУА виявлено такі: експоненційний ріст степеня полінома в квадратичному частинному описі, можливість втрати інформативних і закріплення неінформативних аргументів в моделі.

Запропоновано два підходи до підвищення ефективності узагальненого алгоритму МГУА з використанням генетичного алгоритму.

Висновки. У статті наведено результати аналізу основних переваг та недоліків існуючих нейронних мереж МГУА з активними нейронами. Їх основним недоліком є використання детермінованих методів оптимізації нейронів, що призводить до використання великої кількості обчислювальних і часових ресурсів. Для її усунення розроблено два підходи до підвищення ефективності індуктивної побудови моделей складних систем. Ці підходи базуються на застосуванні генетичних алгоритмів до задачі пошуку оптимальної структури узагальненого алгоритму МГУА з «активними нейронами».

 Завантажити повний текст в PDF (англійською).

Ключовi слова: індуктивне моделювання, нейромережа МГУА, активні нейрони, обчислювальний інтелект, генетичні алгоритми.

1. Ivakhnenko A.G. Group method of data handling as a rival of the stochastic approximation method. Soviet Automatic Control. 1968. 3. P. 58-72.
2. Stepashko V. Ideas of Academician O.H. Ivakhnenko in the Inductive Modelling Field from Historical Perspective. In: Proc. of the 4th Int. Conf. on Inductive Modelling ICIM-2013, 2013. IRTC ITS NASU, Kyiv, Ukraine. P. 30-37.
3. Stepashko V. Developments and Prospects of GMDH-Based Inductive Modeling. Advances in Intelligent Systems and Computing II: Selected Papers from the International Conference on Computer Science and Information Technologies CSIT 2017. AISC book series, Springer. 2018.Vol. 689. P. 474-491.
4. Stepashko V. On the Self-Organizing Induction-Based Intelligent Modeling. Advances in Intelligent Systems and Computing III: Selected Papers from the International Conference on Computer Science and Information Technologies. CSIT 2018. AISC book series, Springer. 2019. Vol. 871, P. 433-448.
5. Madala H.R. Inductive Learning Algorithms for Complex Systems Modeling. Boca Raton: CRC Press Inc. 1994.
6. Stepashko, V.S.: Combinatorial Algorithm of the Group Method of Data Handling with Optimal Model Scanning Scheme. Soviet Automatic Control, 14(3), 24-28 (1981).
7. Мороз O.Г., Степашко В.С. Порівняльний аналіз генераторів структур моделей у перебірних алгоритмах МГУА. Зб. наук. пр. «Індуктивне моделювання складних систем». МННЦ ІТС НАНУ. Київ, 2016. 8. С. 133 – 148.
8. Мороз О.Г., Степашко В.С. Перебірні алгоритми індуктивного моделювання з генетичними операторами. Освіта України. Київ. 2021. 216 с.
9. Moroz O. Analysis of MIA GMDH as a self-organizing deep neural network. Proc. of the IEEE 16th International Conference on Computer Sciences and Information Technologies (CSIT). Lviv: LNPU, 2021. V. 1. P. 394-397.
10. Moroz O.H., Stepashko V.S., 2021. Comparative features of MIA GMDH and deep feed-forward neural networks. Cybernetics and computer engineering, 4 (206), pp. 5-20.
11. Степашко В.С., Булгакова О.С., Зосімов В.В. Гібридні алгоритми самоорганізації моделей для прогнозування складних процесів. Індуктивне моделювання складних систем: Зб. наук. праць. К.: МННЦІТ та С НАНУ, 2010. С. 236-246.
12. Stepashko V., Bulgakova O., Zosimov V. Experimental Verification of Internal Convergence of Iterative GMDH Algorithms. In: Proceedings of the V International Workshop on Inductive Modelling IWIM-2012, IRTC ITS NASU, Kyiv. 2012. P. 53-56.
13. Степашко В.C., Булгакова А.С. Обобщенный итерационный алгоритм метода группового учета аргументов. Управляющие системы и машины, 2013, № 2. C. 5-20.
14. Stepashko V., Bulgakova O. Generalized Iterative Algorithm GIA GMDH. In: Proceedings of the 4th International Conference on Inductive Modelling ICIM-2013. IRTC ITS NASU, Kyiv.2013. P. 119-123.
15. Зосімов В.В., Булгакова О.С., Степашко В.С. Програмний комплекс моделювання складних систем на основі ітераційних алгоритмів МГУА з можливістю мережевого. Системні дослідження та інформаційні технології. 2014. № 1. С. 43-55.
16. Stepashko V., Bulgakova O., Zosimov V. Construction and Research of the Generalized Iterative GMDH Algorithm with Active Neurons Advances in Intelligent Systems and Computing II. AISC book series. Cham: Springer, 2017. P. 492-510.
17. Степашко В.С., Булгакова О.С. Ітераційні алгоритми індуктивного моделювання. Київ: Наукова думка, 2018. Проект “Наукова книга”. 190 c.
18. Мороз O.Г., Степашко В.С. Огляд гібридних структур МГУА-подібних нейронних мереж та генетичних алгоритмів. Зб. наук. пр. «Індуктивне моделювання складних систем». МННЦ ІТС НАНУ та МОНУ. Київ, 2015. Вип. 7. С. 173-191.
19. Hollannd J.H. Adaptation in natural and artificial systems. University of Michigan, 1975. 210р.
20. Goldberg D.E. Genetic algorithms in search, optimization, and machine learning. Addison-Wesley, Reading, 1989. 432p.
21. Глибовець М. М., Гулаєва Н.М. Еволюційні алгоритми. Київ : НаУКМА,. 2013. 828 с
22. Reeves C. R., Rowe J.E. Genetic algorithms: principles and perspectives. A Guide to GA Theory. Kluwer Academic Publishers, 2003. 332p.
23. Ivakhnenko A.G., Wunsh D., Ivakhnenko G.A.. Inductive sorting-out GMDH algorithms with polynomial complexity for active neurons of neural networks. Proceedings of the International Joint Conference on Neural Networks, IEEE, Piscataway, New Jersey, 1999. pp. 1169-1173.
24. Ivakhnenko A.G., Ivakhnenko G.A., Mueller J.A.. Self-organization of neuronets with Active Neurons. Pattern Recognition and Image Analysis, 1995. 4 (4), pp. 177-188.
25. Müller J.-A., Lemke F., 1999. Self-organizing for active neurons of neural networks”. Proceedings of the International Joint Conference on Neural Networks, IEEE, Piscataway, New Jersey, pp. 1169-1173.
26. Ivakhnenko G.A. Model-Free Analogues as Active Neurons for Neural Network Self-organization. URL: http://www.gmdh.net/articles/algor/analogue.pdf (Accessed 17.09.2021).
27. Lemke F. Parallel Self-Organizing Modeling. Proc. of the 2nd Int. Conf. on Inductive Modelling ICIM-2008. K.: IRTC ITS NANU, 2008. P. 176-184.
28. Oh S.K., Pedrycz W. The Design of Self-Organizing Polynomial Neural Networks. Inf. Sci. 2002. 141. P 237-258.
29. Kondo T.: GMDH neural network algorithm using the heuristic self-organization method and its application to the pattern identification. In: Proceedings of the 37th SICE Annual Conference SICE’98, pp.1143-1148. IEEE, Piscataway (1998).
30. Kordík P., Náplava P., Šnorek, M., Genyk-Berezovskij P. The Modified GMDH Method Applied to Model Complex Systems. Proceedings of International Conference on Inductive Modelling ICIM’2002. SRDIII, Lviv, Ukraine. 2002. P.134-138.
31. Kordik P. Fully automated knowledge extraction using group of adaptive model evolution: PhD thesis. Electrical Engineering and Information Technology. Prague: CTU, 2006. 150 p.
32. Onwubolu G.C. Design of Hybrid Differential Evolution and Group Method of Data Handling for Inductive Modeling. In: Proceedings of the II International Workshop on Inductive Modelling IWIM-2007, CTU in Prague, Czech Republic. 2007. P. 87-95.

Надійшла 31.07.2022