Control Systems and Computers

https://doi.org/10.15407/csc.2023.03.024

Радченко О.В., Павлов В.А., Городецька О.К., Корнієнко Г.А. Багатокласовий класифікатор на основі бінарних логістичних регресій, одержаних за принципами МГУА. Control Systems and Computers. 2023. № 3. С. 24-32

УДК  004.852

О.В. РАДЧЕНКО, студент, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», ORCID: https://orcid.org/0009-0002-5810-4526, 03056, м. Київ, Берестейський просп., 37, Україна, radchenko.oleh@lll.kpi.ua

В.А. ПАВЛОВ, канд. техн. наук, доцент, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», ORCID: https://orcid.org/0000-0002-3293-5308, 03056, м. Київ, Берестейський просп., 37, Україна, pavlov.volodymyr@lll.kpi.ua

О.К. ГОРОДЕЦЬКА, канд. техн. наук, доцент, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», ORCID: https://orcid.org/0000-0003-1288-3528, 03056, м. Київ, Берестейський просп., 37, Україна, o.nosovets@gmail.com,

Г.А. КОРНІЄНКО, старший викладач Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», ORCID: https://orcid.org/0009-0003-2104-5745, 03056, м. Київ, Берестейський просп., 37, Україна, galinakor5555@gmail.com

БАГАТОКЛАСОВИЙ КЛАСИФІКАТОР НА ОСНОВІ БІНАРНИХ ЛОГІСТИЧНИХ РЕГРЕСІЙ, ОДЕРЖАНИХ ЗА ПРИНЦИПАМИ МГУА

В роботі розглядається задача підвищення точності мультикласової класифікації моделей множинної логістичної регресії. Формувати класифікатор пропонується шляхом поєднання бінарних логістичних регресій оптимізованої структури. Бінарні моделі  одержуються кроковим алгоритмом логістичної регресії Stepwise, удосконаленим за принципами методу групового врахування аргументів. Переваги пропонованого підходу продемонстровано на медичних даних публічно-доступного інтернет-ресурсу Kaggle.

 Завантажити повний текст! (українською)

Ключові слова: мультикласовий класифікатор, кроковий алгоритм, Stepwise, логістична регресія, оптимізація моделі, зовнішній критерій, метод групового врахування аргументів.

1. Schmidhuber J. Deep learning in neural networks: An overview. Neural Networks. 2015. Т. 61. С. 85–117.
2. Ben-Hur A., Horn D., Siegelmann H.T., Vapnik, V. Support vector clustering. (2001)”. Journal of Machine Learning Research. 2. P. 125–137.
3. Von Winterfeldt, D., Edwards, W. “Decision trees”. Decision Analysis and Behavioral Research. Cambridge University Press. 1986. C. 63–89.
4. Бабенко, В., Настенко, Е., Павлов, В., Городецька, О., Дикан, І., Тарасюк, Б., Лазорншннець, В. Класифікація патологіі за медичними зображеннями алгоритмом випадкового лісу дерев оптимальної складності. Кібернетика та системний аналіз, 59 (2). С. 190-202.
5. Davydko O., Hladkyi Y., Linnik M., Nosovets O., Pavlov V., Nastenko Ie. Hybrid Classifiers Based on CNN, LSOF, GMDH in COVID-19 Pneumonic Lesions Types Classification Task. Proceedings of the XVI IEEE International Conference CSIT-21& International Workshop on Inductive Modeling. Lviv, Ukraine, 23-26 September, 2021 P. 380– DOI: 10.1109/CSIT52700.2021.9648752.
6. Bisong E., Bisong E. Logistic regression. Building Machine Learning and Deep Learning Models on Google Cloud Platform: A Comprehensive Guide for Beginners, 2019, P. 243–250.
7. Nilashi M., Ibrahim O., Dalvi M., Ahmadi H., Shahmoradi L. Accuracy improvement for diabetes disease classification: a case on a public medical dataset. Fuzzy Information and Engineering, 2017, 9 (3). С. 345–357.
8. Kirasich, K., Smith, T., Sadler, B. “Random Forest vs Logistic Regression: Binary Classification for Heterogeneous Datasets,” SMU Data Science Review, 2018. Розділ 1: номер 3, стаття 9. Режим доступа: https://scholar.smu.edu/datasciencereview/vol1/iss3/9.
9. Ивахненко А.Г., Степашко В.С. Помехоустойчивость моделирования. Киев: Наук. думка, 1985. 216 с.
10. Ivakhnenko O.G.; Ivakhnenko G.A. The Review of Problems Solvable by Algorithms of the Group Method of Data Handling (GMDH). Pattern Recognition and Image Analysis. 1995. 5 (4). 527–535.
11. Strano M., Colosimo B.M. Logistic regression analysis for experimental determination of forming limit diagrams”. International Journal of Machine Tools and Manufacture. 2005. 46 (6). P. 673–682. doi:10.1016/j.ijmachtools.2005.07.005.
12. Zhang, Zh. Variable selection with stepwise and best subset approaches. Annals of translational medicine, 2016, 4 (7), 136. DOI: 21037/atm.2016.03.35.
13. El-Koka, A., Cha, K.H., Kang, D.K. Regularization parameter tuning optimization approach in logistic regression. In: 2013 15th International Conference on Advanced Communications Technology (ICACT). IEEE, 2013. C. 13–18.
14. Derksen, S., Keselman, H.J. Backward, forward and stepwise automated subset selection algorithms: Frequency of obtaining authentic and noise variables. British Journal of Mathematical and Statistical Psychology, 1992, 45 (2). C. 265–282.
15. Zhou, J., Foster, D.P., Stine, R.A., Ungar, L.H., Guyon, I. Streamwise feature selection. Journal of Machine Learning Research, 2006, 7 (9). P. 1861-1885.
16. Гупало М., Павлов В., Настенко Є., Корнієнко Г. Оптимізація результатів моделювання шляхом розбиття вибірок за критерієм подібності відстані Махаланобіса. Biomedical Engineering and Technology, 2023, 11, C. 21–30.
17. In Lee K., Koval J.J. Determination of the best significance level in forward stepwise logistic regression. Communications in Statistics-Simulation and Computation, 1997, 26 (2). C. 559–575.
18. Woolf B. The log likelihood ratio test (the G‐test). Annals of human genetics, 1957, 21 (4), P. 397–409.
19. Buse A. The Likelihood Ratio, Wald, and Lagrange Multiplier Tests: An Expository Note. The American Statistician. 1982. 36 (3a). C. 153–157.
20. Fetal Health Classification [Електронний ресурс] Режим доступу: https://www.kaggle.com/datasets/andrewmvd/fetal-health-classification.

Надійшла 22.08.2023