Control Systems and Computers

https://doi.org/10.15407/csc.2023.03.054

Dvoichenkov D.D. Knowledge Graphs And Large Language Models. Control Systems and Computers. 2023. № 3. С. 54-60.

УДК 004.912

Dvoichenkov D.D., аспірант, Міжнародний науково-навчальний центр інформаційних технологій та систем НАН та МОН України, просп. Глушкова, 40, Київ 03187, Україна, ORCID: https://orcid.org/0009-0007-1935-6743, E–mail: supersokol777@gmail.com

Графи знань і великі мовні моделі

Вступ. Великі мовні моделі (ВММ), засновані на архітектурі Transformer, на сьогодні є одними з найбільш широко використовуваних інструментів у галузі обробки природної мови. Проте цей підхід має певні обмеження та недоліки. Зокрема, ці проблеми стають критичними для експертних систем, заснованих на NLP. ВММ іноді можуть генерувати помилкові та ненадійні відповіді. У цій роботі ми обстоюємо використання структурованих графів знань для вирішення цієї проблеми.

Мета. Основна мета статті – дослідити взаємозв’язок між ВММ та структурованими графами знань, а також висвітлити, як Графи Знань можуть допомогти вирішити проблеми, пов’язані з ВММ, зокрема у експертних системах. Ми аргументуємо, що поєднання експресивної сили ВММ зі структурою знань графів може забезпечити більш надійні та контекстуально точні відповіді.

Методи. Розглянуто інструментарій побудови графів знань та великих мовних моделей.

Результати. Детально розглянуто синергетичний зв’язок між великими мовними моделями LLM і графами знань KGs. Показано, що використання KG може подолати властиві обмеження LLM та підвищити їх продуктивність у задачах обробки природної мови. Встановлено вплив архітектури Transformer на різні завдання обробки природньої мови. LLMs мають великі можливості розуміння природної мови. Однак вони також мають деякі вразливі місця, такі як галюцинації, упередження, природа чорної скриньки, залежність від мови та високі вимоги до ресурсів. Ці обмеження стають особливо проблематичними в експертних системах на основі обробки природної мови, де точність і надійність інформації мають вирішальне значення.

Висновки. В результати проведеного дослідження зроблено висновок, що запропонована інтеграція LLM з KG може призводити до більш надійних, точних і справедливих рішень обробки природної мови, але створити та підтримувати такі комбіновані системи досить нелегко. У майбутніх дослідженнях планується розробити нові стратегії для кращого та надійнішого створення KG-текстів.

 Завантажити повний текст! (англійською)

Ключові слова: графи знань, великі мовні моделі, експертні системи, обробка природної мови.

1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, L. Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30. https://doi.org/10.48550/arXiv.1706.03762.
2. Chung, J.J.Y., Kamar, E., Amershi, S. (2023). Increasing Diversity While Maintaining Accuracy: Text Data Generation with Large Language Models and Human Interventions.  In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics , Vol. 1: Long Papers, pp. 575–593, Toronto, Canada. https://doi.org/18653/v1/2023.acl-long.34.
3. Zhang, W., Deng, Y., Liu, B., Pan, S. J., & Bing, L. (2023). Sentiment Analysis in the Era of Large Language Models: A Reality Check. https://doi.org/10.48550/arXiv.2305.15005.
4. Moslem, Y., Haque, R., Way, A. (2023). Adaptive machine translation with large language models. https://doi.org/10.48550/arXiv.2301.13294
5. Yao, B., Jiang, M., Yang, D., & Hu, J. (2023). Empowering LLM-based Machine Translation with Cultural Awareness. https://doi.org/10.48550/arXiv.2305.14328
6. Zhu, W., Liu, H., Dong, Q., Xu, J., Huang, S., Kong, L., Chen, J., Li, L. (2023). Multilingual machine translation with large language models: Empirical results and analysis. https://doi.org/10.48550/arXiv.2304.04675
7. Wu, Y., Jia, F., Zhang, S., Li, H., Zhu, E., Wang, Y., Lee Y.T., Peng R., Wu, Q., Wang, C. (2023). An Empirical Study on Challenging Math Problem Solving with GPT-4. https://doi.org/10.48550/arXiv.2306.01337
8. Poldrack, R. A., Lu, T., & Beguš, G. (2023). AI-assisted coding: Experiments with GPT-4.
   https://doi.org/10.48550/arXiv.2304.13187
9. Maus, N., Chao, P., Wong, E., & Gardner, J. R. (2023, August). Black box adversarial prompting for foundation models. In The Second Workshop on New Frontiers in Adversarial Machine Learning. [online]. Available at: <https://openreview.net/forum?id=aI5QPjTRbS > [Accessed: 23 Sept. 2023].
10. Zhao, W. X., Zhou, K., Li, J., Tang, T., Wang, X., Hou, Y., Min, Y., Zhang, B., Zhang, J., Dong, Z., Du, Y., Yang, Ch., Chen, Y., Chen, Zh., Jiang, J., Ren, R., Li, Y., Tang, X., Liu, Z., Liu, P., Nie, J.-Y., Wen, J.R. (2023). A survey of large language models. https://doi.org/10.48550/arXiv.2303.18223
11. Kaddour, J., Harris, J., Mozes, M., Bradley, H., Raileanu, R., McHardy, R. (2023). Challenges and applications of large language models. arXiv preprint arXiv:2307.10169. https://doi.org/10.48550/arXiv.2307.10169
12. Singhal, K., Tu, T., Gottweis, J., Sayres, R., Wulczyn, E., Hou, L., Clark, K., Pfohl, S., Cole-Lewis, H., Neal, D., Schaekermann, M., Wang, A., Amin, M., Lachgar, S., Mansfield, Ph., Prakash, S., Green, B., Dominowska, E., Arcas, B.A., Tomasev, N., Liu, Y., Semturs, Ch., Mahdavi, S.S., Barral, J., Webster, D., Corrado, G.S., Matias, Y., Azizi, Sh., Karthikesalingam, A., Natarajan, V. (2023). Towards expert-level medical question answering with large language models. https://doi.org/10.48550/arXiv.2305.09617
13. Choudhary, N., Reddy, C. K. (2023). Complex Logical Reasoning over Knowledge Graphs using Large Language Models. https://doi.org/10.48550/arXiv.2305.01157
14. Pan, S., Luo, L., Wang, Y., Chen, C., Wang, J., & Wu, X. (2023). Unifying Large Language Models and Knowledge Graphs: A Roadmap. https://doi.org/10.48550/arXiv.2306.08302
15. Hogan, A., Blomqvist, E., Cochez, M., d’Amato, C., Melo, G. D., Gutierrez, C., Gayo, J.E.L., Kirrane, S., Neumaier, S., Neumaier, A., Navigli, R., Schmelzeisen, L., Sequeda, J., Staab, S., Zimmermann, A. (2021). Knowledge graphs. ACM Computing Surveys (Csur), 54(4), pp. 1-37. https://doi.org/10.1145/3447772

  Надійшла 21.09.2023