Control Systems and Computers

https://doi.org/10.15407/csc.2024.02.003

Smirnov A.O. Dynamic map management for Gaussian Splatting SLAM. Control Systems and Computers. 2024. № 2. C. 3-9. 

УДК 004.932

А.О. Смирнов, аспірант, Міжнародний науково–навчальний центр інформаційних технологій і систем НАН та МОН України, ORCID: https://orcid.org/0009-0002-6509-4135, 03187, м. Київ, просп. Академіка Глушкова, 40, Україна, tonysmn97@gmail.com

ДИНАМІЧНА ПОБУДОВА МАПИ ДЛЯ АЛГОРИТМУ SLAM НА ОСНОВІ ГАУСИАН

Вступ. У задачах комп’ютерного зору та робототехніки часто виникає необхідність знаходження положення агента в середовищі. Проте, зазвичай мапа навколишнього середовища наперед не є відомою. Тому виникає необхідність одночасної побудови мапи та локалізації агента в ній, а для вирішення такої задачі застосовують алгоритм Одночасної Локалізації та Картографування (Simultaneous Localization and Mapping)

У випадку, якщо мапу необхідно використовувати не лише для задач локалізації, така мапа має бути високоякісною та чітко представляти навколишнє середовище.  Нещодавні методи для реконструкції навколишнього середовища на основі диференційованого об’ємного рендерингу, такі як Нейронні Поля Випромінювання (Neural Radiance Fields) та Накладання Гаусиан (Gaussian Splatting) дозволяють отримувати фотореалістичні результати. Проте, обмеженням таких методів є те, що вони вимагають наперед відомі дані про положення камер та відомі набори зображень, які використовуватимуться для реконструкції.

Диференційовані алгоритми об’ємного рендерингу дозволяють сформувати задачу, за якої положення камер не є необхідною умовою для роботи алгоритму та можуть бути обчислені одночасно з побудовою мапи або в процесі надходження нових зображень з камери на сонові попередніх спостережень.

Побудова та вибір представлення мапи є ключовим етапом таких алгоритмів.

Мета. Метою роботи є представлення алгоритму побудови динамічної мапи та її подальше використання алгоритмом Одночасної Локалізації та Картографування (SLAM) та методу Накладання Гаусиан для представлення навколишнього середовища.

Можливість ефективно додавати нові Ключові кадри (Keyframes), прибирати надлишкові та конструювати графи спів-видимості (co-visibility) має прямий вплив на швидкість роботи на точність SLAM алгоритмів.

Методи. Для розв’язання задачі було використано алгоритми Накладання Гаусиан та Градієнтного спуску.

Для реалізації роботи алгоритму було використано мову програмування Julia яка має широку підтримку графічних процесорів GPU та дозволяє їх агностичне програмування що значно спрощує саму реалізацію.

Результати. Експериментальна реалізація даного алгоритму показала ефективність даного підходу. Метод Накладання Гаусиан дозволяє проводити високоякісну реконструкцію навколишнього середовища з використанням диференційованої растеризації та підтримує роботу в режимі реального часу, що робить його чудовим кандидатом для побудови мапи в алгоритмах SLAM.

Можливість наскрізної оптимізації на основі методу градієнтного спуску значно спрощує оптимізацію побудованої мапи, оцінку положення камери та роботу з Ключовими кадрами. Використання графічних обчислювальних процесорів GPU дозволяє роботу в режимі реального часу, що сприяє її практичному застосуванню.

Висновки. Експерименти показали доцільність запропонованого алгоритму динамічної побудови мапи навколишнього середовища з використання методу Накладання Гаусиан. Подальша робота алгоритму може бути покращена шляхом знаходження циклів в траекторії камери та подальшій оптимізації реалізації алгоритму для зменшення обчислювальних вимог.

Завантажити повний текст! (англійською)

Ключові слова: поля випромінювання, наукові обчислення, диференційований рендеринг, локалізація, реконструкція, комп’ютерний зір.

1. Campos, C., Elvira, R., Rodríguez, J.J.G., Montiel, J.M., & Tardós, J.D. (2021). “Orb-slam3: An accurate open-source library for visual, visual-inertial, and multimap slam”. IEEE Transactions on Robotics, 37 (6), pp. 1874⎯1890. DOI: https://doi.org/10.1109/TRO.2021.3075644
2. Chen, Y., Chen, Y., & Wang, G. (2019). “Bundle adjustment revisited”. arXiv preprint arXiv:1912.03858.
3. Kerbl, B., Kopanas, G., Leimkühler, T., & Drettakis, G. (2023). “3d gaussian splatting for real-time radiance field rendering”. ACM Transactions on Graphics, 42 (4), pp. 1⎯14. arXiv: 2308.04079.
   https://doi.org/10.1145/3592433
4. Kingma, D.P., Ba, J. (2017). “Adam: A Method for Stochastic Optimization”. https://doi.org/10.48550/arXiv.1412.6980.
5. Lim, K.L., & Braunl, T. (2020). “A Review of Visual Odometry Methods and Its Applications for Autonomous Driving”. arXiv 2020. arXiv preprint arXiv:2009.09193.
6. Mildenhall, B., Srinivasan, P.P., Tancik, M., Barron, J.T., Ramamoorthi, R., & Ng, R. (2021). “Nerf: Representing scenes as neural radiance fields for view synthesis”. Communications of the ACM, 65 (1), pp. 99⎯106. arXiv: 2003.08934. https://doi.org/10.1145/3503250
7. Muller, T., Evans, A., Schied, C., & Keller, A. (2022). “Instant neural graphics primitives with a multiresolution hash encoding”. ACM transactions on graphics (TOG), 41 (4), pp. 1⎯15. DOI: 10.1145/3528223.3530127.
   https://doi.org/10.1145/3528223.3530127
8. Mur-Artal, R., Montiel, J. M.M., & Tardos, J.D. (2015). “ORB-SLAM: a versatile and accurate monocular SLAM system”. IEEE transactions on robotics, 31 (5), pp. 1147⎯1163. DOI:  
   https://doi.org/10.1109/TRO.2015.2463671
9. Ren, K., Jiang, L., Lu, T., Yu, M., Xu, L., Ni, Z., & Dai, B. (2024). “Octree-gs: Towards consistent real-time rendering with lod-structured 3d gaussians”. arXiv preprint arXiv:2403.17898.
10. Shuai, Q., Guo, H., Xu, Zh., Lin, H., Peng, S., Bao, H., Zhou, X. (2024). “Real-Time View Synthesis for Large Scenes with Millions of Square Meters”. [online]. Available at: https://zju3dv.github.io/LoG_webpage/ [Accessed 01 March. 2024].
11. Straub, J., Whelan, T., Ma, L., Chen, Y., Wijmans, E., Green, S., … & Newcombe, R. (2019). “The Replica dataset: A digital replica of indoor spaces”. arXiv preprint arXiv:1906.05797.
12. Sturm, J., Engelhard, N., Endres, F., Burgard, W., & Cremers, D. (2012). “A benchmark for the evaluation of RGB-D SLAM systems”. In 2012 IEEE/RSJ international conference on intelligent robots and systems, pp. 573-580.
    https://doi.org/10.1109/IROS.2012.6385773

Надійшла 15.03.2024