Control Systems and Computers

https://doi.org/10.15407/csc.2023.03.005

Krygin V.M. Using Gibbs Sampling to Estimate the Solution of the Unpaired Learning Problem. Control Systems and Computers. 2023. № 3. С. 5-14

УДК 004.932

В.М. Кригін, м.н.с., Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України, 03187, м. Київ, просп. Академіка Глушкова, 40, Україна. ORCID: https://orcid.org/0000-0002-9000-1685, valeriy.krygin@gmail.com

ВИКОРИСТАННЯ СЕМПЛЮВАННЯ ЗА ҐІББЗОМ ДЛЯ ОЦІНКИ РОЗВ’ЯЗКУ ЗАДАЧІ НЕСПАРЕНОГО НАВЧАННЯ

Вступ. У задачах машинного навчання виникають ситуації, коли складно або неможливо отримати навчальну вибірку, що складається з пар спостережень і відповідних їм прихованих станів досліджуваних об’єктів. Прикладом такої задачі є задача переносу стилю одного малюнку на інший: ми можемо зібрати приклади малюнків Івана Айвазовського та Сальвадора Далі, проте складно перемалювати картини одного з цих митців у стилі іншого. У таких випадках є можливість поставити задачу неспареного навчання, вхідними даними якої слугують два набори: набір спостережень і набір прихованих станів, причому спостереження можуть не відповідати станам.

Мета. Метою роботи є побудова та експериментальна перевірка алгоритму неспареного навчання, особливістю якого є використання семплювання за Ґіббзом. Такий підхід надає широкі можливості для паралельних обчислень, що дає змогу здійснювати експериментальну перевірку за допомогою технології CUDA, яка уможливлює виконання паралельних обчислень на графічних процесорах.

Результати. Експерименти візуально показали доцільність запропонованого підходу та надали чисельні показники, які вказують на коректність використання наведених методів мінімізації математичних очікувань певних штрафів, таких як сума квадратів відхилень і кількість невірно розпізнаних пікселів. Також в результаті неспареного навчання було виявлено, що для наведених даних функція вагів, яка відповідає інтенсивності шуму на зображенні, досягає оптимуму не в нулі, а в одиниці.

Методи. Для розв’язання задачі було використано семплювання за Ґіббзом і стохастичний градієнтний метод. Для експериментальної перевірки було використано технологію CUDA паралельних обчислень на графічних процесорах.

Висновки. Експерименти показали доцільність використання семплювання за Ґіббзом у задачах неспареного навчання параметрів графових моделей. Поточна реалізація потребує багато часу для оброблення зображення, але має значний потенціал для паралельних обчислень на CPU, GPU, FPGA або іншому пристрої чи мережі пристроїв, що дозволить значно прискорити її з розвитком обчислювальної техніки.

Завантажити повний текст! (англійською)

Ключові слова: неспарене навчання, семплювання за Ґіббзом, Монте-Карло ланцюг Маркова, стереобачення

1. Resales, R., Achan, K., Frey, B., 2003. “Unsupervised image translation”. Proc. of Ninth IEEE International Conference of Computer Vision, 2003. Vol. 4. pp. 472–478. DOI: 10.1109/ICCV.2003.1238384.
2. Zhu, J.-Y. et al., 2017. “Unpaired image-to-image translation using cycle-consistent adversarial networks”. Proceedings of the IEEE international conference on computer vision, pp. 2223–2232.
3. Geman, S., Geman, D, 1984. “Stochastic relaxation, gibbs distributions, and the bayesian restoration of images”. IEEE Transactions on pattern analysis and machine intelligence, 6, pp. 721–741.
4. Kindermann, R., Snell, L., 1980. “Markov random fields and their applications”. American Mathematical Society, Vol. 1, pp. 4-7. DOI: 10.1090/conm/001.
5. Lafferty, J.D., McCallum, A., Pereira, F.C.N., 2001. “Conditional random fields: Probabilistic models for segmenting and labeling sequence data”. Proceedings of the eighteenth international conference on machine learning. San Francisco, CA, USA: Morgan Kaufmann Publishers Inc., pp. 282–289.
6. Descombes, X. et al., 1999. “Estimation of markov random field prior parameters using markov chain monte carlo maximum likelihood”. IEEE Transactions on Image Processing, Vol. 8, n 7, pp. 954–963.
7. Shlezinger, M.I., 1968. “The interaction of learning and self-organization in pattern recognition”. Cybernetics. Vol. 4, N 2, pp. 66–71.
8. Шлезингер М.И., Главач В. Десять лекций по статистическому и структурному распознаванию. Киев: Наукова думка, 2004.
9. Robbins, H., Monro, S., 1951. “A Stochastic Approximation Method”. The Annals of Mathematical Statistics. Institute of Mathematical Statistics, Vol. 22, N 3, pp. 400–407.
10. Szeliski, R, 2022. Computer vision – algorithms and applications. 2nd ed. 2022 Edition. Springer. 1232 p. ISBN 978-3030343712.
11. Duda, R.O., Hart, P.E., 1973. “Pattern classification and scene analysis”. Wiley, pp. I–XVII, 1–482.
12. Schlesinger, D., 2003. “Gibbs probability distributions for stereo reconstruction”. Pattern recognition / ed. Michaelis B., Krell G. Berlin, Heidelberg: Springer Berlin Heidelberg, pp. 394–401.
13. Nickolls, J., Buck, I., Garland, M., Skadron, K., 2008. Scalable parallel programming with CUDA: Is cuda the parallel programming model that application developers have been waiting for? Queue, 6(2), pp. 40-53. DOI: 10.1145/1365490.1365500.
14. Scharstein, D., Szeliski, R., 2002. “A taxonomy and evaluation of dense two-frame stereo correspondence algorithms”. International Journal of Computer Vision. Kluwer Academic Publishers, Vol. 47, N 1-3, pp. 7–42.
15. Boykov, Y., Kolmogorov, V., 2004. “An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision”. IEEE Trans. Pattern Anal. Mach. Intell. USA: IEEE Computer Society, Vol. 26, N 9, pp. 1124–1137.
16. Kolmogorov, V., 2005. “Convergent tree-reweighted message passing for energy minimization”. International workshop on artificial intelligence and statistics PMLR, pp. 182–189.
17. Шлезингер М.И., Антонюк К.В. Анализ алгоритмов диффузии для решения оптимизационных задач структурного распознавания. Кибернетика и системный анализ. 2011. Т. 47, № 2. С. 3–20.

 Надійшла 28.07.2023