Квазі-ньютоновський комбінований метод для розв’язання задач безумовної оптимізації в Machine Learning

Abstract

Представлено метод квазі-ньютоновського типу для розв’язання погано обумовлених або вироджених задач безумовної оптимізації, який є комбінацією двох методів: квазі-ньютоновського методу та методу спряжених градієнтів. На кожній ітерації весь простір представляється як ортогональна сума двох підпросторів на основі спектрального розкладання наближення гессіану по формулі BFGS та параметра “регуляризації” чисельного методу. На одному ортогональному підпросторі застосовується квазіньютоновський метод, а на іншому – метод спряжених градієнтів. На кожному ортогональному підпросторі застосовується окремий одномірний пошук по відповідному напрямку. Для зменшення трудомісткості процесу спектрального розкладання поточної матриці на кожній ітерації методу представлено алгоритм його перерахунку через попередній розклад. Ефективність представленого методу підтверджується чисельними експериментами, які були проведені на загальноприйнятих тестових функціях для задач безумовної оптимізації в порівнянні з процедурами оптимізації відомих математичних пакетів R, Python, Scilab, MATLAB. При чисельній реалізації методу в середовищі Python застосовувалось обчислення градієнта цільової функції за допомогою пакета TensorFlow.