Градиентный спуск и покоординатный метод
Градиентный спуск — метод нахождения локального минимума (максимума) функции с помощью движения вдоль градиента. Для минимизации функции в направлении градиента используются методы одномерной оптимизации, например, метод золотого сечения. Также можно искать не наилучшую точку в направлении градиента, а какую-либо лучше текущей.
Сходимость метода градиентного спуска зависит от отношения максимального и минимального собственных чисел матрицы Гессе в окрестности минимума (максимума). Чем больше это отношение, тем хуже сходимость метода.
Cкриншот работы программы
INCLUDEPICTURE "http://easylab.net.ua/images/stories/labs/console/amo/amo_droblenie_i_pokoordinatniy.jpg" \* MERGEFORMATINET
Улучшает метод градиентного спуска за счёт того, что на очередной итерации спуск осуществляется постепенно вдоль каждой из координат, однако теперь необходимо вычислять новые n раз за один шаг.