Градиентные методы гладкой оптимизации. Общая идея градиентного спуска (подъема). Пропорциональный градиентный метод. Полношаговый градиентный метод. Метод сопряженных градиентов.

Опубликовано: 19.10.2017

Методы отыскания экстремума, использующие производные, имеют строгое математическое обоснование. Известно, что при отыскании экстремума не существует лучшего направления, чем движение по градиенту.

Градиентом дифференцируемой функции f(x) в точке х [0] называется n -мерный вектор f(x [0] ), компоненты которого являются частными производными функции f(х), вычисленными в точке х [0], т. е.

f'(x [0] ) = (дf(х [0] )/дх 1 , …, дf(х [0])/ дх n ) T .

Этот вектор перпендикулярен к плоскости, проведенной через точку х [0] , и касательной к поверхности уровня функции f(x), проходящей через точку х [0] .В каждой точке такой поверхности функция f(x) принимает одинаковое значение. Приравнивая функцию различным постоянным величинам С0, С1, ... , получим серию поверхностей, характеризующих ее топологию

Вектор-градиент направлен в сторону наискорейшего возрастания функции в данной точке. Вектор, противоположный градиенту (-f'(х [0] )) , называется антиградиентом и направлен в сторону наискорейшего убывания функции. В точке минимума градиент функции равен нулю. На свойствах градиента основаны методы первого порядка, называемые также градиентным и методами минимизации. Использование этих методов в общем случае позволяет определить точку локального минимума функции.

Очевидно, что если нет дополнительной информации, то из начальной точки х [0] разумно перейти в точку х [1], лежащую в направлении антиградиента - наискорейшего убывания функции. Выбирая в качестве направления спуска р [k ] антиградиент - f'(х [k] ) в точке х [k ], получаем итерационный процесс вида

х [k+ 1] = x [k ]- a k f'(x [k] ), а k > 0; k =0, 1, 2, ...