Метод Левенберга-Маквардта

Des8 октября 2006Data Mining1 комментарий

Нашел в интернете формулу, которая применяется в этом методе: x(k+1) = x(k) - (J[T]*J + m*I)[-1] *J[T] *e

J - Якобиан, который содержит первые производные невязок нейросети от весов и смещений,
e - вектор невязок нейросети.
I - единичная матрица

Вообще говоря, я удивляюсь сейчас что что-то нашел, потому что материала в инете про этот метод крайне мало - ни книг ни статей, такое ощущение что специально пишут про один только градиентный спуск. Поэтому решил обратиться сюда - ответьте пожалуйста кто имел дело с этим методом...

1) Якобиан - матрица первых производных невязок сети. Т.е. сеть должа иметь прямоугольную структуру? Или как эту матрицу тогда построить.
2) Здесь x(k+1) это матрица? =) Видел похожую формулу, там был записан deltaW вместо x. По сути дела вроде справа матрица получается, значит для вычисления всех корректировок весов сети применяем один раз эту формулу, и получаем матрицу deltaW для всех весов?

Обьясните человеку кто может =)