Здравствуйте, постараюсь ответить на ваши вопросы. 1. Сколько вижу описание этого метода, никто и никогда не пишет как же найти градиент в точке. Вопрос применения методов численного дифференцирования функций, в частности, для нахождения градиента функции в точке, — вопрос обширный и выходящий за рамки описания «метода...
Спасибо за комментарии. 1. Совершенно верно. Ковариационная матрица строится для каждого класса. Внесли соответствующие правки, а также небольшие исправления в псевдокод. 2. Это может быть связано с тем, что в некоторых случаях ковариационная матрица оказывается вырожденной. Как правило, регуляризация позволяет справиться с данной проблемой.