Re(2): Что такое нормализация Mean/Variance?

Путин29 мая 2001Data Mining4 комментария

Меня тоже давно волновал этот вопрос. Скорей всего здесь используется вариант Б. Я и сам делал по нормализацию таким образом. Что касается независимости в Вашей трактовке, то могу лишь сказать про закон больших чисел и предположение о нормальности выборки. Реально, если выборка велика, то влияние не так уж велико.
Мой постер, относящийся к предыдущему вопросу опять куда-то запропастился, тем лучше - этот не будет так эмоционален. Хотелось только попросить не цепляться к словам, иначе конструктивного обсуждения не получится. По пунктам.

1) Слово "процесс" употреблено в контексте применения нейросетевого подхода к прогнозированию временных рядов и не более. Ваше определение вряд ли следует считать правильным, и вообще мне не доводилось встречать где-либо достаточно общего и четкого формального определения нейросети - вероятно, слишком широк класс объектов. Потому хотел бы считать этот вопрос закрытым.

2) Вовсе нет. Например, сети Кохонена обучаются буз учителя. Тем не менее это простейшая задача оптимизации: осуществляется поиск центральных векторов (координаты этих векторов - веса нейронов) для некоторой группы. Входные векторы нормализуются, при проходе через сеть фактически вычисляется скалярное произведение вектора с центроидами групп, что для нормированных векторов есть косинус угла (ессно в предположении, что центроид имеет единичную длину), затем сумма этих косинусов максимизируется, насколько я помню тем же методом градиентного спуска. В итоге получаем класс векторов близких по направлению, не более того.

3,4) Back propagation of error - это верно. Но что мешает обобщить классический метод? Первым делом откажемся от функции ошибки и скажем функция качества обучения сети. Теперь вспомним основной посыл Вашего постера, как я его понял, и используем в качестве оценки качества обучения сети вместо суммы квадратов отклонений выходов от образцов предложенный мною функционал. Дифференцируется он идентично классическому, так что основные формулы практически не претерпят изменений, а градиент напомню это направление скорейшего возрастания функции, то есть коррекцию мы будем осуществлять в направлении градиента, а не в обратном. Ну а что до названия, предлагаю: ОБРАТНОЕ РАСПРОСТРАНЕНИЕ КАЧЕСТВА :) И еще: сеть не решает задачи максимизации - это модель, а задачей максимизации здесь является подбор весовых коэффициентов таких, что значение целевой функции при них является максимальным.

5) "бессмысленность максимизации величины конечного капитала" , как я уже сказал, состоит в том, что мы рискуем получить максимум профит систем, хотя это совсем необязательно. Также не считаю этот вопрос критическим и нуждающимся в обсуждении.