Вопрос о пользе априорных образцов.

Иван FXS9 октября 2001Data Mining3 комментария

Предположим, что кроме реальных образцов, представляющих исследуемый объект, мы имеем некоторое априорное знание о том, как обучаемая НС (нейронная сеть) должна реагировать на некоторые "искусственные" образцы. "Искусственные" - в том смысле, что они не встречаются (или не обязательно встречаются) нам в массиве реальных данных. Полезно ли вводить такие образцы в обучающую выборку? Если полезно (например, для того, чтобы уменьшить вероятность переобучения НС?), то какова может быть их доля?

О чем - конкретно - речь. Пусть мы обучаем НС предсказывать следующее значение временного ряда, являющегося "почти" случайным блужданием (то есть мы знаем, что в этом ряде присутствуют некоторые СЛАБЫЕ закономерности). И мы понимаем, что для чисто-случайного блуждания сеть не может предсказать будущее значение ряда, поскольку это в принципе невозможно.

То есть для случайного блуждания ПРАВИЛЬНОЕ предсказание любого будущего значения ряда есть просто последнее из известных его значений. Имеет ли смысл в этой задаче разбавлять реальные образцы искусственными, нарезанными из полностью случайно блуждающего ряда (или, например, из исследуемого нами ряда, но - случайно-перемешаного)?