Вход
Регистрация

Статьи

Предобработка и очистка данных перед загрузкой в хранилище

При создании хранилищ данных очень мало внимания уделяется очистке поступающей в него информации. Видимо считается, что чем больше размер хранилища данных, тем лучше. Это порочная практика и лучший способ превратить хранилище данных в свалку. Механизмы фильтрации должны стать такими же неотъемлемым атрибутами хранилищ данных как OLAP. Иначе в горе собранного мусора будет практически невозможно найти зерно полезного.

Хранилища данных и задачи прогнозирования

При решении практических задач, в частности, задачи прогнозирования, вы обязательно столкнетесь с проблемой подготовки данных. Не надо питать никаких иллюзий, что если не помог один способ прогнозирования, то поможет другой, более изощренный. Дело не в методах. Если в исходных данных не хватает параметров, если информация сильно искажена, то никакой метод не поможет. Но выход есть...