Разумеется, поскольку зрение по-разному воспринимает разные составляющие цвета, а модель RGB - вообще достаточно искусственная. Преобразуйте ее, например, в HSL (hue-saturation-luminosity) и поэкспериментируйте для начала с яркостной составляющей.

И.Добеши. "10 лекций по вейвлетам" - для начала. Ее вейвлеты определяются через корни тригонометрических полиномов. Куча статей корифеев этого дела в интернете. Интересные подход - "лифтинг", предлогает Wim Sweldens. Вообще, с ростом порядка вейвлетов сильно растет вычислительная сложность (и при нахождении коэффициентов фильтра, и при его применении), при этом больших преимущества не наблюдается. Лучше использовать достаточную глубину разложения и применять какие-либо эвристики при обработке полученных коэффициентов.

От размера фильтра. Например, вейвлет Добеши (которые используются в WavUtils) порядка N (т.е. имеющий N нулевых моментов) имеет 2N коэффициентов. Линейная свертка сигнала длиной n с фильтром длиной m дает n+m-1 отсчетов. Вот эти лишние m-1 (2N-1 в нашем случае) отсчетов и дают переходной процесс.

Тогда следуйте тексту. Похожие примеры можно посмотреть в Matlab-е, в пакете Wavelet Toolbox

То, что Вы описываете - система октавнополосных КИХ фильтров, очень похоже на методику дискретного вейвлет-анализа. Единственное, что удивляет - почему полезный сигнал берется из самого высокочастотного фильтра !? Очевидно, что выбросы (в т.ч. и полезной составляющей) находятся в высокочастотной части спектра, там их и следует...