Вычисление ошибки нейронной сети производиться по нормализованным данным? Или обязательно привести данные к обычному виду, после чего вычислять ошибку?
По нормализованным. Если хочется показать пользователю, как идет процесс обучения (например, показать среднюю на выборке ошибку), то дополнительно и только для этих целей приводить данные к обычному виду.