Вход
Регистрация

Войти c помощью аккаунта

Deductor 5.3 – что нового

С момента выхода версии 5.2 прошел немалый срок. За это время на базе Deductor было реализовано множество проектов, значительно расширился функционал платформы. Изменения коснулись практически всех модулей системы.

Веб-сервисы

Deductor 5.3 позволяет полноценно интегрироваться с веб-сервисами.

Платформа позволяет работать в режиме клиента для любого веб-сервиса, имеющего WSDL-описание. Обращения к внешнему сервису могут производиться на любом этапе обработки. Связывание и настройка XML-запросов производится без программирования, при помощи мастеров.

В состав Deductor включен новый серверный компонент – Deductor Integration Server, который является веб-сервисом. Таким образом, результат любой аналитической обработки становится доступным для всех продуктов, взаимодействующих при помощи обмена XML-запросами. WSDL-описание формируется автоматически, без программирования и использования дополнительных инструментов.

Масштабируемая архитектура

Использование Deductor Integration Server позволяет строить отказоустойчивые системы, поддерживающие автоматическую балансировку нагрузки, горячую замену аналитических серверов и повышение производительности обработки за счет включения в кластер дополнительных Deductor Analytic Server-ов.

Использование Deductor Integration Server

Обработчики

Серьезно переработан блок очистки данных. Вместо одного обработчика "Парциальная обработка" появилось несколько модулей:

  • Оценка качества данных
  • Заполнение пропусков
  • Редактирование выбросов
  • Спектральная обработка

Обработчик "Оценка качества данных" предназначен для проведения профайлинга и аудита данных с целью определения степени их пригодности для решения задач анализа по объективным критериям. Выполнив единственную операцию, пользователь может сразу увидеть "масштаб бедствия" и наметить способы улучшения качества данных.

Добавлены новые обработчики:

  • Сэмплинг. Построение репрезентативной выборки. Варианты сэмплинга: случайный, равномерный, стратифицированный, пользовательский, отбор со смещением.
  • Разбиение данных на обучающее и тестовое множество. Обеспечивает возможность строить Data Mining модели на идентичных выборках.
  • Конечные классы. Расчет оптимальных способов квантования, с удобной визуализацией, расчетом показателей качества разбиения, возможностью ручной правки конечных классов.
  • Масштабируемые алгоритмы кластеризации: CLOPE, EM.
  • Декомпозиция временных рядов. Выделение тренда, сезонной составляющей и остатка, с возможностью удобной ручной правки полученных коэффициентов.
  • Нечеткая фильтрация данных и Изменение переменных

Доработаны и значительно улучшены имеющиеся обработчики:

  • Факторный анализ: методы вращения варимакс и квартимакс;
  • Логистическая регрессия: пошаговые методы отбора, внесение поправок на априорные вероятности, взвешенная регрессия, расчет баллов скоринговых карт, взаимодействия второго уровня на основе кросс-переменных.
  • Линейная регрессия: пошаговые методы отбора переменных.
  • Калькулятор: повторное использование полей, обращение по абсолютным адресам, новые функции.
  • Групповая обработка: упрощение процесса построения сценариев

Визуализаторы

Многочисленные улучшения и новые возможности в диаграмме, OLAP-кубе и кросс-диаграмме.

Новые визуализаторы:

Существенная переработка визуализатора ROC-кривая, который переименован в Качество классификации с включением диаграмм Lift-кривых и расчетом индекса Gini.

Импорт и экспорт данных

Deductor Academic отныне, помимо csv-файлов и хранилища данных на базе Firebird, поддерживает быстрый "родной" формат Deductor Data File.

Добавлена поддержка импорта/экспорта данных из/в файлы MS Excel 2007, 2010.

Улучшена работа с платформой 1С: поддержка импорта 1С:Предприятия 8.2, а также построение запросов к 1С:Предприятие 8.0, 8.1, 8.2.

Добавлена возможность импорта данных из CRM-систем:

Переработан импорт и экспорт из XML-документов на основе хранилища XSD-схем.

Новый уровень аналитики

Deductor 5.3 поднимает возможности аналитической обработки на новый уровень.

Поддержка веб-сервисов и новых источников данных позволяет проще интегрировать систему в разнородное программное окружение. Теперь аналитика не ограничивается только внутрикорпоративными данными, любой внешний веб-сервис может быть встроен в конвейер принятия решений. Сам Deductor тоже может стать источником данных для других систем.

Новые обработчики и визуализаторы значительно упрощают процесс анализа: автоматический перебор вариантов обработки, выбор и предложение оптимальных способов очистки, удобная визуализация результатов анализа.

Включение многих новых обработчиков и изменение существующих, в значительной степени направлены на повышение уровня автоматизации работы аналитика. Они позволяют строить гибкие, универсальные, но при этом простые для понимания и поддержки сценарии обработки.

В новой версии значительное внимание уделено повышению скорости обработки больших объемов данных: добавлены новые масштабируемые Data Mining алгоритмы, оптимизирована работа существующих обработчиков. Применение Deductor Integration Server позволяет производить аналитические расчеты на кластере серверов, что значительно снижает время отклика и повышает отказоустойчивость комплекса.