Вход
Регистрация

Войти c помощью аккаунта

Loginom: высокая производительность

Скачать презентацию в формате PDF (992 KB)

Одной из главных задач при создании новой версии аналитической платформы было достижение высокой производительности.

Быстрый доступ к данным, эффективная утилизация "железа", быстрые алгоритмы обеспечивают высокую скорость работы с большими объемами данных.

Используется совершенно новый внутренний формат файлов LDF:

  • Быстрое чтение;
  • Быстрая запись;
  • Экономия места на диске;
  • Хранение метаданных.

Эффективно утилизируются ресурсы:

  • Автоматическое распараллеливание выполнения сценария;
  • Линейно растет скорость при увеличении числа ядер;
  • Возможность ручного управления порядком выполнения;
  • Цикл с переобучением моделей для каждой группы объектов;
  • Активно используется оперативная память.

Оптимизация алгоритмов:

  • Применение самых быстрых библиотек;
  • Хранение данных в специальных структурах с учетом особенностей каждого алгоритма;
  • Обработка данных окнами;
  • Реализация алгоритмов для оптимальной работы в многоядерных системах.

Работа в Loginom комфортна даже при выполнении долгих операций с сервером, интерфейс не блокируется.

Субботин Алексей
ведущий разработчик Loginom

Место выступления: 
Москва
Длительность: 
41 минута
Дата выступления: 
2 ноября 2017
Подписка на материалы сайта