Инициализация структуры хранилища данных

• Инициализация областей хранилища данных:

• Сырые данные,
• Ядро,
• Витрины для анализа данных,
• Витрины для аудита данных,
• Витрины для экспорта данных.

• Автоматическое создание структуры хранения загруженных и преобразованных данных.
• Автоматическое обновление структуры хранения загруженных и преобразованных данных при изменении структуры данных в источниках.

Подключение к источникам данных и загрузка данных в хранилище

• Поддержка разных видов источников данных: базы данных, файлы данных, веб-сервисы.
• Интеграция с коннекторами для высокоскоростной загрузки данных из корпоративных систем:

• 1С,
• Адванта.

• Возможности при работе с файловыми источниками данных:

• Выбор загружаемых диапазонов данных (для загрузки данных из Excel),
• Отслеживание изменений файлов данных (загрузка только измененных файлов данных).

• Инкрементальная загрузка данных из реляционных БД (загрузка только измененных данных).

Обработка данных в хранилище, подготовка витрин данных

• Поддержка шаблонов сценариев обработки данных.
• Оптимизированный процесс обработки данных: автоматическое построение плана обработки данных с максимальным распараллеливанием выполняемых операций.

Управление качеством данных (корректировка, анализ ошибок)

• Доступные операции корректировки данных:

• Удаление дубликатов,
• Проверка пустых значений,
• Сравнение с эталонными справочниками.

• Сохранение сведений об ошибках данных.
• Подготовка витрин для анализа ошибок данных.

Экспорт данных

• Регулярная выгрузка данных из хранилища в формате csv либо xlsx.
• Сохранение файлов выгрузки на корпоративном портале, в локальном или сетевом каталоге либо рассылка по электронной почте.

Интеграция с инструментами визуализации

• Подготовленные с помощью IDP витрины могут напрямую использоваться любым профессиональным BI-инструментом визуализации данных, включая отечественные или зарубежные аналитические системы (Modus BI, Polymatica, Visiology, Power BI и т.д.), open-source решения (Superset) или собственные разработки.

Отображение структуры хранилища и этапов обработки данных

• Через веб-интерфейс доступны следующие сведения:

• Детальная информация по всем источникам данных: параметры каждого источника, названия и типы полей;
• Детальная информация по всем объектам (таблицы и представления) в разных слоях хранилища данных: параметры каждого объекта, названия и типы полей;
• Исходные и скомпилированные скрипты обработки данных для каждого объекта хранилища.

Управление и мониторинг процессов обработки данных

• Через веб-интерфейс доступны операции запуска /остановки конвейеров данных, а также следующие представления:

• Последовательность операций обработки данных с возможностью просмотра деталей и текущего статуса каждой операции;
• Подробный журнал выполнения операций с информацией об ошибках выполнения;
• График динамики скорости выполнения операций.