Об общей концепции универсальной системы хранения и обработки данных практико-ориентированной направленности

Abstract

Развитие подходов и концепции к построению систем, связанных с накоплением данных в хранилище и последующим использованием алгоритмов Data Mining является особо перспективным в силу того, что белорусский сектор соответствующих ИТ-разработок находится еще на стадии формирования. В статье рассматривается общая концепции построения системы накопления и анализа данных практико-ориентированной направленности, основанная на технологии складирования данных. Основным аспектом в концепции проектирования универсальной системы на уровне хранения и работы с данными является подход с использованием расширяемого хранилища данных на основе универсальной платформы хранимых данных, который предоставляет доступ для хранения и последующего анализа данных различной структуры и различных предметных областей, имеющих точки (узлы) стыковки и расширенный функционал с возможность выбора структуры для хранения данных и последующей внутрисистемной интеграцией. Приводятся общая архитектура универсальной системы хранения и обработки данных указанной направленности, выделяются структурные составляющие. Основными компонентами архитектура универсальной системы для хранения и обработки данных практико-ориентированной направленности являются: оперативные источники данных; ETL-процесс; хранилище данных; подсистема анализа; пользователи. Важное место в структуре системы занимает аналитическая обработка данных, поиск информации, хранение документов, а также предоставление программного интерфейса для доступа к функциональности системы извне. Универсальная система на основе предлагаемой концепции позволит собирать достаточно обширные сведения по различным предметным областям, а также получать необходимые аналитические сводки, проводить обработку данных и применять соответствующие методы и алгоритмы Data Mining.