Создание единого корпоративного хранилища данных, BI

КЛИЕНТ

Заказчик — финансовая организация, производящая разнообразные виды операций с деньгами и оказывающая финансовые услуги юридическим и физическим лицам.

ВЫЗОВ

Клиент столкнулся с проблемой наличия нескольких учетных и транзакционных систем, различных по назначению и целям, разработанных разными компаниями-разработчиками. В своей работе в рамках одного процесса клиент мог использовать сразу несколько систем, которые связаны друг с другом технологически одним информационным потоком. В результате сведения об одном и том же объекте хранятся раздельно в нескольких системах.

Такое положение дел не давало возможности клиенту строить аналитическую отчетность по результатам своей деятельности, эффективности использования ресурсов и т.д. Наличие требований единого регулятора вынуждало клиента собирать информацию из разных источников для подготовки регуляторной отчетности. Это сказывалось негативным образом на скорости подготовки данных, повышало риск возникновения ошибок.

Таким образом, целью проекта стало создание единого корпоративного хранилища данных, которое способствует повышению скорости и качества построения аналитической и управленческой отчетности, позволит сотрудникам клиента быстро и эффективно использовать информацию для анализа в процессе своей деятельности.

РЕШЕНИЕ

На этапе предпроектного исследования совместно с заказчиком была проведена инвентаризация программно-технических комплексов, используемых для подготовки отчетности, составлен укрупненный каталог отчетности и показателей, наиболее важных для клиента. По результатам исследования совместно с заказчиком выбрана одна предметная область, которая подлежала более детальному описанию и реализации: выбраны конкретные источники информации (сами ПТК, таблицы в них), определены списки показателей, подлежащих реализации, разработаны паспорта объектов с алгоритмами расчетов, определены конечные виды отчетных форм. Далее была составлена схема данных, которая в процессе реализации проекта должна была наполняться непосредственно самими данными. С учетом технических характеристик источников данных был выбран ETL инструмент для извлечения данных из источников, промежуточных преобразований и загрузки в базу приемника.

В частности, в качестве СУБД для приемника была выбрана СУБД Oracle (по аналогии с СУБД источника), а реализация ETL процедур происходила на PL/SQL с использованием объектов и возможностей СУБД Oracle.

Архитектурно система состоит из нескольких уровней:

  • слой первичных данных,
  • слой изменения данных,
  • промежуточное хранилище данных,
  • бизнес-слой данных, витрины данных.

Информационные потоки между слоями реализованы, как написано выше, на PL/SQL с использованием объектов Oracle.

Для удобства использования данных сотрудниками компании клиента выделено средство визуализации, которое подключено к бизнес-слою данных, которое позволяет визуализировать данные, а также выполнять их экспорт в текстовые файлы.

В результате такой подход был применен для реализации наполнения данными корпоративного хранилища данных по другим предметным областям, в рамках которых осуществляет свою деятельность клиент. При этом к источникам данных добавились еще текстовые файлы и документы MS Office, к ETL инструментам добавились SAP DataIntegrator и Informatica (IDR и IPC).

ПОЛУЧЕННЫЕ РЕЗУЛЬТАТЫ

По итогам реализации проекта пользователи и сотрудники компании клиента получили возможность извлекать нужные данные с использованием единой точки входа и единой базы данных корпоративного хранилища. Появились инструменты для оперативной выборки данных, для агрегации, группировки и обработки нужных сведений. Сократилось время подготовки управленческой и пруденциальной отчетности. К началу рабочего дня у топ-менеджмента компании появилась возможность анализировать итоги работы компании за предыдущий день.

Единое корпоративное хранилище данных позволило задействовать механизмы для анализа данных, выявления скрытых закономерностей и развития деятельности в области data science и machine learning.

Технически у компании заказчика появилась возможность повысить скорость интеграции различных систем путем включения базы хранилища в информационные потоки обмена между несколькими системами.

ТЕХНОЛОГИИ И ИНСТРУМЕНТЫ

СУБД Oracle 11.2

ETL – SAP DataIntegrator, Oracle (SQL, PL/SQL), Informatica

Визуализация – SAP Business Objects

остались вопросы?
похожие кейсы
Перевод крупного банка Беларуси с монолитной системы Интернет-Банкинга на распределенную систему.
Заказчик – один из ведущих банков Беларуси
Подробнее
Создание единого корпоративного хранилища данных, BI
Клиент столкнулся с проблемой наличия нескольких учетных и транзакционных систем, различных по назначению и целям, разработанных разными компаниями-разработчиками.
Подробнее
Сервис для совершения быстрых переводов между картами, запроса денег и разделения счета за услугу
Приложение для совершения быстрых переводов между картами по РБ и в другие страны (согласно публичной оферте), для запроса денег и разделения счета между субъектами
Подробнее
Разработка, тестирование и поддержка программного обеспечения