Управление
метаданными
метаданными
Конспект DAMA DMBOK2 на русском языке
Глава 12
Введение в тему
К метаданным можно отнести очень широкий спектр сведений, включая информацию о технологических и бизнес-процессах, правила обработки данных, ограничения, определения логической и физической структуры данных и т. д.
Метаданные могут описывать не только данные как таковые (базы данных, элементы данных, модели данных и т. д.), но и представляемые ими объекты (бизнес-процессы, системы и приложения, элементы ИТ-инфраструктуры и т. п.), а также связи между данными и объектами.
Метаданные могут описывать не только данные как таковые (базы данных, элементы данных, модели данных и т. д.), но и представляемые ими объекты (бизнес-процессы, системы и приложения, элементы ИТ-инфраструктуры и т. п.), а также связи между данными и объектами.
Без метаданных организация не сможет не только управлять данными как ценным ресурсом или активом, но и просто хоть как-то ими управлять.
Без надежных метаданных организация не имеет представления ни о том, какими данными она располагает; ни о том, что эти данные отражают, откуда берутся, как перемещаются внутри систем и между системами; ни о том, кто имеет доступ к данным; ни об их качестве и средствах контроля качества.
Цели управления метаданными
Обеспечение единого понимания бизнес-терминов
Сбор и интеграция метаданных из различных источников
Стандартизация доступа к метаданным
Обеспечение качества и безопасности метаданных
Ключевые принципы управления
Приверженность со стороны организации
Высшее руководство организации должно понимать необходимость адекватного управления метаданными, рассматривать ее как часть масштабной стратегии
Стратегия
Стратегия работы с метаданными должна описывать общеорганизационный план создания, сопровождения, интеграции и использования метаданных. На основе стратегии вырабатываются требования, которые будут предъявляться к создаваемым ИТ-решениям
Корпоративная перспектива
Осуществление управления метаданными в масштабах организации позволяет гарантировать возможность расширений и дополнений в будущем, но внедряться оно в любом случае должно поэтапно
Социализация
Донесение до всеобщего понимания ценности метаданных послужит стимулом к их использованию бизнес-подразделениями
Качество и доступность
Важно понимать, что метаданные часто возникают в качестве побочного продукта различных процессов
Аудит и совершенствование
Установите стандарты метаданных и строго контролируйте их соблюдение. Создайте механизмы обратной связи и обрабатывайте поступающие от потребителей сигналы об ошибочных или устаревших метаданных
Входные материалы для процесса
бизнес-требования
бизнес-метаданные, технические метаданные, метаданные процессов
проблемные вопросы в области метаданных
операционные метаданные
архитектура данных
метаданные в области руководства данными
Результаты процесса
стратегия работы с метаданными и стандарты метаданных
унифицированные
метаданные
метаданные
архитектура метаданных и метамодель
хранилища метаданных
анализ влияния и анализ зависимостей
процесс контроля метаданных
OUR COMPANY
Bring Your Ideas to Life
Everything that you dreamed of can be brought to life exactly at the moment when you decide to win.
Основные термины
Бизнес-аналитика
У этого термина есть два значения.
Первое: вид анализа данных, который нацелен на изучение деятельности организации и выявление потенциальных возможностей для развития бизнеса.
Второе: комплекс технологий, используемых для такого анализа данных.
Первое: вид анализа данных, который нацелен на изучение деятельности организации и выявление потенциальных возможностей для развития бизнеса.
Второе: комплекс технологий, используемых для такого анализа данных.
Являясь логическим развитием инструментов поддержки принятия решений, инструменты BI предоставляют возможности по:
- формированию и обработке запросов (querying),
- извлечению информации (data mining),
- проведению статистического анализа (statistical analysis),
- формированию отчетности (reporting),
- сценарному моделированию (scenario modeling),
- визуализации данных (data visualization),
- а также созданию и применению информационных панелей (dashboarding).
Хранилище данных (ХД)
Включает два ключевых компонента — интегрированную базу данных, необходимых для принятия решений, и связанное с ней программное обеспечение, используемое для сбора, очистки, преобразования и хранения данных. В самом широком контексте под ХД может пониматься весь комплекс хранилищ, баз и витрин данных, используемых в организации в целях BI.
Корпоративным хранилищем данных (КХД) называют централизованное ХД, предназначенное для информационного обеспечения BI-потребностей всей организации.
Корпоративным хранилищем данных (КХД) называют централизованное ХД, предназначенное для информационного обеспечения BI-потребностей всей организации.
Ведение хранилища данных
Процесс включает осуществление действий по извлечению, очистке, преобразованию, контролю и загрузке — для обеспечения поддержки данных в хранилище в надлежащем состоянии. В процессе ведения ХД первоочередное внимание уделяется обеспечению целостности и преемственности данных в историческом и бизнес-контекстах за счет применения к операционным данным адекватных бизнес-правил и реляционных связей.
Корпоративная информационная фабрика
Этот тип организации хранилища данных как предметно- ориентированный, интегрированный, поддерживающий привязку ко времени, неизменяющийся набор данных, предназначенный для поддержки принятия решений. Такое хранилище строится на основе нормализованной реляционной модели данных.
Многомерное хранилище данных
Этот тип организации хранилища данных как копии совокупности транзакционных данных, специфическим образом структурированных для обработки запросов и анализа. Подход подразумевает использование многомерной модели данных для ХД.
Важнейшим отличием многомерных схем хранения данных от традиционных реляционных является отказ от нормализации.
Многомерные модели, часто называемые также звездообразными схемами (Star Schema), представляют собой подборки таблиц фактов, под которыми понимаются числовые данные или характеристики бизнес-процессов (например, объем продаж) в проекции на измерения.
Важнейшим отличием многомерных схем хранения данных от традиционных реляционных является отказ от нормализации.
Многомерные модели, часто называемые также звездообразными схемами (Star Schema), представляют собой подборки таблиц фактов, под которыми понимаются числовые данные или характеристики бизнес-процессов (например, объем продаж) в проекции на измерения.
Интеграция данных
Интеграция данных включает в себя алгоритмы извлечения, преобразования и загрузки (ETL), виртуализацию данных и другие технические средства унификации, формализации и доставки данных по месту назначения.
Витрины данных
Разновидность систем хранения данных, используемых для выдачи или представления особым образом отфильтрованных, отсортированных и упорядоченных данных из ХД пользователям или приложениям.
Пакетная регистрация изменений данных
Хранилища данных часто предусматривают загрузку в них накопившихся изменений раз в сутки (обычно, ночью, когда нагрузка минимальна) посредством пакетной обработки вводных данных из различных операционных систем. В процессе загрузки могут выявляться и учитываться различные изменения, а используемые для этого технические процедуры регистрации изменений зависят от характера систем-источников.
Режим реального времени (режим, близкий к реальному времени)
Подход к загрузке данных в ХД из систем-источников. Две ключевые концепции, которые должны быть реализованы для обеспечения обмена данными в режиме, близком к реальному времени, — вычленение и регистрация в центральном хранилище данных о каждом дискретном изменении и отказ от пакетной обработки данных в пользу альтернативных решений, обеспечивающих незамедлительную запись транзакционных данных из оперативной памяти в хранилище.
Проводимые работы
1
Выработка понимания требований к ХД
При сборе требований к проектам ХД/BI начать лучше с определения целей и стратегии бизнеса. Выявите и очертите области деятельности, затем выявите ключевых людей в каждой области и детально обсудите с ними, чем именно они занимаются и почему. Важно сформулировать их ожидания и какие потребности они хотят закрывать с помощью данных.
При сборе требований к проектам ХД/BI начать лучше с определения целей и стратегии бизнеса. Выявите и очертите области деятельности, затем выявите ключевых людей в каждой области и детально обсудите с ними, чем именно они занимаются и почему. Важно сформулировать их ожидания и какие потребности они хотят закрывать с помощью данных.
2
Определение и сопровождение архитектуры ХД/BI
→ Определение технической архитектуры ХД/BI
Идеальная архитектура ХД/BI должна изначально предусматривать механизм обратной связи, обеспечивающий поступление в ХД транзакционных и операционных отчетов должного уровня детализации. Естественным продолжением этого процесса является обеспечение полной согласованности архитектуры ХД/BI с корпоративной моделью данных (или, как минимум, подтверждение отсутствия явных противоречий между ними).
→ Определение процессов управления ХД/BI
Должно осуществляться скоординированным образом и включать полный комплекс необходимых регламентных работ и регулярный выпуск обновлений, а также новых версий.
→ Определение технической архитектуры ХД/BI
Идеальная архитектура ХД/BI должна изначально предусматривать механизм обратной связи, обеспечивающий поступление в ХД транзакционных и операционных отчетов должного уровня детализации. Естественным продолжением этого процесса является обеспечение полной согласованности архитектуры ХД/BI с корпоративной моделью данных (или, как минимум, подтверждение отсутствия явных противоречий между ними).
→ Определение процессов управления ХД/BI
Должно осуществляться скоординированным образом и включать полный комплекс необходимых регламентных работ и регулярный выпуск обновлений, а также новых версий.
3
Проектирование и разработка хранилища и витрин данных
Обычно работы по проектированию ХД/BI ведутся параллельно по трем направлениям.
→ Данные: определяются информационно-аналитические потребности бизнеса и источники данных, позволяющие их удовлетворить.
→ Технологии: проектирование служебных систем и процессов, обеспечивающих функцио- нирование хранилища и движение потоков данных.
→ Бизнес-аналитический инструментарий: разработка пакета приложений для потребителей данных.
Обычно работы по проектированию ХД/BI ведутся параллельно по трем направлениям.
→ Данные: определяются информационно-аналитические потребности бизнеса и источники данных, позволяющие их удовлетворить.
→ Технологии: проектирование служебных систем и процессов, обеспечивающих функцио- нирование хранилища и движение потоков данных.
→ Бизнес-аналитический инструментарий: разработка пакета приложений для потребителей данных.
4
Заполнение хранилища данных
Самая трудоемкая часть работы по созданию ХД/BI — подготовка к приему, обработке и сохранению данных, поступающих из различных источников, в рабочем режиме. Архитектура и модель данных определяют детальное содержание ХД и являются ключевым приоритетом при проектировании системной архитектуры ХД/BI.
Рекомендуется по максимуму инвестировать средства в обеспечение устойчиво высокого качества данных, технической архитектуры и производственной среды. Следующие шаги — надстройка над этим фундаментом.
Самая трудоемкая часть работы по созданию ХД/BI — подготовка к приему, обработке и сохранению данных, поступающих из различных источников, в рабочем режиме. Архитектура и модель данных определяют детальное содержание ХД и являются ключевым приоритетом при проектировании системной архитектуры ХД/BI.
Рекомендуется по максимуму инвестировать средства в обеспечение устойчиво высокого качества данных, технической архитектуры и производственной среды. Следующие шаги — надстройка над этим фундаментом.
5
Внедрение инструментов BI
Внедрение портфеля BI-приложений требует прежде всего грамотного выбора программных средств и инструментов, требующихся различным сообществам пользователей или бизнес-подразделениям.
→ Распределение пользователей по группам потребностей
→ Обеспечение соответствия инструментария потребностям
Внедрение портфеля BI-приложений требует прежде всего грамотного выбора программных средств и инструментов, требующихся различным сообществам пользователей или бизнес-подразделениям.
→ Распределение пользователей по группам потребностей
→ Обеспечение соответствия инструментария потребностям
6
Сопровождение информационных продуктов
Сопровождение комплекса ХД/BI должно включать регулярное наращивание функциональных возможностей по всем ключевым параметрам, вот только добиться этого в динамической рабочей среде бывает не так-то просто. Совместно с бизнес-партнерами очертите круг основных приоритетов — и сфокусируйте основные усилия на самых необходимых доработках и усовершенствованиях.
→ Управление релизами
→ Управление жизненным циклом разработки продукта
→ Мониторинг и оптимизация нагрузки
→ Мониторинг использования и настройка производительности средств BI
Сопровождение комплекса ХД/BI должно включать регулярное наращивание функциональных возможностей по всем ключевым параметрам, вот только добиться этого в динамической рабочей среде бывает не так-то просто. Совместно с бизнес-партнерами очертите круг основных приоритетов — и сфокусируйте основные усилия на самых необходимых доработках и усовершенствованиях.
→ Управление релизами
→ Управление жизненным циклом разработки продукта
→ Мониторинг и оптимизация нагрузки
→ Мониторинг использования и настройка производительности средств BI
Инструменты и методы
Процесс выбора исходного набора инструментов может оказаться долгим и непростым. Ведь нужно постараться сделать так, чтобы выбранный инструментарий обеспечивал удовлетворение и первоочередных насущных потребностей, и нефункциональных спецификаций, и даже еще не сформулированных требований в отношении решений следующего поколения. Ускорить выбор помогают готовые наборы критериев принятия решений и инструментов внедрения процессов, а также привлечение профильных специалистов.
→ Репозитории метаданных (словари, глоссарии, модели данных)
→ Средства интеграции данных
→ Типы инструментов BI (операционная отчетность, управление эффективностью бизнеса, аналитические приложения, OLAP, self-service BI)
→ Репозитории метаданных (словари, глоссарии, модели данных)
→ Средства интеграции данных
→ Типы инструментов BI (операционная отчетность, управление эффективностью бизнеса, аналитические приложения, OLAP, self-service BI)
Self-Service BI
Важнейшим принципом организации портфеля BI-приложений является самообслуживание (self-service).
Доступные пользователю действия обычно регулируются настройками профиля на портале доступа, где можно выбирать, подключать/отключать и конфигурировать различные функциональности, уведомления, сообщения и предупреждения, периодичность просмотра производственных отчетов, порядок взаимодействия с аналитическими отчетами, разрабатывать собственные отчеты и пользоваться настройками и функциями дашбордов.
Отчеты могут публиковаться по стандартному расписанию, чтобы пользователи могли ознакомиться с ними, когда это необходимо. Или же пользователи могут получать отчеты из хранилища с помощью запросов с портала. Наконец, порталы BI позволяют налаживать и обмен контентом между различными организациями.
Доступные пользователю действия обычно регулируются настройками профиля на портале доступа, где можно выбирать, подключать/отключать и конфигурировать различные функциональности, уведомления, сообщения и предупреждения, периодичность просмотра производственных отчетов, порядок взаимодействия с аналитическими отчетами, разрабатывать собственные отчеты и пользоваться настройками и функциями дашбордов.
Отчеты могут публиковаться по стандартному расписанию, чтобы пользователи могли ознакомиться с ними, когда это необходимо. Или же пользователи могут получать отчеты из хранилища с помощью запросов с портала. Наконец, порталы BI позволяют налаживать и обмен контентом между различными организациями.
Рекомендации
→
Стабильная архитектура с возможностью ее масштабирования по мере роста потребностей — первое непременное условие успешного проекта хранилища данных.
→
Группа эксплуатационного сопровождения и технической поддержки, способная грамотно справляться с ежедневной загрузкой и анализом данных, обеспечением работоспособности всех систем и обработкой заявок пользователей, — второе непременное условие.
→
В дополнение к первым двум условиям для обеспечения устойчиво успешной работы комплекса ХД/BI требуется согласованность действий и интересов технических и бизнес-подразделений.
Метрики для отслеживания
показатели использования
Основными показателями использования и востребованности комплекса ХД/BI обычно являются число зарегистрированных пользователей, а также число подключенных или активных пользователей за отчетный период или в среднем за сутки / рабочий день.
доли востребованных данных по предметным областям
Процентные показатели востребованности данных по различным предметным областям позволяют выявить, какие участки хранилища (с точки зрения топологии данных) пользуются спросом у каждого подразделения.
показатели времени ответа и производительности
Большинство программных средств фиксируют время отправки запроса и получения ответа. По этим данным и рассчитываются усредненные показатели времени отклика или производительности.
Подписывайтесь на новые выпуски проекта
Получайте обновления конспекта DMBOK2 себе на почту по мере их публикации
Подпишитесь на новые конспекты
И получайте их себе на почту по мере их выхода
