Data Warehouse Blueprints

Inhalt

Geleitwort

Über dieses Buch

Die Autoren

1 Einleitung

1.1 Ziele dieses Buches

1.2 Struktur dieses Buches

1.3 Hinweis zur Anwendung dieses Buches

2 Architektur

2.1 Data Warehouse-Architektur

2.1.1 Aufbau eines Data Warehouse

2.1.2 Transformationsschritte

2.1.3 Architekturgrundsätze

2.2 Architektur BI-Anwendungen

2.2.1 Die BI-Plattform zur Integration von Datenquellen

2.2.2 Die BI-Plattform zur Vereinheitlichung der Frontends

2.3 Datenhaltung

2.3.1 Grenzen gängiger DWH/BI-Technologien

2.3.2 Datenhaltung im Hadoop-Ecosystem

2.3.3 In-Memory-Datenbanken

3 Datenmodellierung

3.1 Vorgehensweise

3.1.1 Anforderungsgetriebene Modellierung

3.1.2 Quellsystemgetriebene Modellierung

3.1.3 Kombination der Ansätze

3.2 Relationale Modellierung

3.2.1 Darstellung von relationalen Datenmodellen

3.2.2 Normalisierung

3.2.3 Stammdaten und Bewegungsdaten

3.2.4 Historisierung

3.2.5 Relationales Core

3.2.6 Corporate Information Factory

3.2.7 Data Vault Modeling

3.3 Dimensionale Modellierung

3.3.1 Implementierung von dimensionalen Modellen

3.3.1.1 Relationale Implementierung

3.3.1.2 Multidimensionale Implementierung

3.3.2 Dimensionen

3.3.2.1 Fachliche Attribute

3.3.2.2 Technische Attribute

3.3.2.3 Hierarchien

3.3.2.4 Conformed Dimensions

3.3.2.5 Slowly Changing Dimensions

3.3.2.6 Zeitdimension

3.3.2.7 Bridge Tables

3.3.2.8 Spezielle Dimensionen

3.3.3 Fakten

3.3.3.1 Kennzahlen

3.3.3.2 Typen von Fakten

3.3.4 Modellierung spezieller Problemstellungen

3.3.4.1 Fakten unterschiedlicher Granularität und Rollen

3.3.4.2 Gemeinsame Hierarchiestufen in verschiedenen Dimensionen

3.3.4.3 Modellierungsgrundsätze für Dimensionen und Fakten

3.3.5 Darstellung von dimensionalen Modellen

3.3.5.1 ADAPT-Notation

3.3.5.2 Entity-Relationship-Diagramme

3.3.5.3 Data-Warehouse-Bus-Matrix

3.3.6 Dimensionales Core

3.4 Tools zur Datenmodellierung

3.4.1 Tools für relationale Datenmodellierung

3.4.2 Tools für dimensionale Datenmodellierung

4 Datenintegration

4.1 Data Profiling

4.1.1 Probleme mangelnder Datenqualität

4.1.2 Einsatz von Data Profiling

4.2 ETL

4.2.1 Aufgaben der ETL-Prozesse

4.2.1.1 Extraktion aus Quellsystemen

4.2.1.2 Transformationen

4.2.1.3 Laden in die Zieltabellen

4.2.2 ETL-Tools

4.2.2.1 Funktionalität von ETL-Tools

4.2.2.2 ETL oder ELT?

4.2.2.3 Positionierung von ETL-Tools

4.2.3 Performance-Aspekte

4.2.3.1 Mengenbasierte statt datensatzbasierte Verarbeitung

4.2.3.2 ELT-Tool statt ETL-Tool

4.2.3.3 Reduktion der Komplexität

4.2.3.4 Frühzeitige Mengeneinschränkung

4.2.3.5 Parallelisierung

4.2.4 Steuerung der ETL-Prozesse

4.2.4.1 Protokollierung des ETL-Ablaufs

4.2.4.2 Restartfähigkeit und Wiederaufsetzpunkte

4.3 Extraktion und Delta-Ermittlung

4.3.1 Delta-Extraktion im Quellsystem

4.3.1.1 Änderungsmarker und Journaltabellen

4.3.1.2 Delta-Ermittlung und Pending Commits

4.3.1.3 Change Data Capture

4.3.2 Voll-Extraktion und Delta-Abgleich im Data Warehouse

4.3.2.1 Zwei Versionen des Vollabzugs in der Staging Area

4.3.2.2 Vorteil einer Voll-Extraktion für die Delta-Ermittlung

4.3.3 Wann verwende ich was?

4.4 Fehlerbehandlung

4.4.1 Fehlende Attribute

4.4.1.1 Filtern von fehlerhaften Datensätzen

4.4.1.2 Fehlerhafte Datensätze in Fehlertabelle schreiben

4.4.1.3 Singletons auf Attributebene

4.4.2 Unbekannte Codewerte

4.4.2.1 Filtern von fehlerhaften Datensätzen

4.4.2.2 Singletons auf Datensatzebene

4.4.2.3 Generierung von Embryo-Einträgen

4.4.3 Fehlende Dimensionseinträge

4.4.3.1 Filtern von unvollständigen Fakten

4.4.3.2 Referenz auf Singleton-Einträge

4.4.3.3 Generieren von Embryo-Einträgen

4.4.4 Doppelte Datensätze

4.4.4.1 Verwendung von DISTINCT

4.4.4.2 Nur ersten Datensatz übernehmen

4.5 Qualitätschecks

4.5.1 Qualitätschecks vor und während des Ladens

4.5.2 Qualitätschecks nach dem Laden

4.5.3 Qualitätschecks mithilfe von Test-Tools

4.6 Real-Time BI

4.6.1 Begriffsbestimmung

4.6.2 Garantierte Verfügbarkeit von Informationen zu gegebenem Zeitpunkt

4.6.3 Verfügbarkeit von Informationen simultan zur Entstehung

4.6.4 Verfügbarkeit von Informationen kurz nach ihrer Entstehung

4.6.4.1 Events und Batchverarbeitung

4.6.4.2 Real-Time-Partitionen

4.6.5 Zusammenfassung

5 Design der DWH-Schichten

5.1 Staging Area

5.1.1 Gründe für eine Staging Area

5.1.2 Struktur der Stage-Tabellen

5.1.3 ETL-Logik für Stage-Tabellen

5.1.3.1 Einschränkungen bei der Extraktion

5.1.3.2 Transformation

5.1.3.3 Sonstige Informationen

5.2 Cleansing Area

5.2.1 Gründe für eine Cleansing Area

5.2.2 Struktur der Cleanse-Tabellen

5.2.3 Beziehungen in der Cleansing Area

5.2.4 ETL-Logik für Cleanse-Tabellen

5.2.4.1 Einschränkungen bei der Extraktion

5.2.4.2 Transformation

5.2.4.3 Sonstige Informationen

5.3 Core-Datenmodell allgemein

5.3.1 Aufgaben und Anforderungen an das Core

5.3.2 Stammdaten im Core

5.3.3 Bewegungsdaten im Core

5.3.4 Beziehungen im Core

5.3.5 Datenmodellierungsmethoden für das Core

5.4 Core-Datenmodell relational mit Kopf- und Versionstabellen

5.4.1 Historisierung von Stammdaten mit Kopf- und Versionstabellen

5.4.2 Struktur der Stammdatentabellen

5.4.2.1 Tabellenspalten und Schlüssel

5.4.2.2 Beziehungen (1:n) zwischen Stammdaten

5.4.2.3 Beziehungen (m:n) zwischen Stammdaten

5.4.3 ETL-Logik für Stammdatentabellen

5.4.3.1 Lookups (Schritt 1)

5.4.3.2 Outer Join (Schritt 2)

5.4.3.3 Neue Datensätze (Schritt 3)

5.4.3.4 Schließen einer Version/Fall 1 (Schritt 4)

5.4.3.5 Aktualisieren/Fall 2 (Schritt 5)

5.4.3.6 Versionieren/Fall 3 und 4 (Schritt 6)

5.4.3.7 Singletons

5.4.4 Typen von Bewegungsdaten

5.4.4.1 Transaction Tables

5.4.4.2 Snapshot Tables

5.4.4.3 Snapshot Tables versioniert

5.4.5 Struktur der Bewegungstabellen

5.4.5.1 Tabellenspalten und Schlüssel

5.4.5.2 Beziehungen zu Stammdaten

5.4.6 ETL-Logik für Bewegungstabellen

5.4.6.1 Lookups

5.4.6.2 Sonstige Informationen

5.4.7 Views für externen Core-Zugriff

5.4.7.1 Views für Stammdaten

5.4.7.2 Views für Bewegungsdaten

5.5 Core-Datenmodell relational mit Data Vault

5.5.1 Stammdaten

5.5.2 Beziehungen

5.5.3 Bewegungsdaten

5.5.4 Historisierung

5.5.5 Struktur der Tabellen

5.5.5.1 Hubtabellen – Tabellenspalten und Schlüssel

5.5.5.2 Satellitentabellen – Tabellenspalten und Schlüssel

5.5.5.3 Linktabellen – Tabellenspalten und Schlüssel

5.5.6 ETL-Logik

5.5.7 Views für externen Core-Zugriff auf das Data-Vault-Datenmodell

5.5.7.1 Views für Stammdaten (ein Satellite pro Hub bzw. Link)

5.5.7.2 Views für Stammdaten (mehrere Satellites pro Hub bzw. Link)

5.6 Core-Datenmodell dimensional

5.6.1 Star- oder Snowflake-Schema

5.6.1.1 Star-Schema

5.6.1.2 Snowflake-Schema

5.6.2 Historisierung von Stammdaten mit SCD

5.6.3 Struktur der Dimensionstabellen (Snowflake)

5.6.3.1 Tabellenspalten und Schlüssel

5.6.3.2 Beziehungen zwischen Hierarchiestufen

5.6.4 ETL-Logik für Dimensionstabellen (Snowflake)

5.6.4.1 Lookup

5.6.4.2 Weitere Schritte

5.6.5 Struktur der Faktentabellen (Snowflake)

5.6.6 ETL-Logik für Faktentabellen (Snowflake)

5.6.7 n:m-Beziehungen im dimensionalen Core

5.7 Marts

5.7.1 ROLAP oder MOLAP?

5.7.2 Historisierung von Data Marts

5.7.3 Star- oder Snowflake-Schema (ROLAP)

5.7.4 Struktur der Dimensionstabellen (Star)

5.7.4.1 Tabellenspalten und Schlüssel

5.7.4.2 Beispiel für Conformed Rollup

5.7.4.3 Beispiel für Dimension mit mehreren Hierarchien

5.7.5 ETL-Logik für Dimensionstabellen (Star)

5.7.5.1 Extraktion aus dem relationalen Core

5.7.5.2 Extraktion aus dem dimensionalen Core

5.7.6 Struktur der Faktentabellen (Star-Schema)

5.7.7 ETL-Logik für Faktentabellen (Star)

5.7.8 Multidimensionale Data Marts

5.7.8.1 Dimensionen (Cube)

5.7.8.2 Fakten (Cube)

6 Physisches Datenbankdesign

6.1 Indexierung

6.1.1 Staging Area

6.1.2 Cleansing Area

6.1.3 Core

6.1.4 Data Marts

6.2 Constraints

6.2.1 Primary Key Constraints

6.2.2 Foreign Key Constraints

6.2.3 Unique Constraints

6.2.4 Check Constraints

6.2.5 NOT NULL Constraints

6.3 Partitionierung

6.3.1 Grundprinzip von Partitionierung

6.3.2 Gründe für Partitionierung

6.3.3 Partitionierung in Staging und Cleansing Area

6.3.4 Partitionierung im Core

6.3.5 Partitionierung in den Data Marts

6.4 Datenkomprimierung

6.4.1 Redundanz

6.4.2 Wörterbuchmethode/Tokenbasierte Reduktion

6.4.3 Entropiekodierung

6.4.4 Deduplikation

6.4.5 Komprimierung bei spaltenorientierter Datenhaltung

6.5 Aggregationen

6.5.1 Vorberechnete Aggregationen

6.5.2 Query Rewrite

6.5.3 Einsatz im Data Warehouse

7 BI-Anwendungen

7.1 Überblick

7.2 Standardberichte

7.3 Ad-hoc-Analyse

7.4 BI-Portale

8 Betrieb

8.1 Release-Management

8.1.1 Kategorisierung der Anforderungen

8.1.2 Schnittstellen zu Quellsystemen

8.1.3 Umgang mit historischen Daten

8.1.4 Datenbankumgebungen

8.2 Deployment

8.2.1 Manuelles Deployment

8.2.2 Filebasiertes Deployment

8.2.3 Repository-basiertes Deployment

8.2.4 Kombiniertes Deployment

8.3 Monitoring

8.3.1 Betriebsmonitoring

8.3.2 System und DB-Monitoring

8.3.3 ETL-Monitoring

8.3.4 Performance-Monitoring

8.4 Migration

8.4.1 Datenbank

8.4.2 ETL-Tool

8.4.3 BI-Tools

Literatur

Index