Ines Rossak
Datenintegration
Integrationsansätze, Beispielszenarien, Problemlösungen, Talend Open Studio
Vorwort
6
Inhaltsverzeichnis
10
1 Einführung
14
2 Grundlagen der Datenintegration
17
2.1 Einleitung
17
2.2 Typische Anwendungsfelder
19
2.2.1 Konsolidierung im operativen Bereich
20
2.2.2 Konsolidierung im analytischen Bereich
22
2.3 Herausforderungen
25
2.3.1 Verteilung
26
2.3.2 Autonomie
28
2.3.2.1 Entwurfsautonomie
28
2.3.2.2 Schnittstellenautonomie
28
2.3.2.3 Kommunikationsautonomie
28
2.3.3 Heterogenität
29
2.3.3.1 Technische Heterogenität
29
2.3.3.2 Syntaktische Heterogenität
30
2.3.3.3 Strukturelle Heterogenität
30
2.3.3.4 Semantische Heterogenität
31
2.4 Integrationsebenen
32
2.4.1 Integration auf Präsentationsebene
33
2.4.2 Integration auf Applikationsebene
35
2.4.3 Integration auf Datenebene
36
2.5 Integrationsarchitekturen
38
2.5.1 Extraktion-Transformation-Laden (ETL und ELT)
38
2.5.1.1 Extraktion
40
2.5.1.2 Transformation
40
2.5.1.3 Laden
41
2.5.1.4 ETL vs. ELT
42
2.5.2 Enterprise Application Integration (EAI)
43
2.5.3 Enterprise Information Integration (EII)
46
2.5.4 Zusammenfassung
48
2.6 Integrationsaufgaben
48
2.6.1 Vorintegration
49
2.6.2 Schema-Integration
51
2.6.2.1 Korrespondenzen
51
2.6.2.2 Konflikte
53
2.6.2.3 Schema-Angleichung
55
2.6.2.4 Matching
60
2.6.3 Daten-Integration
60
3 Marktsituation im Bereich Datenintegration
62
3.1 Überblick
62
3.2 Open Source im Bereich Datenintegration
64
3.2.1 Einleitung
64
3.2.2 Vor- und Nachteile von Open Source
65
3.2.3 Anbieter und Produkte
67
4 Integrationslösungen von Talend
70
4.1 Talend v5 Plattform
70
4.2 Datenintegrationslösungen von Talend
72
4.3 Möglichkeiten von TOSDI
73
5 Beispielszenario
76
5.1 Ausgangssituation
76
5.1.1 AutoMysel
77
5.1.2 GresNutzfahrzeuge
77
5.1.3 ExpressCarMobil
78
5.2 Analyse der Quelldatenbanken
79
5.3 Ableitung der Transformationsvorschriften
82
5.3.1 Fahrzeugdaten
83
5.3.2 Kundendaten
85
5.4 Ableitung der Integrationsreihenfolge
86
6 Installation und Konfiguration der Beispieldatenbanken
89
6.1 AutoMysel
89
6.1.1 Installation und Konfiguration von MySQL
90
6.1.2 Erstellung und Befüllung der Datenbank
92
6.2 GresNutzfahrzeuge
93
6.2.1 Installation und Konfiguration von PostgreSQL
93
6.2.2 Erstellung und Befüllung der Datenbank
94
6.3 ExpressCarMobil
95
6.3.1 Installation und Konfiguration von MS SQL Express
95
6.3.2 Erstellung und Befüllung der Datenbank
98
7 Einstieg in Talend Open Studio for Data Integration
99
7.1 Installation und Konfiguration des Talend Open Studio for Data Integration
99
7.2 Das erste Projekt
101
7.2.1 Grundbegriffe TOSDI
101
7.2.2 Notationen
102
7.2.3 Ein neues Projekt anlegen
104
7.2.4 Datenbank-Verbindung einrichten
108
7.2.5 Tabellen und Daten einbinden
110
7.3 Der erste Job
112
7.3.1 Verwendete Komponenten
112
7.3.2 Der Firmen Lookup-Job
114
8 Datenintegration mit dem Talend Open Studio for Data Integration
121
8.1 Integration der Kundendaten
121
8.1.1 Kundenintegration – Einleitung
121
8.1.2 Der Lookup-Job Kunden
123
8.1.3 Der Integration-Job Kunden
127
8.1.4 Der Integration-Job Firmen
135
8.2 Integration der Fahrzeugdaten
139
8.2.1 Einleitung
139
8.2.2 Der Lookup-Job Fahrzeuge
140
8.2.3 Der Integration-Job Fahrzeugtyp
143
8.2.4 Der Integration-Job Fahrzeuge_Mysel
150
8.2.5 Der Integration-Job Preisgruppe_Fahrzeuge_Mysel
156
8.2.6 Die Fahrzeugdaten von GresNutzfahrzeuge
161
8.2.7 Exkurs – Daten aus dem Internet
164
8.3 Integration der Anmietung
167
8.3.1 Einleitung
167
8.3.2 Der Integration-Job Anmietung_Mysel
170
8.3.3 Der Integration-Job Anmietung_Gres
176
8.4 Der übergeordnete Integrationsjob
178
9 Ausblick
188
9.1 Exkurs: Import und Export
188
9.1.1 Import und Export von Projekten
188
9.1.2 Import und Export von Items
189
9.2 Social Media Integration mit TOSDI
191
10 Zusammenfassung
201
Anhang
204
A.1 Schema AutoMysel
205
A.2 Schema GresNutzfahrzeuge
206
A.3 Schema ExpressCarMobil
207
Listingverzeichnis
208
Abkürzungsverzeichnis
210
Literaturverzeichnis
212
Sachwortverzeichnis
222
© 2009-2024 ciando GmbH