Von Data Mining bis Big Data

Vorwort

Inhalt

1 Einführung

2 Warum Data Mining? Wozu Big Data?

2.1 Definition und Einordnung der Begriffe

2.1.1 Was ist Data Mining?

2.1.2 Was ist Big Data?

2.1.3 Data Mining im Kontext anderer Datenanalyseverfahren

2.2 Spezielle Anforderungen der Industrie an die Datenanalyse

2.3 Gibt es einen Handlungsbedarf für die Industrie?

3 Das theoretische und mathematische Konzept der technischen Datenauswertung

3.1 Einführung

3.2 Datenselektion und Datenzusammenführung

3.2.1 Aufbau einer Datentabelle

3.2.2 Denormalisierung von Datentabellen

3.2.3 Synchronisierung von Datentabellen

3.3 Datenvorverarbeitung

3.3.1 Festlegung der Datentypen

3.3.2 Diskretisierung von metrischen Daten

3.3.3 Statistiken und Tests für metrische Daten

3.3.4 Das Problem ungenauer Messungen

3.3.5 Behandlung von Datenlücken

3.3.6 Behandlung von Ausreißern

3.3.7 Behandlung von Mehrdeutigkeiten

3.4 Datentransformation

3.5 Datenanalyse

3.5.1 Visuelle explorative Analysen

3.5.2 Überblick über multivariate Verfahren zur Datenanalyse

3.5.2.1 Regressionsanalysen

3.5.2.2 Varianzanalyse

3.5.2.3 Diskriminanzanalyse

3.5.2.4 Korrelationsanalyse

3.5.2.5 Faktoranalyse

3.5.2.6 Clusteranalyse

3.5.3 Einführung in Data-Mining-Methoden

3.5.4 Data Mining zum Auffinden von Zusammenhängen

3.5.4.1 Neuronale Netze

3.5.4.2 Support-Vektor-Maschinen

3.5.4.3 Gütemaße für Modelle und Klassifikatoren

3.5.5 Data Mining zum Auffinden von Strukturen

3.5.5.1 Fuzzy-Clusterverfahren

3.5.5.2 Demographisches Clustern

3.5.5.3 Selbstorganisierende Merkmalskarten

3.5.5.4 Gütemaße für Clusterverfahren

3.5.6 Data Mining zum Generieren von Regeln

3.5.6.1 Bayessche Netze

3.5.6.2 Entscheidungsbäume

3.5.6.3 Assoziationsregeln

3.5.6.4 Gütemaße für Regeln

3.5.7 Data Mining zum Visualisieren hochdimensionaler Datenräume

3.5.7.1 Selbstorganisierende Merkmalskarten für topologieerhaltende Projektionen

3.5.7.2 Gütemaße für Projektionen

3.5.8 Zusammenfassung der Data-Mining-Verfahren

3.6 Interpretation der Ergebnisse

3.6.1 Fehlinterpretationen

3.6.2 Strittige Interpretationen

3.6.3 Konsequenzen

4 Hilfreiche Auswertemöglichkeiten für praktische Anwendungsfälle

4.1 Text Mining – das Auswerten unstrukturierter Daten

4.2 Versuchsplanungen zur Erzeugung von Prozessdaten

4.3 Automatische Diskretisierungen

4.4 Güte und Sicherheit von Regressionsschätzungen

4.5 Auffinden der sensitiven Einflussgrößen

4.6 Ausschluss von zufälligen Zusammenhängen

4.7 Datenbasierte Optimierungen

5 Big Data – die Datenhaltungs- und Verarbeitungskonzepte der Gegenwart

5.1 Digitale Transformation und Big Data

5.2 Grundprinzipien eines Paradigmenwandels

5.2.1 Die drei Vs – und der Wert

5.2.2 Scale-up und Scale-out

5.2.3 Unabhängige Verarbeitung direkt auf den Daten

5.2.4 Schema on Read versus Schema on Write

5.2.5 Hardwarevirtualisierung und Containermanagement

5.2.6 Datenvirtualisierung

5.2.7 Entkoppelte Systeme

6 Technische Big-Data-Lösungen zur industriellen und kommerziellen Datenanalyse

6.1 Datenmanagement im Big-Data-Umfeld

6.1.1 Hadoop machte den Anfang

6.1.2 Apache Spark – die nächste Evolutionsstufe

6.1.3 Abstrahierte Datenverarbeitung und -speicherung

6.1.4 Komplexe Eventverarbeitung mit Kafka & Co.

6.1.5 Das beste beider Welten – von Lambda und Kappa

6.1.6 Big-Data-Plattformen

6.1.7 NoSQL-Datenbanken

6.1.8 Anwendungsfälle für NoSQL-Datenbanken

6.1.9 Technologiestacks

6.2 Datenzentrische Architekturen

6.2.1 AI-basierte Systeme brauchen IA-basierte Plattformen

6.2.2 Die logische Architektur

6.2.3 Die Softwarearchitektur

6.2.4 Die technische Architektur

6.3 Der Supervised Data Lake (SDL)

6.3.1 Ein Data Lake braucht ein Konzept, damit der See nicht zum Sumpf wird

6.3.2 Die unterschiedlichen Bereiche eines SDL

6.3.3 Quellen und Ladearten

6.3.4 Raw Zone

6.3.5 Ingestion Zone

6.3.6 Discovery und Sandbox

6.3.7 Integration

6.3.8 Serving

6.3.9 Associated Processes

6.3.10 Access und Application

6.4 Aufbau eines Data Lakes

6.4.1 Think Big – Start Small – Act Now

6.4.2 Vision, Ziele und Standortbestimmung

6.4.3 Konzeption des Data Lakes

6.4.4 Implementierung der Basisumgebung

6.4.5 Data Lake Ramp-up – Use Case Driven

6.4.6 Industrialisierung – die betriebsfokussierte Datenfabrik

6.5 Cloud-Computing und Services

6.5.1 Die Cloud-Ausbaustufen – Everything as a Service

6.5.2 Offene Ökosysteme

6.5.3 Der Data Lake in der Cloud

6.6 Big Data, Data Mining und Artificial Intelligence

6.6.1 Analytic Data Hub

6.6.2 Data-Science- und Data-Mining-Plattformen

7 Die Anwendersicht – Systematik für industrielle Anwendungen

7.1 Aufgabenstellung und Zielsetzung

7.1.1 Datengetriebene Identifikation von Aufgabenstellungen

7.1.2 „Produktgetriebene“ Identifikation

7.1.3 Geschäftsorientierte Identifikation von Aufgabenstellungen

7.1.3.1 Reduktion von Kosten, Verlusten, Verschwendungen

7.1.3.2 Erhöhung operativer Performance

7.1.3.3 Ergebnisverbesserung funktionaler Prozesse

7.2 Vorgehensmethodik

7.2.1 Workshop zur Ideenfindung und Datenanalyse

7.2.1.1 Design-Thinking-Workshop

7.2.1.2 Wertschöpfungsschritte

7.2.1.3 Perspektiven

7.2.1.4 Schmerzpunkte und Mehrwerte

7.2.1.5 Erzeugen des Mehrwertes

7.2.1.6 Geschäftsmodell

7.2.1.7 Anwendungen und Lösungsansätze identifizieren

7.2.2 Hackathons als alternative Möglichkeit der Lösungsfindung und Pilotierung

7.2.3 Aufsetzen konkreter Aufgabenstellungen

7.2.3.1 Definition der Aufgabenstellung

7.2.3.2 Modellauswahl

7.2.3.3 Beauftragung von Dienstleistern

7.2.4 Explorations- und Umsetzungsphase eines Use Case

7.2.4.1 Sichtung der Daten

7.2.4.2 Bestimmung der sensitiven Eingangsgrößen

7.2.4.3 Modellierung und Ergebnisbewertung

7.2.4.4 Die Königsklasse: Vektorielle Optimierung eines Use Case

7.2.5 Auswertung und Detailkonzept, Applikationserstellung und Implementierung

8 Die Anwendersicht – typische Anwendungsfelder am konkreten Beispiel

8.1 Anwendungen in den Geschäftsfunktionen

8.1.1 Forschung und Entwicklung

8.1.2 Engineering

8.1.3 Produktmanagement

8.1.4 Einkauf, Supply Chain Management, Logistik

8.1.5 Fertigung und Produktion

8.1.6 Qualitätsmanagement

8.1.7 Service und Instandhaltung

8.1.8 Service und After Market

8.1.9 Marketing und Vertrieb

8.2 Ausgewählte Data-Mining- und Big-Data-Beispiele

8.2.1 Forschung, Entwicklung und Engineering

8.2.1.1 Beschleunigung einer Produktentwicklung

8.2.2 Einkauf

8.2.2.1 Spend Cube

8.2.2.2 Bündelung

8.2.2.3 Spezifikations- und Kostenhebel

8.2.3 Produktion, Fertigung und Service

8.2.3.1 Störungsanalysen

8.2.3.2 Instabilitätsanalysen in einem Klärwerk

8.2.3.3 Fehlerdetektion in einem Kraftwerk

8.2.3.4 Analyse der Dynamik von chemischen Batchprozessen

8.2.4 Instandhaltung und Service

8.2.4.1 Aufbau einer Datenbasis für erweiterte Analysen und Monitoring von Industrieanlagen

8.2.4.2 Erweiterung eines digitalen Zwillings um Maschinendaten und Strompreisdaten im Bereich Windenergie

8.2.5 Marketing und Vertrieb

8.2.5.1 Cross-Selling-Effekte mit Data Mining finden

8.2.5.2 Cross-Selling-Analysen mit Big-Data-Technologien beschleunigen

8.2.5.3 Optimale Preisschwellen mit Data Mining aufspüren

8.2.6 Data Mining für die strategische Unternehmensführung

9 Small Data gehört die Zukunft

9.1 Einführung in die Thematik

9.2 Charakteristik von Small Data

9.3 Machine Learning versus menschlicher Geist – die Mind-Data-Hypothese

9.4 Bewusstsein als übergeordnete Ordnungsstruktur neuronaler Systeme

9.5 Mind-Data-Auswertungen mit maschinellem Bewusstsein

10 Ausblick und mögliche Weiterentwicklungen von Data Mining und Big Data

11 Liste der häufig verwendeten Formelzeichen und Symbole

12 Literaturverzeichnis

13 Autoren

Index