Big Data in der Praxis

Inhalt

Vorwort

1 Einleitung

2 Big-Data

2.1 Historische Entstehung

2.2 Big-Data – ein passender Begriff?

2.2.1 Die drei V

2.2.2 Das vierte V – Veracity

2.2.3 Der Verarbeitungsaufwand ist big

2.2.4 Sicht der Industrien auf Big-Data

2.3 Eingliederung in BI und Data-Mining

3 Hadoop

3.1 Hadoop kurz vorgestellt

3.2 HDFS – das Hadoop Distributed File System

3.3 Hadoop 2.x und YARN

3.4 Hadoop als Single-Node-Cluster aufsetzen

3.4.1 Falls etwas nicht funktioniert

3.5 Map-Reduce

3.6 Aufsetzen einer Entwicklungsumgebung

3.7 Implementierung eines Map-Reduce-Jobs

3.8 Ausführen eines Jobs über Kommandozeile

3.9 Verarbeitung im Cluster

3.10 Aufsetzen eines Hadoop-Clusters

3.11 Starten eines Jobs via Hadoop-API

3.12 Verketten von Map-Reduce-Jobs

3.13 Verarbeitung anderer Dateitypen

3.14 YARN-Anwendungen

3.14.1 Logging und Log-Aggregation in YARN

3.14.2 Eine einfache YARN-Anwendung

3.15 Vor- und Nachteile der verteilten Verarbeitung

3.16 Die Hadoop Java-API

3.16.1 Ein einfacher HDFS-Explorer

3.16.2 Cluster-Monitor

3.16.3 Überwachen der Anwendungen im Cluster

3.17 Gegenüberstellung zur traditionellen Verarbeitung

3.18 Big-Data aufbereiten

3.18.1 Optimieren der Algorithmen zur Datenauswertung

3.18.2 Ausdünnung und Gruppierung

3.19 Ausblick auf Apache Spark

3.20 Markt der Big-Data-Lösungen

4 Das Hadoop-Ecosystem

4.1 Ambari

4.2 Sqoop

4.3 Flume

4.4 HBase

4.5 Hive

4.6 Pig

4.7 Zookeeper

4.8 Mahout

4.9 Spark

4.10 Data Analytics und das Reporting

5 NoSQL und HBase

5.1 Historische Entstehung

5.2 Das CAP-Theorem

5.3 Typen von Datenbanken

5.4 Umstieg von SQL und Dateisystemen auf NoSQL oder HDFS

5.4.1 Methoden der Datenmigration

5.5 HBase

5.5.1 Das Datenmodell von HBase

5.5.2 Aufbau von HBase

5.5.3 Installation als Stand-alone

5.5.4 Arbeiten mit der HBase Shell

5.5.5 Verteilte Installation auf dem HDFS

5.5.6 Laden von Daten

5.5.6.1 HBase Bulk Loading über die Shell

5.5.6.2 Datenextrakt aus einer Datenbank über Sqoop

5.5.7 HBase Java-API

5.5.8 Der Umstieg von einem RDBMS auf HBase

6 Data-Warehousing mit Hive

6.1 Installation von Hive

6.2 Architektur von Hive

6.3 Das Command Line Interface (CLI)

6.4 HiveQL als Abfragesprache

6.4.1 Anlegen von Datenbanken

6.4.2 Primitive Datentypen

6.4.3 Komplexe Datentypen

6.4.4 Anlegen von Tabellen

6.4.5 Partitionierung von Tabellen

6.4.6 Externe und interne Tabellen

6.4.7 Löschen und leeren von Tabellen

6.4.8 Importieren von Daten

6.4.9 Zählen von Zeilen via count

6.4.10 Das SELECT-Statement

6.4.11 Beschränken von SELECT über DISTINCT

6.4.12 SELECT auf partitionierte Tabellen

6.4.13 SELECT sortieren mit SORT BY und ORDER BY

6.4.14 Partitionieren von Daten durch Bucketing

6.4.15 Gruppieren von Daten mittels GROUP BY

6.4.16 Subqueries – verschachtelte Abfragen

6.4.17 Ergebnismengen vereinigen mit UNION ALL

6.4.18 Mathematische Funktionen

6.4.19 String-Funktionen

6.4.20 Aggregatfunktionen

6.4.21 User-Defined Functions

6.4.22 HAVING

6.4.23 Datenstruktur im HDFS

6.4.24 Verändern von Tabellen

6.4.25 Erstellen von Views

6.4.26 Löschen einer View

6.4.27 Verändern einer View

6.4.28 Tabellen zusammenführen mit JOINs

6.5 Hive Security

6.5.1 Implementieren eines Authentication-Providers

6.5.2 Authentication-Provider für HiveServer2

6.5.3 Verwenden von PAM zur Benutzerauthentifizierung

6.6 Hive und JDBC

6.7 Datenimport mit Sqoop

6.8 Datenexport mit Sqoop

6.9 Hive und Impala

6.10 Unterschied zu Pig

6.11 Zusammenfassung

7 Big-Data-Visualisierung

7.1 Theorie der Datenvisualisierung

7.2 Diagrammauswahl gemäß Datenstruktur

7.3 Visualisieren von Big-Data erfordert ein Umdenken

7.3.1 Aufmerksamkeit lenken

7.3.2 Kontextsensitive Diagramme

7.3.3 3D-Diagramme

7.3.4 Ansätze, um Big-Data zu visualisieren

7.4 Neue Diagrammarten

7.5 Werkzeuge zur Datenvisualisierung

7.6 Entwicklung einer einfachen Visualisierungskomponente

8 Auf dem Weg zu neuem Wissen – aufbereiten, anreichern und empfehlen

8.1 Eine Big-Data-Table als zentrale Datenstruktur

8.2 Anreichern von Daten

8.2.1 Anlegen einer Wissensdatenbank

8.2.2 Passende Zuordnung von Daten

8.3 Diagrammempfehlungen über Datentypanalyse

8.3.1 Diagrammempfehlungen in der BDTable

8.4 Textanalyse – Verarbeitung unstrukturierter Daten

8.4.1 Erkennung von Sprachen

8.4.2 Natural Language Processing

8.4.2.1 Klassifizierung

8.4.2.2 Sentiment-Analysis

8.4.3 Mustererkennung mit Apache UIMA

9 Zusammenfassung und Ausblick

10 Häufige Fehler

11 Anhang

11.1 Installation und Verwendung von Sqoop2

11.2 Hadoop für Windows 7 kompilieren

Literaturverzeichnis

Index