UID:
kobvindex_ERBEBC6947619
Format:
1 online resource (354 pages)
Edition:
1
ISBN:
9783958451766
Note:
Cover -- Titel -- Impressum -- Inhaltsverzeichnis -- Vorwort -- Danksagungen -- Über dieses Buch -- Kapitel 1: Ein neues Paradigma für Big Data -- 1.1 Aufbau des Buches -- 1.2 Skalierung mit einer herkömmlichen Datenbank -- 1.2.1 Skalierung mit einer Warteschlange -- 1.2.2 Skalierung durch Sharding -- 1.2.3 Erste Probleme mit der Fehlertoleranz -- 1.2.4 Probleme mit fehlerhaften Daten -- 1.2.5 Was ist schiefgegangen? -- 1.2.6 Inwiefern sind Big-Data-Verfahren hilfreich? -- 1.3 NoSQL ist kein Allheilmittel -- 1.4 Grundlagen -- 1.5 Erwünschte Eigenschaften eines Big-Data-Systems -- 1.5.1 Belastbarkeit und Fehlertoleranz -- 1.5.2 Lesen und Aktualisieren mit geringen Latenzzeiten -- 1.5.3 Skalierbarkeit -- 1.5.4 Allgemeingültigkeit -- 1.5.5 Erweiterbarkeit -- 1.5.6 Ad-hoc-Abfragen -- 1.5.7 Minimaler Wartungsaufwand -- 1.5.8 Fehlerbehebung -- 1.6 Schwierigkeiten vollständig inkrementeller Architekturen -- 1.6.1 Komplexität im Betrieb -- 1.6.2 Extreme Komplexität, um letztendliche Konsistenz zu erzielen -- 1.6.3 Keine Fehlertoleranz gegenüber menschlichem Versagen -- 1.6.4 Vollständig inkrementelle Lösung kontra Lambda-Architektur -- 1.7 Lambda-Architektur -- 1.7.1 Batch-Layer -- 1.7.2 Serving-Layer -- 1.7.3 Batch- und Serving-Layer erfüllen fast alle Anforderungen -- 1.7.4 Speed-Layer -- 1.8 Die neuesten Trends -- 1.8.1 Prozessoren werden kaum noch schneller -- 1.8.2 Elastic Clouds -- 1.8.3 Ein lebhaftes Open-Source-Ökosystem für Big Data -- 1.9 Beispielanwendung: SuperWebAnalytics.com -- 1.10 Zusammenfassung -- Teil I: Batch-Layer -- Kapitel 2: Das Datenmodell für Big Data -- 2.1 Die Eigenschaften von Daten -- 2.1.1 Daten sind ursprünglich -- 2.1.2 Daten sind unveränderlich -- 2.1.3 Daten sind beständig korrekt -- 2.2 Das faktenbasierte Modell zur Repräsentierung von Daten -- 2.2.1 Faktenbeispiele und ihre Eigenschaften
,
2.2.2 Vorteile des faktenbasierten Modells -- 2.3 Graphenschemata -- 2.3.1 Elemente eines Graphenschemas -- 2.3.2 Die Notwendigkeit, dem Schema zu gehorchen -- 2.4 Ein vollständiges Datenmodell für SuperWebAnalytics.com -- 2.5 Zusammenfassung -- Kapitel 3: Das Datenmodell für Big Data: Praxis -- 3.1 Wozu ein Serialisierungs-Framework? -- 3.2 Apache Thrift -- 3.2.1 Knoten -- 3.2.2 Kanten -- 3.2.3 Eigenschaften -- 3.2.4 Alles in Datenobjekten zusammenfassen -- 3.2.5 Weiterentwicklung des Schemas -- 3.3 Für Serialisierungs-Frameworks geltende Beschränkungen -- 3.4 Zusammenfassung -- Kapitel 4: Datenspeicherung im Batch-Layer -- 4.1 Speicheranforderungen des Stammdatensatzes -- 4.2 Auswahl einer Speicherlösung für den Batch-Layer -- 4.2.1 Schlüssel-Werte-Datenbank zum Speichern des Stammdatensatzes verwenden -- 4.2.2 Verteilte Dateisysteme -- 4.3 Funktionsweise verteilter Dateisysteme -- 4.4 Speichern des Stammdatensatzes mit einem verteilten Dateisystem -- 4.5 Vertikale Partitionierung -- 4.6 Verteilte Dateisysteme sind maschinennah -- 4.7 Speichern des SuperWebAnalytics.com-Stammdatensatzes in einem verteiltem Dateisystem -- 4.8 Zusammenfassung -- Kapitel 5: Datenspeicherung im Batch-Layer: Praxis -- 5.1 Verwendung des Hadoop Distributed File Systems -- 5.1.1 Das Problem mit kleinen Dateien -- 5.1.2 Eine allgemeinere Abstrahierung -- 5.2 Datenspeicherung im Batch-Layer mit Pail -- 5.2.1 Grundlegende Pail-Operationen -- 5.2.2 Objekte serialisieren und in Pails speichern -- 5.2.3 Pail-Operationen -- 5.2.4 Vertikale Partitionierung mit Pail -- 5.2.5 Pail-Dateiformat und Komprimierung -- 5.2.6 Vorteile von Pail zusammengefasst -- 5.3 Speichern des Stammdatensatzes für SuperWebAnalytics.com -- 5.3.1 Ein strukturiertes Pail für Thrift-Objekte -- 5.3.2 Ein einfaches Pail für SuperWebAnalytics.com
,
5.3.3 Ein geteiltes Pail zur vertikalen Partitionierung des Datensatzes -- 5.4 Zusammenfassung -- Kapitel 6: Batch-Layer -- 6.1 Beispiele -- 6.1.1 Anzahl der Pageviews innerhalb eines bestimmten Zeitraums -- 6.1.2 Vorhersage des Geschlechts -- 6.1.3 Einflussreiche Tweets -- 6.2 Berechnungen im Batch-Layer -- 6.3 Neuberechnungsalgorithmen kontra inkrementelle Algorithmen -- 6.3.1 Performance -- 6.3.2 Fehlertoleranz gegenüber menschlichem Versagen -- 6.3.3 Allgemeine Anwendbarkeit des Algorithmus -- 6.3.4 Auswahl eines Algorithmustyps -- 6.4 Skalierbarkeit im Batch-Layer -- 6.5 MapReduce: Ein Paradigma für Big-Data-Berechnungen -- 6.5.1 Skalierbarkeit -- 6.5.2 Fehlertoleranz -- 6.5.3 Allgemeine Anwendbarkeit von MapReduce -- 6.6 Maschinennähe -- 6.6.1 Berechnungen in mehreren Schritten sind nicht intuitiv -- 6.6.2 Die manuelle Implementierung von Joins ist sehr kompliziert -- 6.6.3 Enge Kopplung der logischen und physischen Ausführung -- 6.7 Pipe-Diagramme: Eine allgemeinere Auffassung von Stapelverarbeitungsberechnungen -- 6.7.1 Konzepte der Pipe-Diagramme -- 6.7.2 Ausführen von Pipe-Diagrammen via MapReduce -- 6.7.3 Combiner-Aggregator -- 6.7.4 Beispiele für Pipe-Diagramme -- 6.8 Zusammenfassung -- Kapitel 7: Batch-Layer: Praxis -- 7.1 Ein Beispiel zur Veranschaulichung -- 7.2 Typische Schwierigkeiten Daten verarbeitender Tools -- 7.2.1 Proprietäre Sprachen -- 7.2.2 Mangelhaft einbindungsfähige Abstraktionen -- 7.3 Einführung in JCascalog -- 7.3.1 Das JCascalog-Datenmodell -- 7.3.2 Aufbau einer JCascalog-Abfrage -- 7.3.3 Abfragen mehrerer Datensätze -- 7.3.4 Gruppierung und Aggregatoren -- 7.3.5 Schrittweise Abarbeitung einer Abfrage -- 7.3.6 Benutzerdefinierte Prädikate -- 7.4 Einbindung -- 7.4.1 Subqueries kombinieren -- 7.4.2 Dynamisch erzeugte Subqueries -- 7.4.3 Prädikatmakros -- 7.4.4 Dynamisch erzeugte Prädikatmakros -- 7.5 Zusammenfassung
,
Kapitel 8: Beispiel eines Batch-Layers: Architektur und Algorithmen -- 8.1 Design des Batch-Layers für SuperWebAnalytics.com -- 8.1.1 Unterstützte Abfragen -- 8.1.2 Batch-Views -- 8.2 Überblick über den Workflow -- 8.3 Aufnahme neuer Daten -- 8.4 URL-Normalisierung -- 8.5 User-ID-Normalisierung -- 8.6 Deduplizierung der Pageviews -- 8.7 Berechnung der Batch-Views -- 8.7.1 Zeitlicher Verlauf der Pageviews -- 8.7.2 Zeitlicher Verlauf der eindeutig unterschiedlichen Besucher -- 8.7.3 Analyse der Bounce-Rate -- 8.8 Zusammenfassung -- Kapitel 9: Beispiel eines Batch-Layers: Implementierung -- 9.1 Ausgangspunkt -- 9.2 Vorbereitung des Workflows -- 9.3 Aufnahme neuer Daten -- 9.4 URL-Normalisierung -- 9.5 User-ID-Normalisierung -- 9.6 Deduplizierung der Pageviews -- 9.7 Berechnung der Batch-Views -- 9.7.1 Zeitlicher Verlauf der Pageviews -- 9.7.2 Zeitlicher Verlauf der eindeutig unterschiedlichen Besucher -- 9.7.3 Berechnung der Bounce-Rate -- 9.8 Zusammenfassung -- Teil II: Serving-Layer -- Kapitel 10: Serving-Layer -- 10.1 Performancekennzahlen des Serving-Layers -- 10.2 Lösung des Problems »Normalisierung kontra Denormalisierung« durch den Serving-Layer -- 10.3 Anforderungen an eine Datenbank für den Serving-Layer -- 10.4 Gestaltung eines Serving-Layers für SuperWebAnalytics.com -- 10.4.1 Zeitlicher Verlauf der Pageviews -- 10.4.2 Zeitlicher Verlauf eindeutig unterschiedlicher Besucher -- 10.4.3 Berechnung der Bounce-Rate -- 10.5 Vergleich mit einer vollständig inkrementellen Lösung -- 10.5.1 Vollständig inkrementelle Lösung -- 10.5.2 Vergleich mit einer auf der Lambda-Architektur beruhenden Lösung -- 10.6 Zusammenfassung -- Kapitel 11: Serving-Layer: Praxis -- 11.1 ElephantDB: Grundlagen -- 11.1.1 Views in ElephantDB erzeugen -- 11.1.2 Views in ElephantDB deployen -- 11.1.3 ElephantDB verwenden
,
11.2 Einrichtung des Serving-Layers für SuperWebAnalytics.com -- 11.2.1 Zeitlicher Verlauf der Pageviews -- 11.2.2 Zeitlicher Verlauf eindeutig unterschiedlicher Besucher -- 11.2.3 Berechnung der Bounce-Rate -- 11.3 Zusammenfassung -- Teil III: Speed-Layer -- Kapitel 12: Echtzeit-Views -- 12.1 Berechnung von Echtzeit-Views -- 12.2 Speichern der Echtzeit-Views -- 12.2.1 Letztendliche Genauigkeit -- 12.2.2 Im Speed-Layer gespeicherter Zustand -- 12.3 Schwierigkeiten bei inkrementeller Berechnung -- 12.3.1 Gültigkeit des CAP-Theorems -- 12.3.2 Das komplexe Zusammenwirken von CAP-Theorem und inkrementellen Algorithmen -- 12.4 Asynchrone kontra synchrone Aktualisierungen -- 12.5 Echtzeit-Views verwerfen -- 12.6 Zusammenfassung -- Kapitel 13: Echtzeit-Views: Praxis -- 13.1 Cassandras Datenmodell -- 13.2 Cassandra verwenden -- 13.2.1 Cassandra für Fortgeschrittene -- 13.3 Zusammenfassung -- Kapitel 14: Warteschlangen und Streamverarbeitung -- 14.1 Warteschlangen -- 14.1.1 Warteschlangen mit nur einem Abnehmer -- 14.1.2 Warteschlangen mit mehreren Abnehmern -- 14.2 Streamverarbeitung -- 14.2.1 Warteschlangen und Worker -- 14.2.2 Fallstricke beim Warteschlangen-Worker-Ansatz -- 14.3 Streamverarbeitung one-at-a-time auf höherer Ebene -- 14.3.1 Storm-Modell -- 14.3.2 Gewährleistung der Nachrichtenverarbeitung -- 14.4 SuperWebAnalytics.com: Speed-Layer -- 14.4.1 Aufbau der Topologie -- 14.5 Zusammenfassung -- Kapitel 15: Warteschlangen und Streamverarbeitung: Praxis -- 15.1 Definition einer Topologie mit Apache Storm -- 15.2 Apache Storm-Cluster und Bereitstellung -- 15.3 Gewährleistung der Nachrichtenverarbeitung -- 15.4 Implementierung des Speed-Layers -- 15.5 Zusammenfassung -- Kapitel 16: Streamverarbeitung kleiner Stapel -- 16.1 Genau einmalige Verarbeitung -- 16.1.1 Verarbeitung in streng festgelegter Reihenfolge -- 16.1.2 Streamverarbeitung kleiner Stapel
,
16.1.3 Topologien zur Verarbeitung kleiner Stapel
Additional Edition:
Print version: Marz, Nathan Big Data Frechen : mitp,c2016
Keywords:
Electronic books.
URL:
https://ebookcentral.proquest.com/lib/th-brandenburg/detail.action?docID=6947619
Bookmarklink
