Course Outline
Ενότητα 1: Data Management σε HDFS
- Διάφορες μορφές δεδομένων (JSON / Avro / Παρκέ)
- Σχέδια Συμπίεσης
- Απόκρυψη δεδομένων
- Εργαστήρια: Ανάλυση διαφορετικών μορφών δεδομένων. επιτρέποντας τη συμπίεση
Ενότητα 2: Προχωρημένος Χοίρος
- Λειτουργίες που καθορίζονται από το χρήστη
- Εισαγωγή στις Βιβλιοθήκες Χοίρων (ElephantBird / Data-Fu)
- Φόρτωση σύνθετων δομημένων δεδομένων με χρήση Pig
- Pig Tuning
- Εργαστήρια: προηγμένη δέσμη ενεργειών χοίρων, ανάλυση πολύπλοκων τύπων δεδομένων
Ενότητα 3 : Για προχωρημένους Hive
- Λειτουργίες που καθορίζονται από το χρήστη
- Συμπιεσμένοι πίνακες
- Hive Συντονισμός απόδοσης
- Εργαστήρια: δημιουργία συμπιεσμένων πινάκων, αξιολόγηση μορφών και διαμόρφωσης πινάκων
Ενότητα 4: Προηγμένη HBase
- Προηγμένη Μοντελοποίηση Σχήματος
- Συμπίεση
- Μαζική απορρόφηση δεδομένων
- Σύγκριση πλατύ τραπέζι / ψηλό τραπέζι
- HBase and Pig
- HBase και Hive
- HBase Performance Tuning
- Εργαστήρια: συντονισμός HBase; πρόσβαση σε δεδομένα HBase από το Pig & Hive; Χρήση του Phoenix για μοντελοποίηση δεδομένων
Requirements
- άνετα με Java γλώσσα προγραμματισμού (οι περισσότερες ασκήσεις προγραμματισμού είναι σε java)
- άνετα σε περιβάλλον Linux (μπορείτε να πλοηγηθείτε στη γραμμή εντολών Linux, να επεξεργαστείτε αρχεία χρησιμοποιώντας vi / nano)
- γνώση εργασίας του Hadoop.
Περιβάλλον εργαστηρίου
Zero Install: Δεν χρειάζεται να εγκαταστήσετε λογισμικό hadoop στα μηχανήματα των μαθητών! Θα παρασχεθεί ένα εργασιακό σύμπλεγμα hadoop για τους μαθητές.
Οι μαθητές θα χρειαστούν τα ακόλουθα
- ένας πελάτης SSH (Linux και ο Mac έχουν ήδη προγράμματα-πελάτες ssh, για το Windows Putty συνιστάται)
- ένα πρόγραμμα περιήγησης για πρόσβαση στο σύμπλεγμα. Συνιστούμε το πρόγραμμα περιήγησης Firefox
Testimonials (5)
The live examples
Ahmet Bolat - Accenture Industrial SS
Course - Python, Spark, and Hadoop for Big Data
During the exercises, James explained me every step whereever I was getting stuck in more detail. I was completely new to NIFI. He explained the actual purpose of NIFI, even the basics such as open source. He covered every concept of Nifi starting from Beginner Level to Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Course - Apache NiFi for Administrators
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Course - Impala for Business Intelligence
That I had it in the first place.
Peter Scales - CACI Ltd
Course - Apache NiFi for Developers
practical things of doing, also theory was served good by Ajay