Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
1: HDFS (17%)
- Περιγράψτε τη λειτουργία των HDFS Daemons
- Περιγράψτε την κανονική λειτουργία ενός συμπλέγματος Apache Hadoop, τόσο στην αποθήκευση δεδομένων όσο και στην επεξεργασία δεδομένων.
- Προσδιορίστε τα τρέχοντα χαρακτηριστικά των υπολογιστικών συστημάτων που παρακινούν ένα σύστημα όπως το Apache Hadoop.
- Ταξινομήστε τους κύριους στόχους του HDFS Design
- Με δεδομένο ένα σενάριο, εντοπίστε την κατάλληλη περίπτωση χρήσης για την Ομοσπονδία HDFS
- Προσδιορίστε στοιχεία και δαίμονες ενός συμπλέγματος HDFS HA-Quorum
- Αναλύστε το ρόλο της ασφάλειας HDFS (Kerberos)
- Προσδιορίστε την καλύτερη επιλογή σειριοποίησης δεδομένων για ένα δεδομένο σενάριο
- Περιγράψτε τις διαδρομές ανάγνωσης και εγγραφής αρχείων
- Προσδιορίστε τις εντολές για τον χειρισμό αρχείων στο Hadoop Κέλυφος συστήματος αρχείων
2: YARN και MapReduce έκδοση 2 (MRv2) (17%)
- Κατανοήστε πώς η αναβάθμιση ενός συμπλέγματος από Hadoop 1 σε Hadoop 2 επηρεάζει τις ρυθμίσεις του συμπλέγματος
- Κατανοήστε πώς να αναπτύξετε το MapReduce v2 (MRv2 / YARN), συμπεριλαμβανομένων όλων των δαιμόνων του YARN
- Κατανόηση της βασικής στρατηγικής σχεδιασμού για το MapReduce v2 (MRv2)
- Προσδιορίστε τον τρόπο με τον οποίο το YARN χειρίζεται τις κατανομές πόρων
- Προσδιορίστε τη ροή εργασιών της εργασίας MapReduce που εκτελείται στο YARN
- Καθορίστε ποια αρχεία πρέπει να αλλάξετε και πώς για να μεταφέρετε ένα σύμπλεγμα από το MapReduce έκδοση 1 (MRv1) στην έκδοση MapReduce 2 (MRv2) που εκτελείται στο YARN.
3: Hadoop Σχεδιασμός συμπλεγμάτων (16%)
- Κύρια σημεία που πρέπει να λάβετε υπόψη κατά την επιλογή του υλικού και των λειτουργικών συστημάτων που θα φιλοξενήσουν ένα σύμπλεγμα Apache Hadoop.
- Αναλύστε τις επιλογές κατά την επιλογή ενός λειτουργικού συστήματος
- Κατανοήστε τον συντονισμό πυρήνα και την εναλλαγή δίσκων
- Δεδομένου ενός μοτίβου σεναρίου και φόρτου εργασίας, προσδιορίστε μια διαμόρφωση υλικού κατάλληλη για το σενάριο
- Λαμβάνοντας υπόψη ένα σενάριο, καθορίστε τα στοιχεία οικοσυστήματος που χρειάζεται να τρέξει το σύμπλεγμα σας προκειμένου να εκπληρώσει το SLA
- Μέγεθος συμπλέγματος: δεδομένου ενός σεναρίου και της συχνότητας εκτέλεσης, προσδιορίστε τις ιδιαιτερότητες για τον φόρτο εργασίας, συμπεριλαμβανομένης της CPU, της μνήμης, της αποθήκευσης, του δίσκου I/O
- Μέγεθος και διαμόρφωση δίσκου, συμπεριλαμβανομένων απαιτήσεων JBOD έναντι RAID, SAN, εικονικοποίησης και μεγέθους δίσκου σε ένα σύμπλεγμα
- Τοπολογίες δικτύου: κατανοούν τη χρήση δικτύου στο Hadoop (τόσο για HDFS όσο και για MapReduce) και προτείνουν ή προσδιορίζουν βασικά στοιχεία σχεδίασης δικτύου για ένα δεδομένο σενάριο
4: Hadoop Εγκατάσταση και διαχείριση συμπλέγματος (25%)
- Δεδομένου ενός σεναρίου, προσδιορίστε πώς το σύμπλεγμα θα χειριστεί τις αστοχίες δίσκου και μηχανήματος
- Αναλύστε μια μορφή αρχείου διαμόρφωσης καταγραφής και διαμόρφωσης καταγραφής
- Κατανοήστε τα βασικά των Hadoop μετρήσεων και της παρακολούθησης της υγείας των συμπλεγμάτων
- Προσδιορίστε τη λειτουργία και τον σκοπό των διαθέσιμων εργαλείων για την παρακολούθηση συστάδων
- Να είστε σε θέση να εγκαταστήσετε όλα τα στοιχεία του οικοσυστήματος στο CDH 5, συμπεριλαμβανομένων (αλλά δεν περιορίζονται σε): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive και Pig
- Προσδιορίστε τη λειτουργία και το σκοπό των διαθέσιμων εργαλείων για τη διαχείριση του συστήματος αρχείων Apache Hadoop
5: Πόρος Management (10%)
- Κατανοήστε τους γενικούς σχεδιαστικούς στόχους καθενός από τους Hadoop προγραμματιστές
- Με δεδομένο ένα σενάριο, προσδιορίστε τον τρόπο με τον οποίο το FIFO Scheduler κατανέμει πόρους συμπλέγματος
- Λαμβάνοντας υπόψη ένα σενάριο, καθορίστε πώς το Fair Scheduler κατανέμει πόρους συμπλέγματος στο YARN
- Λαμβάνοντας υπόψη ένα σενάριο, προσδιορίστε τον τρόπο με τον οποίο ο Προγραμματιστής χωρητικότητας κατανέμει πόρους συμπλέγματος
6: Παρακολούθηση και καταγραφή (15%)
- Κατανοήστε τις λειτουργίες και τα χαρακτηριστικά των ικανοτήτων συλλογής μετρικών του Hadoop
- Αναλύστε τις διεπαφές Web NameNode και JobTracker
- Κατανοήστε πώς να παρακολουθείτε τους δαίμονες συμπλέγματος
- Προσδιορίστε και παρακολουθήστε τη χρήση της CPU στους κύριους κόμβους
- Περιγράψτε πώς να παρακολουθείτε την ανταλλαγή και την κατανομή μνήμης σε όλους τους κόμβους
- Προσδιορίστε τον τρόπο προβολής και διαχείρισης των αρχείων καταγραφής του Hadoop
- Ερμηνεύστε ένα αρχείο καταγραφής
Requirements
- Βασικές Linux δεξιότητες διοίκησης
- Βασικές δεξιότητες προγραμματισμού
35 Hours
Testimonials (3)
I genuinely enjoyed the many hands-on sessions.
Jacek Pieczatka
Course - Administrator Training for Apache Hadoop
I genuinely enjoyed the big competences of Trainer.
Grzegorz Gorski
Course - Administrator Training for Apache Hadoop
I mostly liked the trainer giving real live Examples.
