Course Outline

Ανασκόπηση του Apache Airflow Βασικά

  • Βασικές έννοιες: DAG, εργασίες και τελεστές
  • Αρχιτεκτονική και εξαρτήματα ροής αέρα
  • Ανακεφαλαίωση περιπτώσεων κοινής χρήσης και ροών εργασίας

Βελτιστοποίηση της απόδοσης ροής εργασίας

  • Εντοπισμός σημείων συμφόρησης στους αγωγούς ροής αέρα
  • Τεχνικές βελτιστοποίησης σε επίπεδο εργασίας
  • Αξιοποίηση επαναλήψεων εργασιών, παραλληλισμού και συγχρονισμού

Διαχείριση σύνθετων εξαρτήσεων

  • Καθορισμός δυναμικών εξαρτήσεων στις ροές εργασίας
  • Χειρισμός ροών εργασίας υπό όρους και διακλάδωσης
  • Αποτελεσματική χρήση ομάδων εργασιών και υπο-DAG

Προηγμένες δυνατότητες στο Apache Airflow

  • Δημιουργία προσαρμοσμένων χειριστών και αγκίστρων
  • Εφαρμογή αισθητήρων για εξωτερικές σκανδάλες
  • Ενσωμάτωση υπηρεσιών και προσθηκών τρίτων

Κλιμάκωση Apache Airflow Αναπτύξεις

  • Προσεγγίσεις οριζόντιας και κατακόρυφης κλίμακας
  • Χρήση Celery Executors για κατανεμημένη εκτέλεση
  • Βέλτιστες πρακτικές για την κλιμάκωση σε περιβάλλοντα cloud

Ροές εργασιών παρακολούθησης και εντοπισμού σφαλμάτων

  • Διαμόρφωση καταγραφής και ειδοποιήσεων για παρακολούθηση ροής εργασιών
  • Χρήση του Airflow UI και του CLI για την αντιμετώπιση προβλημάτων
  • Προσδιορισμός και επίλυση κοινών προβλημάτων στις αναπτύξεις ροής αέρα

Ασφάλιση Apache Airflow

  • Έλεγχος ταυτότητας και έλεγχος πρόσβασης στο Airflow
  • Προστασία ευαίσθητων δεδομένων και διαμορφώσεων περιβάλλοντος
  • Εφαρμογή διαδρομών ελέγχου για ροές εργασιών

Enterprise Use Cases and Best Practices

  • Σχεδιασμός ισχυρών ροών εργασίας για περιβάλλοντα παραγωγής
  • Μόχλευση ροής αέρα για μηχανική δεδομένων και αγωγούς ETL
  • Διερεύνηση πραγματικών περιπτωσιολογικών μελετών κλιμακούμενων αναπτύξεων Airflow

Περίληψη και Επόμενα Βήματα

Requirements

  • Βασικές γνώσεις Apache Airflow
  • Εξοικείωση με Python έννοιες προγραμματισμού και ενορχήστρωσης ροής εργασιών
  • Εμπειρία στη διαχείριση και ανάπτυξη εφαρμογών σε Linux περιβάλλοντα

Ακροατήριο

  • Μηχανικοί δεδομένων
  • DevOps επαγγελματίες
  • προγραμματιστές λογισμικού
 21 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories