Course Outline

Εισαγωγή

  • Επισκόπηση των προκλήσεων κλιμάκωσης βαθιάς μάθησης
  • Επισκόπηση του DeepSpeed και των δυνατοτήτων του
  • DeepSpeed έναντι άλλων κατανεμημένων βιβλιοθηκών βαθιάς μάθησης

Ξεκινώντας

  • Ρύθμιση του περιβάλλοντος ανάπτυξης
  • Εγκατάσταση PyTorch και DeepSpeed
  • Διαμόρφωση του DeepSpeed για κατανεμημένη εκπαίδευση

Δυνατότητες βελτιστοποίησης DeepSpeed

  • Σωλήνας εκπαίδευσης DeepSpeed
  • ZeRO (βελτιστοποίηση μνήμης)
  • Σημείο ελέγχου ενεργοποίησης
  • Σημείο ελέγχου κλίσης
  • Παραλληλισμός αγωγών

Κλιμάκωση μοντέλων με DeepSpeed

  • Βασική κλιμάκωση με χρήση DeepSpeed
  • Προηγμένες τεχνικές κλιμάκωσης
  • Θεωρήσεις απόδοσης και βέλτιστες πρακτικές
  • Τεχνικές εντοπισμού σφαλμάτων και αντιμετώπισης προβλημάτων

Προηγμένα θέματα DeepSpeed

  • Προηγμένες τεχνικές βελτιστοποίησης
  • Χρήση DeepSpeed με προπόνηση μεικτής ακρίβειας
  • DeepSpeed σε διαφορετικό υλικό (π.χ. GPUs, TPU)
  • DeepSpeed με πολλαπλούς κόμβους εκπαίδευσης

Ενσωμάτωση του DeepSpeed με το PyTorch

  • Ενσωμάτωση ροών εργασίας DeepSpeed με PyTorch
  • Χρήση DeepSpeed με PyTorch Lightning

Αντιμετώπιση προβλημάτων

  • Εντοπισμός σφαλμάτων κοινών προβλημάτων DeepSpeed
  • Παρακολούθηση και καταγραφή

Περίληψη και Επόμενα Βήματα

  • Ανακεφαλαίωση βασικών εννοιών και χαρακτηριστικών
  • Βέλτιστες πρακτικές για τη χρήση του DeepSpeed στην παραγωγή
  • Περισσότεροι πόροι για να μάθετε περισσότερα σχετικά με το DeepSpeed

Requirements

  • Ενδιάμεση γνώση αρχών βαθιάς μάθησης
  • Εμπειρία με PyTorch ή παρόμοια πλαίσια βαθιάς μάθησης
  • Εξοικείωση με τον προγραμματισμό Python

Ακροατήριο

  • Επιστήμονες δεδομένων
  • Μηχανικοί μηχανικής εκμάθησης
  • προγραμματιστές
 21 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories