Course Outline

Εισαγωγή στη Βελτιστοποίηση Μεγάλων Μοντέλων

  • Επισκόπηση αρχιτεκτονικών μεγάλων μοντέλων
  • Προκλήσεις στη μικρορύθμιση μεγάλων μοντέλων
  • Σημασία της οικονομικά αποδοτικής βελτιστοποίησης

Κατανεμημένες Τεχνικές Εκπαίδευσης

  • Εισαγωγή στα δεδομένα και παραλληλισμός μοντέλων
  • Πλαίσια για κατανεμημένη εκπαίδευση: PyTorch και TensorFlow
  • Κλιμάκωση σε πολλαπλούς GPU και κόμβους

Μοντέλο Κβαντοποίηση και Κλάδεμα

  • Κατανόηση τεχνικών κβαντοποίησης
  • Εφαρμογή κλαδέματος για μείωση του μεγέθους του μοντέλου
  • Ανταλλαγή μεταξύ ακρίβειας και αποτελεσματικότητας

Βελτιστοποίηση υλικού

  • Επιλογή του σωστού υλικού για εργασίες λεπτομέρειας
  • Βελτιστοποίηση GPU και χρήση TPU
  • Χρήση εξειδικευμένων επιταχυντών για μεγάλα μοντέλα

Αποτελεσματικό Data Management

  • Στρατηγικές για τη διαχείριση μεγάλων συνόλων δεδομένων
  • Προεπεξεργασία και παρτίδα για απόδοση
  • Τεχνικές αύξησης δεδομένων

Ανάπτυξη βελτιστοποιημένων μοντέλων

  • Τεχνικές για την ανάπτυξη βελτιστοποιημένων μοντέλων
  • Παρακολούθηση και διατήρηση της απόδοσης του μοντέλου
  • Παραδείγματα πραγματικού κόσμου βελτιστοποιημένης ανάπτυξης μοντέλων

Προηγμένες τεχνικές βελτιστοποίησης

  • Εξερευνώντας την προσαρμογή χαμηλής βαθμίδας (LoRA)
  • Χρήση προσαρμογέων για αρθρωτή λεπτομέρεια
  • Μελλοντικές τάσεις στη βελτιστοποίηση μοντέλων

Περίληψη και Επόμενα Βήματα

Requirements

  • Εμπειρία με πλαίσια βαθιάς μάθησης όπως PyTorch ή TensorFlow
  • Εξοικείωση με μεγάλα γλωσσικά μοντέλα και τις εφαρμογές τους
  • Κατανόηση των εννοιών κατανεμημένων υπολογιστών

Ακροατήριο

  • Μηχανικοί μηχανικής εκμάθησης
  • Ειδικοί στο Cloud AI
 21 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories