DeepSpeed for Deep Learning Training Course
Το DeepSpeed είναι μια βιβλιοθήκη βελτιστοποίησης βαθιάς μάθησης που διευκολύνει την κλίμακα μοντέλων βαθιάς εκμάθησης σε κατανεμημένο υλικό. Αναπτύχθηκε από τον Microsoft, το DeepSpeed ενσωματώνεται με το PyTorch για να παρέχει καλύτερη κλιμάκωση, ταχύτερη εκπαίδευση και βελτιωμένη χρήση πόρων.
Αυτή η ζωντανή εκπαίδευση (διαδικτυακή ή επιτόπου) καθοδηγούμενη από εκπαιδευτές απευθύνεται σε αρχάριους έως μεσαίου επιπέδου επιστήμονες δεδομένων και μηχανικούς μηχανικής μάθησης που επιθυμούν να βελτιώσουν την απόδοση των μοντέλων βαθιάς μάθησης.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε τις αρχές της κατανεμημένης βαθιάς μάθησης.
- Εγκαταστήστε και διαμορφώστε το DeepSpeed.
- Κλιμακώστε τα μοντέλα βαθιάς εκμάθησης σε κατανεμημένο υλικό χρησιμοποιώντας το DeepSpeed.
- Εφαρμόστε και πειραματιστείτε με λειτουργίες DeepSpeed για βελτιστοποίηση και απόδοση μνήμης.
Μορφή του μαθήματος
- Διαδραστική διάλεξη και συζήτηση.
- Πολλές ασκήσεις και εξάσκηση.
- Πρακτική εφαρμογή σε περιβάλλον ζωντανού εργαστηρίου.
Επιλογές προσαρμογής μαθήματος
- Για να ζητήσετε μια εξατομικευμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσουμε.
Course Outline
Εισαγωγή
- Επισκόπηση των προκλήσεων κλιμάκωσης βαθιάς μάθησης
- Επισκόπηση του DeepSpeed και των δυνατοτήτων του
- DeepSpeed έναντι άλλων κατανεμημένων βιβλιοθηκών βαθιάς μάθησης
Ξεκινώντας
- Ρύθμιση του περιβάλλοντος ανάπτυξης
- Εγκατάσταση PyTorch και DeepSpeed
- Διαμόρφωση του DeepSpeed για κατανεμημένη εκπαίδευση
Δυνατότητες βελτιστοποίησης DeepSpeed
- Σωλήνας εκπαίδευσης DeepSpeed
- ZeRO (βελτιστοποίηση μνήμης)
- Σημείο ελέγχου ενεργοποίησης
- Σημείο ελέγχου κλίσης
- Παραλληλισμός αγωγών
Κλιμάκωση μοντέλων με DeepSpeed
- Βασική κλιμάκωση με χρήση DeepSpeed
- Προηγμένες τεχνικές κλιμάκωσης
- Θεωρήσεις απόδοσης και βέλτιστες πρακτικές
- Τεχνικές εντοπισμού σφαλμάτων και αντιμετώπισης προβλημάτων
Προηγμένα θέματα DeepSpeed
- Προηγμένες τεχνικές βελτιστοποίησης
- Χρήση DeepSpeed με προπόνηση μεικτής ακρίβειας
- DeepSpeed σε διαφορετικό υλικό (π.χ. GPUs, TPU)
- DeepSpeed με πολλαπλούς κόμβους εκπαίδευσης
Ενσωμάτωση του DeepSpeed με το PyTorch
- Ενσωμάτωση ροών εργασίας DeepSpeed με PyTorch
- Χρήση DeepSpeed με PyTorch Lightning
Αντιμετώπιση προβλημάτων
- Εντοπισμός σφαλμάτων κοινών προβλημάτων DeepSpeed
- Παρακολούθηση και καταγραφή
Περίληψη και Επόμενα Βήματα
- Ανακεφαλαίωση βασικών εννοιών και χαρακτηριστικών
- Βέλτιστες πρακτικές για τη χρήση του DeepSpeed στην παραγωγή
- Περισσότεροι πόροι για να μάθετε περισσότερα σχετικά με το DeepSpeed
Requirements
- Ενδιάμεση γνώση αρχών βαθιάς μάθησης
- Εμπειρία με PyTorch ή παρόμοια πλαίσια βαθιάς μάθησης
- Εξοικείωση με τον προγραμματισμό Python
Ακροατήριο
- Επιστήμονες δεδομένων
- Μηχανικοί μηχανικής εκμάθησης
- προγραμματιστές
Open Training Courses require 5+ participants.
DeepSpeed for Deep Learning Training Course - Booking
DeepSpeed for Deep Learning Training Course - Enquiry
DeepSpeed for Deep Learning - Consultancy Enquiry
Consultancy Enquiry
Upcoming Courses
Related Courses
Advanced Stable Diffusion: Deep Learning for Text-to-Image Generation
21 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων μεσαίου έως προχωρημένου επιπέδου, μηχανικούς μηχανικής μάθησης, ερευνητές βαθιάς μάθησης και ειδικούς στην όραση υπολογιστών που επιθυμούν να επεκτείνουν τις γνώσεις και τις δεξιότητές τους στη βαθιά μάθηση για δημιουργία κειμένου σε εικόνα.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε προηγμένες αρχιτεκτονικές βαθιάς εκμάθησης και τεχνικές για τη δημιουργία κειμένου σε εικόνα.
- Εφαρμόστε πολύπλοκα μοντέλα και βελτιστοποιήσεις για σύνθεση εικόνας υψηλής ποιότητας.
- Βελτιστοποιήστε την απόδοση και την επεκτασιμότητα για μεγάλα σύνολα δεδομένων και πολύπλοκα μοντέλα.
- Συντονίστε τις υπερπαραμέτρους για καλύτερη απόδοση και γενίκευση του μοντέλου.
- Ενσωματώστε το Stable Diffusion με άλλα πλαίσια και εργαλεία βαθιάς μάθησης
AlphaFold
7 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε βιολόγους που επιθυμούν να κατανοήσουν πώς λειτουργεί το AlphaFold και να χρησιμοποιούν μοντέλα AlphaFold ως οδηγούς στις πειραματικές τους μελέτες.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε τις βασικές αρχές του AlphaFold.
- Μάθετε πώς λειτουργεί το AlphaFold.
- Μάθετε πώς να ερμηνεύετε AlphaFold προβλέψεις και αποτελέσματα.
Applied AI from Scratch
28 HoursΑυτό είναι ένα μάθημα 4 ημερών που εισάγει την τεχνητή νοημοσύνη και την εφαρμογή της. Υπάρχει μια επιλογή να έχετε μια επιπλέον ημέρα για να αναλάβετε ένα έργο AI μετά την ολοκλήρωση αυτού του μαθήματος.
Deep Learning for Vision with Caffe
21 HoursCaffe είναι ένα βαθύ πλαίσιο μάθησης που γίνεται με γνώμονα την έκφραση, την ταχύτητα και τη διαμόρφωση.
Αυτό το μάθημα διερευνά την εφαρμογή του Caffe ως πλαισίου βαθιάς μάθησης για την αναγνώριση εικόνων χρησιμοποιώντας το MNIST ως παράδειγμα
Κοινό
Αυτό το μάθημα είναι κατάλληλο για τους ερευνητές και τους μηχανικούς της Deep Learning ενδιαφέρονται να χρησιμοποιήσουν το Caffe ως πλαίσιο.
Μετά την ολοκλήρωση αυτού του μαθήματος, οι εκπρόσωποι θα μπορούν:
- κατανοήσουν τη δομή και τους μηχανισμούς ανάπτυξης του Caffe
- εκτελέστε εργασίες εγκατάστασης / περιβάλλοντος παραγωγής / αρχιτεκτονικής και διαμόρφωση
- να αξιολογήσει την ποιότητα του κώδικα, να εκτελέσει εντοπισμό σφαλμάτων, παρακολούθηση
- να εφαρμόσουν προηγμένη παραγωγή όπως μοντέλα εκπαίδευσης, υλοποίηση στρώσεων και καταγραφή
Deep Learning Neural Networks with Chainer
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε ερευνητές και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το Chainer για να δημιουργήσουν και να εκπαιδεύσουν νευρωνικά δίκτυα στο Python, ενώ παράλληλα κάνουν τον κώδικα εύκολο στον εντοπισμό σφαλμάτων.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσετε την ανάπτυξη μοντέλων νευρωνικών δικτύων.
- Ορίστε και εφαρμόστε μοντέλα νευρωνικών δικτύων χρησιμοποιώντας έναν κατανοητό πηγαίο κώδικα.
- Εκτελέστε παραδείγματα και τροποποιήστε υπάρχοντες αλγόριθμους για να βελτιστοποιήσετε τα μοντέλα εκπαίδευσης βαθιάς μάθησης, αξιοποιώντας παράλληλα GPU για υψηλή απόδοση.
Using Computer Network ToolKit (CNTK)
28 HoursΤο Computer Network ToolKit (CNTK) είναι το Open Source, Multi-machine, Multi-GPU, εξαιρετικά αποτελεσματικό πλαίσιο μηχανικής εκμάθησης RNN της Microsoft για ομιλία, κείμενο και εικόνες.
Ακροατήριο
Αυτό το μάθημα απευθύνεται σε μηχανικούς και αρχιτέκτονες που στοχεύουν να χρησιμοποιήσουν το CNTK στα έργα τους.
Computer Vision with Google Colab and TensorFlow
21 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επαγγελματίες προχωρημένου επιπέδου που επιθυμούν να εμβαθύνουν την κατανόησή τους για την όραση υπολογιστή και να εξερευνήσουν τις δυνατότητες του TensorFlow για την ανάπτυξη εξελιγμένων μοντέλων όρασης χρησιμοποιώντας Google Colab.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Δημιουργήστε και εκπαιδεύστε συνελικτικά νευρωνικά δίκτυα (CNN) χρησιμοποιώντας το TensorFlow.
- Αξιοποιήστε το Google Colab για επεκτάσιμη και αποτελεσματική ανάπτυξη μοντέλων βάσει cloud.
- Εφαρμογή τεχνικών προεπεξεργασίας εικόνας για εργασίες όρασης υπολογιστή.
- Αναπτύξτε μοντέλα όρασης υπολογιστή για εφαρμογές πραγματικού κόσμου.
- Χρησιμοποιήστε την εκμάθηση μεταφοράς για να βελτιώσετε την απόδοση των μοντέλων CNN.
- Οπτικοποιήστε και ερμηνεύστε τα αποτελέσματα των μοντέλων ταξινόμησης εικόνων.
Deep Learning with TensorFlow in Google Colab
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες και προγραμματιστές δεδομένων μεσαίου επιπέδου που επιθυμούν να κατανοήσουν και να εφαρμόσουν τεχνικές βαθιάς μάθησης χρησιμοποιώντας το περιβάλλον Google Colab.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε και πλοηγηθείτε στο Google Colab για έργα βαθιάς μάθησης.
- Κατανοήστε τις βασικές αρχές των νευρωνικών δικτύων.
- Εφαρμόστε μοντέλα βαθιάς μάθησης χρησιμοποιώντας το TensorFlow.
- Εκπαιδεύστε και αξιολογήστε μοντέλα βαθιάς μάθησης.
- Χρησιμοποιήστε προηγμένες δυνατότητες του TensorFlow για βαθιά μάθηση.
Deep Learning for NLP (Natural Language Processing)
28 HoursΣε αυτή τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα, οι συμμετέχοντες θα μάθουν να χρησιμοποιούν Python βιβλιοθήκες για το NLP καθώς δημιουργούν μια εφαρμογή που επεξεργάζεται ένα σύνολο εικόνων και δημιουργεί υπότιτλους.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Σχεδιασμός και κωδικοποίηση DL για NLP χρησιμοποιώντας Python βιβλιοθήκες.
- Δημιουργήστε κώδικα Python που διαβάζει μια ουσιαστικά τεράστια συλλογή εικόνων και δημιουργεί λέξεις-κλειδιά.
- Δημιουργήστε Python κώδικα που δημιουργεί υπότιτλους από τις λέξεις-κλειδιά που εντοπίστηκαν.
Edge AI with TensorFlow Lite
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές μεσαίου επιπέδου, επιστήμονες δεδομένων και επαγγελματίες τεχνητής νοημοσύνης που επιθυμούν να αξιοποιήσουν TensorFlow εφαρμογές τεχνητής νοημοσύνης στο Lite for Edge.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε τις βασικές αρχές του TensorFlow Lite και τον ρόλο του στο Edge AI.
- Αναπτύξτε και βελτιστοποιήστε μοντέλα AI χρησιμοποιώντας το TensorFlow Lite.
- Αναπτύξτε μοντέλα TensorFlow Lite σε διάφορες συσκευές αιχμής.
- Χρησιμοποιήστε εργαλεία και τεχνικές για τη μετατροπή και τη βελτιστοποίηση μοντέλων.
- Εφαρμόστε πρακτικές εφαρμογές Edge AI χρησιμοποιώντας το TensorFlow Lite.
Accelerating Deep Learning with FPGA and OpenVINO
35 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων που επιθυμούν να επιταχύνουν εφαρμογές μηχανικής εκμάθησης σε πραγματικό χρόνο και να τις αναπτύξουν σε κλίμακα.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Εγκαταστήστε την εργαλειοθήκη OpenVINO.
- Επιταχύνετε μια εφαρμογή όρασης υπολογιστή χρησιμοποιώντας ένα FPGA.
- Εκτελέστε διαφορετικά επίπεδα CNN στο FPGA.
- Κλιμακώστε την εφαρμογή σε πολλούς κόμβους σε ένα σύμπλεγμα Kubernetes.
Distributed Deep Learning with Horovod
7 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές ή επιστήμονες δεδομένων που επιθυμούν να χρησιμοποιήσουν το Horovod για να εκτελέσουν κατανεμημένες εκπαιδεύσεις βαθιάς μάθησης και να το κλιμακώσουν ώστε να εκτελούνται σε πολλά GPU παράλληλα. .
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσετε την εκτέλεση εκπαιδεύσεων βαθιάς μάθησης.
- Εγκαταστήστε και διαμορφώστε το Horovod για να εκπαιδεύσετε μοντέλα με TensorFlow, Keras, PyTorch και Apache MXNet.
- Κλιμακώστε την εκπαίδευση βαθιάς μάθησης με το Horovod για να τρέξετε σε πολλαπλά GPU δευτερόλεπτα.
Deep Learning with Keras
21 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε τεχνικά άτομα που επιθυμούν να εφαρμόσουν μοντέλο βαθιάς μάθησης σε εφαρμογές αναγνώρισης εικόνων.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Εγκαταστήστε και διαμορφώστε το Keras.
- Δημιουργήστε γρήγορα πρωτότυπα μοντέλων βαθιάς μάθησης.
- Εφαρμόστε ένα συνελικτικό δίκτυο.
- Εφαρμόστε ένα επαναλαμβανόμενο δίκτυο.
- Εκτελέστε ένα μοντέλο βαθιάς εκμάθησης τόσο σε CPU όσο και σε GPU.
Introduction to Stable Diffusion for Text-to-Image Generation
21 HoursΑυτή η ζωντανή εκπαίδευση (διαδικτυακή ή επιτόπου) από εκπαιδευτές απευθύνεται σε επιστήμονες δεδομένων, μηχανικούς μηχανικής μάθησης και ερευνητές όρασης υπολογιστών που επιθυμούν να αξιοποιήσουν το Stable Diffusion για να δημιουργήσουν εικόνες υψηλής ποιότητας για ποικίλες περιπτώσεις χρήσης.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε τις αρχές του Stable Diffusion και πώς λειτουργεί για τη δημιουργία εικόνων.
- Δημιουργήστε και εκπαιδεύστε Stable Diffusion μοντέλα για εργασίες δημιουργίας εικόνας.
- Εφαρμόστε το Stable Diffusion σε διάφορα σενάρια δημιουργίας εικόνας, όπως inpainting, outpainting και μετάφραση εικόνας σε εικόνα.
- Βελτιστοποιήστε την απόδοση και τη σταθερότητα των μοντέλων Stable Diffusion.
Tensorflow Lite for Microcontrollers
21 HoursΑυτή η ζωντανή εκπαίδευση στο Ελλάδα από εκπαιδευτές (διαδικτυακή ή επιτόπου) απευθύνεται σε μηχανικούς που επιθυμούν να γράψουν, να φορτώσουν και να εκτελέσουν μοντέλα μηχανικής εκμάθησης σε πολύ μικρές ενσωματωμένες συσκευές.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Εγκαταστήστε το TensorFlow Lite.
- Φορτώστε μοντέλα μηχανικής εκμάθησης σε μια ενσωματωμένη συσκευή για να μπορέσει να ανιχνεύσει ομιλία, να ταξινομήσει εικόνες κ.λπ.
- Προσθέστε AI σε συσκευές υλικού χωρίς να βασίζεστε στη συνδεσιμότητα δικτύου.