Κατανόηση βαθύων νευρωνικών δικτύων Κομμάτι εκπαίδευσης

Μέρος 1 – Εννοιές βαθυϊνής μάθησης και DNN

Εισαγωγή στην τεχνητή νοημοσύνη, την μηχανική μάθηση και τη βαθυϊνή μάθηση

• Ιστορία, βασικές εννοιές και συνηθισμένες εφαρμογές της τεχνητής νοημοσύνης απέχουν από τις φαντασίες που μεταφέρει αυτό το χώρο
• Συλλογική νοημοσύνη: συνάθιση γνώσεων που κοινοποιούνται από διαφορετικούς εικαστικούς αγέντες
• Γενετικά αλγόριθμοι: για να εξελίσσονται πληθυσμοί διαφορετικών εικαστικών αγέντων μέσω της επιλογής
• Συνηθισμένες μηχανές μάθησης: ορισμός.
• Τύποι εργασιών: επιβλεπόμενη μάθηση, ανεπιβλεπόμενη μάθηση, συνεχής μάθηση
• Τύποι δραστηριοτήτων: κατηγοριοποίηση, προβλεψιμότητα, τυπώνους, εκτίμηση πυκνότητας, μείωση διάστασης
• Παραδείγματα αλγορίθμων μηχανικής μάθησης: γραμμική προβλεψιμότητα, Naive Bayes, Random Tree
• Μηχανική μάθηση VS βαθυϊνή μάθηση: προβλήματα στα οποία η μηχανική μάθηση εξακολουθεί να αποτελεί το κύριο πρότυπο (Random Forests & XGBoosts)

Βασικές εννοιές νευρωνικών δικτύων (Εφαρμογή: πολυστρωμάτια perceptron)

• Υπενθύμιση των μαθηματικών βάσεων.
• Ορισμός νευρωνικού δικτύου: κλασική αρχιτεκτονική, ενεργοποίηση και
• Βάρη προηγούμενων ενεργοποιήσεων, βαθύς όρος νευρωνικού δικτύου
• Ορισμός της μάθησης ενός νευρωνικού δικτύου: κόστος, back-propagation, στοχαστική παραγώγωση, μέγιστη πιθανοφάνεια.
• Μοντελοποίηση νευρωνικού δικτύου: μοντελοποίηση εισόδου και εξόδου δεδομένων σύμφωνα με Τον τύπο του προβλήματος (προβλεψιμότητα, κατηγοριοποίηση...). Κατάρα διαστάσεων.
• Διάκριση μεταξύ Πολυδιάστατα δεδομένα και σήμα. Επιλογή ενός κόστους όρου ανάλογα των δεδομένων.
• Προσέγγιση μιας συνάρτησης με νευρωνικό δίκτυο: παρουσίαση και παραδείγματα
• Προσέγγιση μιας κατανομής από νευρωνικό δίκτυο: παρουσίαση και παραδείγματα
• Αύξηση δεδομένων: πώς να εξισορροπήσετε ένα dataset
• Γενίκευση των αποτελεσμάτων νευρωνικού δικτύου.
• Αρχικοποίηση και ρυθμίζους ενός νευρωνικού δικτύου: L1 / L2 ρύθμιση, Batch Normalization
• Αλγόριθμοι βελτιστοποίησης και σύγκλισης

Πρότυπα ML / DL κανονικά

Μια απλή παρουσίαση με προβλέψεις, αδικίες, θέση στο οικοσύστημα και χρήση είναι προγραμματισμένες.

• Εργαλεία διαχείρισης δεδομένων: Apache Spark, Apache Hadoop Εργαλεία
• Μηχανική μάθηση: Numpy, Scipy, Sci-kit
• Δομές υψηλού επιπέδου DL: PyTorch, Keras, Lasagne
• Εργαλεία κατώτερου επιπέδου DL: Theano, Torch, Caffe, Tensorflow

Νευρωνικά δίκτυα αλληλοδρόμου (CNN).

• Παρουσίαση CNN: βασικές αρχές και εφαρμογές
• Βασική λειτουργία των CNN: συναλλαγές, χρησιμοποίηση kenel,
• Padding & stride, παραγωγή feature map, pooling layers. Εκτενείς 1D, 2D και 3D.
• Παρουσίαση διαφορετικών αρχιτεκτονικών CNN που φέρνουν το κύριο πρότυπο στην κατηγοριοποίηση
• Εικόνες: LeNet, VGG Networks, Network in Network, Inception, Resnet. Παρουσίαση Διαφορών που εισήχθησαν από κάθε αρχιτεκτονική και τις γενικότερες εφαρμογές (Convolution 1x1 ή residual connections)
• Χρησιμοποίηση αλγορίθμου προσοχής.
• Εφαρμογή σε κοινό περίπτωμα κατηγοριοποίησης (κείμενο ή εικόνα)
• CNNs για παραγωγή: υπερυψωμένη ανάλυση, pixel-to-pixel segmentation. Παρουσίαση
• Βασικές στρατηγικές για την αύξηση feature maps για παραγωγή εικόνων.

Νευρωνικά δίκτυα αλληλοδρόμου (RNN).

• Παρουσίαση RNNs: βασικές αρχές και εφαρμογές.
• Βασική λειτουργία των RNN: κρυφή ενεργοποίηση, back propagation through time, Αναδιάτυπωση.
• Εξέλιξη προς τα Gated Recurrent Units (GRUs) και LSTM (Long Short Term Memory).
• Παρουσίαση διαφορετικών καταστάσεων και των εξελίξεων που εισήχθησαν από αυτές τις αρχιτεκτονικές
• Προβλήματα σύγκλισης και μείωσης υπό παράγωγου
• Κλασικές αρχιτεκτονικές: πρόβλεψη χρονοσειρών, κατηγοριοποίηση ...
• Τύπου RNN Encoder Decoder. Χρησιμοποίηση αλγορίθμου προσοχής.
• Εφαρμογές NLP: κωδικοποίηση λέξεων / χαρακτήρων, μετάφραση.
• Εφαρμογές βίντεο: πρόβλεψη της επόμενης δημιουργούμενης εικόνας μιας σειράς βίντεο.

Γενετικές μοντέλα: Variational AutoEncoder (VAE) και Generative Adversarial Networks (GAN).

• Παρουσίαση γενετικών μοντέλων, σύνδεση με τα CNNs
• Auto-encoder: μείωση διάστασης και περιορισμένη γενετική
• Variational Auto-encoder: γενετικό μοντέλο και προσέγγιση της κατανομής ενός δεδομένου. Ορισμός και χρήση του latent space. Reparameterization trick. Εφαρμογές και παρατηρηθέντα περιορισμοί
• Generative Adversarial Networks: Βασικές αρχές.
• Αρχιτεκτονική διπλών δικτύων (Generator και discriminator) με ανταλλαγή εκμάθησης, διαθέσιμες συναρτήσεις κόστους.
• Σύγκλιση GAN και αποδοχές που εξάλλειψαν.
• Βελτιωμένη σύγκλιση: Wasserstein GAN, Began. Earth Moving Distance.
• Εφαρμογές για την παραγωγή εικόνων ή φωτογραφιών, παραγωγή κειμένου, υπερυψωμένη ανάλυση.

Βαθύς επικοινωνικό μάθηση.

• Παρουσίαση του επικοινωνικού μαθήματος: ελέγχου μιας μάζας σε ένα προσδιορισμένο περιβάλλον
• Με ένα κράτημα και δυνατές ενέργειες
• Χρήση νευρωνικού δικτύου για την προσέγγιση της συνάρτησης κράτηματος
• Deep Q Learning: επαναλήψεις εμπειρίας, και εφαρμογή στον έλεγχο παιχνιδιού βίντεο.
• Βελτιστοποίηση των κανόνων μάθησης. On-policy && off-policy. Actor critic architecture. A3C.
• Εφαρμογές: ελεγχών του παιχνιδιού βίντεο ή συστήματος ψηφιακών.

Μέρος 2 – Theano για βαθυϊνή μάθηση

Βασικά του Theano

• Εισαγωγή
• Εγκατάσταση και ρύθμιση

TheanoFunctions

• inputs, outputs, updates, givens

Εκπαίδευση και βελτιστοποίηση νευρωνικού δικτύου χρησιμοποιώντας Theano

• Μοντελοποίηση νευρωνικού δικτύου
• Logistic Regression
• Hidden Layers
• Εκπαίδευση νευρωνικού δικτύου
• Computing and Classification
• Optimization
• Log Loss

Τεστ του μοντέλου

Μέρος 3 – DNN χρησιμοποιώντας Tensorflow

Βασικά του TensorFlow

• Δημιουργία, Αρχικοποίηση, Σώζεται, και επαναφέρεται TensorFlow μεταβλητές
• Διάθεση, ανάγνωση και προκατασκευασμένα TensorFlow δεδομένα
• Πώς να χρησιμοποιήσετε το σύστημα TensorFlow για την εκπαίδευση μοντέλων κλίμακας
• Οπτικοποίηση και αξιολόγηση μοντέλων με TensorBoard

Μηχανισμοί του TensorFlow

• Προετοιμασία των δεδομένων
• Download
• Inputs and Placeholders
• Build the Graphs
  • Inference
  • Loss
  • Training
• Train the Model
  • The Graph
  • The Session
  • Train Loop
• Evaluate the Model
  • Build the Eval Graph
  • Eval Output

To Perceptron

• Συναρτήσεις ενεργοποίησης
• O αλγόριθμος μάθησης perceptron
• Βινταϊκή κατηγοριοποίηση με το perceptron
• Document classification with the perceptron
• Περιορισμοί του perceptron

Από to Perceptron στα Support Vector Machines

• Kernels and the kernel trick
• Μέγιστη κατηγορία κλάσης και συμπόστους vectors

Τεχνητά νευρωνικά δίκτυα

• Μη γραμμικοί περιορισμοί απόφασης
• Feedforward και feedback τεχνητών νευρωνικών δικτύων
• Multilayer perceptrons
• Ελαχιστοποίηση του κόστους συνάρτησης
• Forward propagation
• Back propagation
• Βελτίωση του τρόπου μάθησης νευρωνικών δικτύων

Νευρωνικά δίκτυα αλληλοδρόμου (CNNs)

• Στόχοι
• Αρχιτεκτονική μοντέλου
• Αρχές
• Οργάνωση κώδικα
• Ξεκίνημα και εκπαίδευση μοντέλου
• Εξέταση του μοντέλου

Βασική εισαγωγή να δοθεί στα παρακάτω μονάδες (Συντομή παρουσίαση να παρέχεται βάσει της διαθεσιμότητας χρόνου):

Tensorflow - Προηγμένη χρήση

• Threading and Queues
• Distributed TensorFlow
• Writing Documentation and Sharing your Model
• Customizing Data Readers
• Manipulating TensorFlow Model Files

TensorFlow Serving

• Εισαγωγή
• Basic Serving Tutorial
• Advanced Serving Tutorial
• Serving Inception Model Tutorial