Spark Streaming with Python and Kafka Training Course

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να ενσωματώσουν το Apache Kafka με υπάρχουσες βάσεις δεδομένων και εφαρμογές για επεξεργασία, ανάλυση κ.λπ.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Χρησιμοποιήστε το Kafka Connect για να απορροφήσετε μεγάλες ποσότητες δεδομένων από μια βάση δεδομένων σε θέματα Kafka.
• Εισάγετε δεδομένα καταγραφής που δημιουργούνται από διακομιστές εφαρμογής σε θέματα Kafka.
• Διαθέστε τυχόν δεδομένα που συλλέγονται για επεξεργασία ροής.
• Εξαγωγή δεδομένων από θέματα του Κάφκα σε δευτερεύοντα συστήματα για αποθήκευση και ανάλυση.

αυτό εκπαιδευτής-LED, Live Training (επιτόπου ή εξ αποστάσεως) απευθύνεται σε μηχανικούς που επιθυμούν να αξιοποιήσουν (μια διανομή του Κάφκα) για την κατασκευή και τη διαχείριση ενός σε πραγματικό χρόνο πλατφόρμα επεξεργασίας δεδομένων για τις εφαρμογές τους.

μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• εγκαταστήσετε και να ρυθμίσετε τη σημαντική πλατφόρμα.
• χρήση & #39; s εργαλεία διαχείρισης και τις υπηρεσίες για να τρέξει Κάφκα πιο εύκολα.
• Αποθήκευση και επεξεργασία εισερχόμενων δεδομένων ροής.
• βελτιστοποιήσετε και να διαχειριστείτε Κάφκα συστάδες.
• ασφαλείς ροές δεδομένων.

μορφή του μαθήματος

• διαΔραστική διάλεξη και συζήτηση.
• πολλές ασκήσεις και εξάσκηση.
• hands-on εφαρμογή σε ένα περιβάλλον Live-Lab.

επιλογές προσαρμογής μαθημάτων

• αυτό το μάθημα βασίζεται στην έκδοση ανοικτού πηγαίου κώδικα της συνέχειας: ισχυρή ανοικτή πηγή.
• να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να κανονίσουμε.

Apache Kafka είναι μια κατανεμημένη πλατφόρμα ροής. Πρόκειται για de facto πρότυπο για την κατασκευή αγωγών δεδομένων και επιλύει πολλές διαφορετικές περιπτώσεις χρήσης γύρω από την επεξεργασία δεδομένων: μπορεί να χρησιμοποιηθεί ως ουρά μηνυμάτων, κατανεμημένο αρχείο καταγραφής, επεξεργαστής ροής κλπ.

Θα ξεκινήσουμε με κάποια θεωρία πίσω από τους αγωγούς δεδομένων γενικά, και στη συνέχεια θα συνεχίσουμε με βασικές έννοιες πίσω από τον Kafka. Θα ανακαλύψουμε επίσης σημαντικά στοιχεία όπως το Kafka Streams και το Kafka Connect.

Σε αυτήν την υπό εκπαιδευτή, ζωντανή εκπαίδευση στο Ελλάδα (επιτόπου ή εξ αποστάσεως), οι συμμετέχοντες θα μάθουν πώς να στήνουν και να ενσωματώνουν διαφορετικά Stream Processing πλαίσια με υπάρχοντα συστήματα αποθήκευσης μεγάλων δεδομένων και σχετικές εφαρμογές λογισμικού και μικροϋπηρεσίες.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε διαφορετικά πλαίσια Stream Processing, όπως το Spark Streaming και το Kafka Streaming.
• Κατανοήστε και επιλέξτε το πιο κατάλληλο πλαίσιο για τη δουλειά.
• Επεξεργασία δεδομένων συνεχώς, ταυτόχρονα και με τρόπο καταγραφής.
• Ενσωματώστε λύσεις Stream Processing με υπάρχουσες βάσεις δεδομένων, αποθήκες δεδομένων, λίμνες δεδομένων κ.λπ.
• Ενσωματώστε την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροής με εταιρικές εφαρμογές και μικροϋπηρεσίες.

Αυτό το μάθημα απευθύνεται σε αρχιτέκτονες επιχειρήσεων, προγραμματιστές, διαχειριστές συστημάτων και σε οποιονδήποτε θέλει να κατανοήσει και να χρησιμοποιήσει ένα σύστημα κατανεμημένων μηνυμάτων υψηλής απόδοσης. Αν έχετε πιο συγκεκριμένες απαιτήσεις (π.χ. μόνο πλευρά διαχείρισης συστήματος), αυτό το μάθημα μπορεί να προσαρμοστεί ώστε να ταιριάζει καλύτερα στις ανάγκες σας.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακά ή επιτόπου) απευθύνεται σε sysadmin που επιθυμούν να δημιουργήσουν, να αναπτύξουν, να διαχειριστούν και να βελτιστοποιήσουν ένα εταιρικό σύμπλεγμα Kafka.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Δημιουργήστε και διαχειριστείτε ένα σύμπλεγμα Kafka.
• Αξιολογήστε τα οφέλη και τα μειονεκτήματα της ανάπτυξης του Kafka on-premise έναντι του cloud.
• Αναπτύξτε και παρακολουθήστε το Kafka χρησιμοποιώντας διάφορα εργαλεία εσωτερικής εγκατάστασης και περιβάλλοντος cloud.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές μεσαίου επιπέδου που επιθυμούν να αναπτύξουν εφαρμογές μεγάλων δεδομένων με Apache Kafka.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Αναπτύξτε παραγωγούς και καταναλωτές Kafka για να στέλνουν και να διαβάζουν δεδομένα από τον Kafka. Ενσωματώστε το Kafka με εξωτερικά συστήματα χρησιμοποιώντας το Kafka Connect. Γράψτε εφαρμογές ροής με τα Kafka Streams & ksqlDB. Ενσωματώστε μια εφαρμογή πελάτη Kafka με το Confluent Cloud για αναπτύξεις Kafka που βασίζονται σε σύννεφο. Αποκτήστε πρακτική εμπειρία μέσω πρακτικών ασκήσεων και πραγματικών περιπτώσεων χρήσης.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τις δυνατότητες Apache Kafka στη ροή δεδομένων με το Python.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Apache Kafka για να παρακολουθούν και να διαχειρίζονται τις συνθήκες σε συνεχείς ροές δεδομένων χρησιμοποιώντας προγραμματισμό Python.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές μεσαίου επιπέδου Java που επιθυμούν να ενσωματώσουν το Apache Kafka στις εφαρμογές τους για αξιόπιστη, επεκτάσιμη και υψηλή απόδοση μηνυμάτων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική και τα βασικά στοιχεία του Κάφκα.
• Ρυθμίστε και διαμορφώστε ένα σύμπλεγμα Kafka.
• Δημιουργήστε και καταναλώστε μηνύματα χρησιμοποιώντας το Java.
• Εφαρμόστε το Kafka Streams για επεξεργασία δεδομένων σε πραγματικό χρόνο.
• Εξασφαλίστε την ανοχή σφαλμάτων και την επεκτασιμότητα στις εφαρμογές Kafka.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακή ή επιτόπου) απευθύνεται σε διαχειριστές συστήματος μεσαίου επιπέδου που επιθυμούν να αξιοποιήσουν αποτελεσματικά τις δυνατότητες ουράς μηνυμάτων του Κάφκα.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε τις δυνατότητες και την αρχιτεκτονική της ουράς μηνυμάτων του Κάφκα.
• Διαμόρφωση θεμάτων Kafka για σενάρια ουράς μηνυμάτων.
• Δημιουργήστε και καταναλώστε μηνύματα χρησιμοποιώντας τον Κάφκα.
• Παρακολούθηση και διαχείριση του Κάφκα ως ουρά μηνυμάτων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε δοκιμαστές λογισμικού που επιθυμούν να εφαρμόσουν μέτρα ασφαλείας δικτύου σε μια εφαρμογή Apache Kafka.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Αναπτύξτε το Apache Kafka σε έναν διακομιστή που βασίζεται στο cloud.
• Εφαρμόστε κρυπτογράφηση SSL για την αποφυγή επιθέσεων.
• Προσθέστε έλεγχο ταυτότητας ACL για παρακολούθηση και έλεγχο της πρόσβασης των χρηστών.
• Βεβαιωθείτε ότι αξιόπιστοι πελάτες έχουν πρόσβαση σε συμπλέγματα Kafka με έλεγχο ταυτότητας SSL και SASL.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές μεσαίου επιπέδου που επιθυμούν να μάθουν τις βασικές αρχές του Kafka και να το ενσωματώσουν με το Spring Boot.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε τον Κάφκα και την αρχιτεκτονική του.
• Μάθετε πώς να εγκαταστήσετε, να ρυθμίσετε και να ρυθμίσετε ένα βασικό περιβάλλον Kafka.
• Ενσωματώστε τον Κάφκα με το Spring Boot.

Το Kafka Streams είναι μια βιβλιοθήκη πελάτη για την κατασκευή εφαρμογών και μικροεπιχειρήσεων, τα δεδομένα των οποίων μεταφέρονται προς και από ένα σύστημα ανταλλαγής μηνυμάτων Kafka. Παραδοσιακά, ο Apache Kafka έχει βασιστεί στο Apache Spark ή στη Apache Storm για να επεξεργάζεται δεδομένα μεταξύ παραγωγών μηνυμάτων και καταναλωτών. Καλώντας το API Streams Kafka από μια εφαρμογή, τα δεδομένα μπορούν να επεξεργαστούν απευθείας μέσα στο Kafka, παρακάμπτοντας την ανάγκη για την αποστολή των δεδομένων σε ένα ξεχωριστό σύμπλεγμα για επεξεργασία.

Σε αυτήν την καθοδηγούμενη από εκπαιδευτή, ζωντανή προπόνηση, οι συμμετέχοντες θα μάθουν πώς να ενσωματώσουν τις ροές του Kafka σε ένα σύνολο από Java εφαρμογές που μεταφέρουν δεδομένα από και προς τον Apache Kafka για επεξεργασία ρεύματος.

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Κατανοήστε τα χαρακτηριστικά και τα πλεονεκτήματα του Kafka Streams σε σχέση με άλλα πλαίσια επεξεργασίας ρευμάτων
• Διαδικασία ροής δεδομένων απευθείας μέσα σε ένα σύμπλεγμα Kafka
• Γράψτε μια εφαρμογή Java ή Scala ή μια μικροεπιχειρησιακή υπηρεσία που ενσωματώνει τις ροές Kafka και Kafka
• Γράψτε τον συνοπτικό κωδικό που μετατρέπει τα θέματα εισαγωγής του Kafka σε θέματα Kafka εξόδου
• Δημιουργήστε, συσκευάστε και αναπτύξτε την εφαρμογή

Κοινό

• Προγραμματιστές

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Σημειώσεις

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε

Αυτή η ζωντανή εκπαίδευση στο Ελλάδα (διαδικτυακό ή επιτόπου) από εκπαιδευτές απευθύνεται σε διαχειριστές συστημάτων αρχαρίου έως μεσαίου επιπέδου που επιθυμούν να μάθουν πώς να διαχειρίζονται αποτελεσματικά θέματα Kafka για αποτελεσματική ροή και επεξεργασία δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε τις θεμελιώδεις αρχές και την αρχιτεκτονική του θέματος του Κάφκα.
• Δημιουργήστε, διαμορφώστε και διαχειριστείτε θέματα Kafka.
• Παρακολουθήστε θέματα Kafka για υγεία, απόδοση και διαθεσιμότητα.
• Εφαρμογή μέτρων ασφαλείας για θέματα Κάφκα.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να εφαρμόσουν Apache Kafka επεξεργασία ροής χωρίς να γράφουν κώδικα.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Confluent KSQL.
• Ρυθμίστε έναν αγωγό επεξεργασίας ροής χρησιμοποιώντας μόνο εντολές SQL (όχι κωδικοποίηση Java ή Python).
• Πραγματοποιήστε το φιλτράρισμα δεδομένων, τους μετασχηματισμούς, τις συναθροίσεις, τις συνδέσεις, τα παράθυρα και τη συνεδρία εξ ολοκλήρου στο SQL.
• Σχεδιάστε και αναπτύξτε διαδραστικά, συνεχή ερωτήματα για ροή ETL και αναλυτικά στοιχεία σε πραγματικό χρόνο.