Εκπαίδευση Big Data στην Ελλάδα

Stratio είναι μια πλατφόρμα αξιοθέτησης δεδομένων που ενσωματώνει τα big data, την AI και την governance σε μία έντελη λύση. Οι modula Rocket και Intelligence επιτρέπουν γρήγορη αναζήτηση, μετάφραση δεδομένων και προβληματική ανάλυση σε εντελειώδη περιβάλλοντα.

Αυτό το δίδασκτρο με οργανωμένη καθοδήγηση (πολύχρωμος ή live) στόχο ενισχύει τους μεσαίου επιπέδου δεδομένων επαγγελματίες που επιθυμούν να χρησιμοποιήσουν τα modula Rocket και Intelligence στο Stratio αποτελεσματικά με PySpark, εστίαζόντας σε περιβάλλοντα διαδηλώσεων, χρήστες-ορισμένες λειτουργίες και προβληματικά δεδομένα.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Να περιφέρονται και να εργάζονται στην Stratio platform χρησιμοποιώντας τους modula Rocket και Intelligence.
• Να εφαρμόζουν PySpark σε περιβάλλοντα δεδομένων ingestion, transformation, και analysis.
• Να χρησιμοποιούν loops και συνθηκική λογική για τον έλεγχο δεδομένων workflows και feature engineering tasks.
• Να δημιουργούν και να διαχειρίζονται χρήστες-ορισμένες λειτουργίες (UDFs) για μεταχειριστό data operations στο PySpark.

Μορφή της Εκπαίδευσης

• Διεξοδική εισαγωγή και συζήτηση.
• Πολλά ασκήσεις και πρακτική.
• Αλληλεπίδραση σε μια live-lab περιβάλλον.

Επιλογές Διεξαγωγής Προσαρμοστικών

• Για να αιτηθεί μια προσαρμοσμένη εκπαίδευση για αυτό το δίδασκο, παρακαλώ συνεχίζετε μας.

Οι συμμετέχοντες που θα ολοκληρώσουν αυτήν τη ζωντανή εκπαίδευση από εκπαιδευτές στο Ελλάδα θα αποκτήσουν μια πρακτική, πραγματική κατανόηση του Big Data και των σχετικών τεχνολογιών, μεθοδολογιών και εργαλείων του.

Οι συμμετέχοντες θα έχουν την ευκαιρία να κάνουν πράξη αυτή τη γνώση μέσα από πρακτικές ασκήσεις. Η ομαδική αλληλεπίδραση και η ανατροφοδότηση του εκπαιδευτή αποτελούν ένα σημαντικό στοιχείο της τάξης.

Το μάθημα ξεκινά με μια εισαγωγή στις στοιχειώδεις έννοιες του Big Data και στη συνέχεια προχωρά στις γλώσσες προγραμματισμού και τις μεθοδολογίες που χρησιμοποιούνται για την εκτέλεση Data Analysis. Τέλος, συζητάμε τα εργαλεία και την υποδομή που επιτρέπουν Big Data αποθήκευση, κατανεμημένη επεξεργασία και Scalaικανότητα.

Greenplum είναι μια ανοιχτόυ πηγαίου κώδικα πλατφόρμα δεδομένων με μαζική παράλληλη επεξεργασία (MPP) που σχεδιάστηκε για ανάλυση και βαθμούς μεγάλων δεδομένων.

Αυτή η ερμηνεία-χειρισμό (παγκουμπίτα ή υπερθάλαμος) προσβάσιμη από τέχνητους χρήστες επίπεδου μέσω δυνατών, η οποία καταλαβαίνει την εσωτερική αρχιτεκτόνιση του Greenplum, σχεδιάζει προσαρμοσμένα μοντέλα δεδομένων και εφαρμόζει υψηλής παραγωγότητας SQL σε κατανεμημένους περιβάλλοντες.

Στο τέλος αυτής της εκπαιδεύσεως, οι συμμετέχοντες θα μπορούν να:

• Καταλάβουν τη διαίτη συνέχεια του Greenplum και το παράλληλο μοντέλο.
• Σχεδιάσουν διακριτές πινάκων και διαιρέσεις επιβεβαιωμένες για την αναζήτηση ηχογράφηση.
• Χρησιμοποιούν στρατηγικές κατάλογων, μορφές αποθήκευσης και τεχνικές φυσικής σχεδίασης.
• Ερμηνεύουν EXPLAIN plans και βελτιώσουν αναζητήσεις με τις καλές πρακτικές.

Σχήμα της Εκπαίδευσης

• Ενεργοποιημένη εκπαιδευτική συζήτηση.
• Πολλά παραγωγικά και πράξη.
• Εφαρμογή χειρός σε ένα περιβάλλον live-lab.

Προεπιλεκτικές Επιλογές της Εκπαίδευσης

• Για να ζητήσετε μια προσωποθετημένη εκπαίδευση για αυτό το εκπαιδευτικό, καλέστε μας να οργανώσουμε.

Greenplum Architecture

• Παράλληλη επεξεργασία και συμμετρικό με το multi-processing
• Ρόλοι τομέων και δομή cluster
• Επέκταση και μετάφραση δεδομένων
• Greenplum Data Warehouse αρχιτεκτονικής

Greenplum Table Structures

• Distributed vs. τυχαιώς παραθίστων πινάκων
• Heap vs. append-only πινάκων
• Row vs. στήλες μορφές αποθήκευσης
• Partitioned και clustered πινάκων

Data Distribution and Hashing

• Λογική hashing και κλειδιών διανέμησης
• Skew πρόσβαση και επίδραση παράγωγότητας
• Hash maps και στρατηγικών τοποθέτησης γραμμής

Indexes and Performance Optimization

• Clustered και non-clustered indexes
• B-tree και περίπτωση χρήσης index bitmap
• Index scan και συμπεριφορά αποθήκευσης

Physical Database Design

• Αναγωγότητας και σχεδίασης λογικών μοντέλων
• Στρατηγικών πρόσβασης χρήστη και ανάλυσης διανέμησης
• Ποπολογίας δεδομένων και απόφασης index

Denormalization Techniques

• Derived δεδομένα, πινάκων επεξεργασίας και pre-joins
• Columnar πινάκων ως vertical partitioning
• Πολυθαλάμου δεδομένων και materialized views

Advanced SQL and Query Execution

• Στρατηγικών συζεύξεων και ρευστή διάρθρωσης
• OLAP και παραθίστων window functions
• Temporary tables, subqueries, and derived tables

EXPLAIN Plans and Query Tuning

• Ανάγνωσης και ερμηνεία EXPLAIN παραχώρηση
• Χρόνου ανάλυση και τοπική προσαρμογή plan
• Συζεύξεως κίνηση και local operations segment

Greenplum Utilities and Best Practices

• ANALYZE και VACUUM
• Φόρτωση δεδομένων και μετάφρασης με Nexus
• Ασφάλεια, αποδοχών και τεχνική παραγωγότητας tips

Summary and Next Steps

• Συνέπεια για σχετικά βάσεις δεδομένων και SQL
• Εμπειρία με πολυθαλάμου ή αναλυτικών συστημάτων
• Ευνοϊκότητα Linux command line operations

Audience

• Αρχιτεκτονικοί και ομπλέρωτες δεδομένων
• Database παραγωγών και τεχνική αυξημένου
• Βι-επάνοικοι αναλυτικές ειδικότητες σε Greenplum εργαζόμενες

Confluent Apache Kafka είναι μια διανημένη πλataforma συνεχούς ροής γεγονότων, σχεδιασμένη για ακραίους ροές δεδομένων και πραγματικά χρονικά αναλυτικά.

Αυτή η εξέλιξη με διδάσκων (διαδικτύου ή σε πρόσθετο χώρο) στοχεύει σε αναπτυγμένους επαγγελματίες διαχειριστών συστημάτων και DevOps οι οποίοι επιθυμούν να εγκαταστήσουν, ρυθμίσουν, διαχειριστούν και παρακολουθήσουν clusters Confluent Apache Kafka.

Στο τέλος αυτής της εξέλιξης, οι συμμετέχοντες θα μπορούν να:

• Συνεισφέρουν στους συνιστώτες και τη δομή του Confluent Kafka.
• Αποδίδουν και διαχειρίζονται Kafka brokers, Zookeeper quorums και βασικά υπηρεσίες.
• Ρυθμίζουν προόντωστα χαρακτηριστικά συμπεριλαμβανομένων της ασφάλειας, της αντιγραφής και του tuning παραγωγικότητας.
• Χρησιμοποιούν εργαλεία διαχείρισης για την παρακολούθηση και διαμόρφωση Kafka clusters.

Στοιχεία Κατασκευής

• Διαδοχική ομιλία και συζήτηση.
• Πολλά ασκήσεις και πράξη.
• Ανάπτυξη χειρόν τα διαθέσιμου ενδιαιμονείου.

Πλήρωμα Τύπου Διαδικασίας

• Για να απαιτήσετε προσαρμογένεια εξέλιξης για αυτό το δάσκαλο, παρακαλώ συνδεθείτε μαζί μας για να καταμαρτύρησε.

Greenplum είναι μια ανοιχτός κώδικας πλατφόρμα δεδομένων σε μεγάλη παράλληλη λειτουργία βασισμένη στο PostgreSQL, σχεδιασμένη για προόδους ανάλυσης και αποθήκευση δεδομένων μεγάλης κλίμακας.

Αυτή η εκπαίδευση υπό χρήση εκπαιδευτικού (δια διαδικτύου ή σε προσωπικά καθήκοντα) είναι προσανατολισμένη για αξιωματολόγητους διαχειριστές με συμπεριφορά να εγκαταστήσουν, ρύθμίσουν και διαχειρίστηκαν αποτελεσματικά περιβάλλοντα Greenplum, συμπεριλαμβανομένης της διαχείρισης ενημερώσεων συστήματος και βιβλιοθηκών.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Εγκαταστήσουν και ρυθμίσουν ένα παραγωγικό συνεταιρισμό Greenplum.
• Διαχειρίζονται ενημερώσεις συστήματος και εφαρμόζουν πάτσ ασφαλώς.
• Καταβάλλουν για τη διαχείριση βιβλιοθηκών Greenplum για ανάλυση και επέκταση.
• Αναλύζουν προβλήματα και συνακολουθούν τα συστήματα Greenplum.

Σχήμα εκπαίδευσης

• Εργαλειώδης διάλογος και συζήτηση.
• Πρακτική χρήση του Greenplum σε ένα ελεγχόμενο περιβάλλον laboraotry.
• Οδηγή μέριμνες που κεντρίζονται στη ρύθμιση συνεταιρισμών, χαράκτερες αναβάθμισης και επέκτασης συστήματος.

Επιλογές προσαρμογής της εκπαίδευσης

• Για να ζητήσετε μια προσαρμογμένη εκπαίδευση για αυτό το κουρσό βάσει του περιβάλλοντός σας ή πλατφόρμας δεδομένων, παρακαλώ επικοινωνήστε μαζί μας για τη διάρθρωση.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επαγγελματίες δεδομένων προηγμένου επιπέδου που επιθυμούν να βελτιστοποιήσουν τις ροές εργασίας επεξεργασίας δεδομένων, να εξασφαλίσουν την ακεραιότητα των δεδομένων και να εφαρμόσουν ισχυρές λύσεις lakehouse δεδομένων που μπορούν να χειριστούν την πολυπλοκότητα των σύγχρονων μεγάλων εφαρμογές δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Αποκτήστε μια εις βάθος κατανόηση της αρχιτεκτονικής του Iceberg, συμπεριλαμβανομένης της διαχείρισης μεταδεδομένων και της διάταξης αρχείων.
• Διαμορφώστε το Iceberg για βέλτιστη απόδοση σε διάφορα περιβάλλοντα και ενσωματώστε το με πολλαπλούς κινητήρες επεξεργασίας δεδομένων.
• Διαχειριστείτε μεγάλης κλίμακας πίνακες Iceberg, εκτελέστε σύνθετες αλλαγές σχήματος και χειριστείτε την εξέλιξη των διαμερισμάτων.
• Βασικές τεχνικές για τη βελτιστοποίηση της απόδοσης ερωτημάτων και της αποτελεσματικότητας σάρωσης δεδομένων για μεγάλα σύνολα δεδομένων.
• Εφαρμόστε μηχανισμούς για τη διασφάλιση της συνέπειας των δεδομένων, τη διαχείριση των εγγυήσεων συναλλαγών και τη διαχείριση αστοχιών σε κατανεμημένα περιβάλλοντα.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε αρχάριους επαγγελματίες δεδομένων που επιθυμούν να αποκτήσουν τις απαραίτητες γνώσεις και δεξιότητες για την αποτελεσματική χρήση του Apache Iceberg για τη διαχείριση συνόλων δεδομένων μεγάλης κλίμακας, τη διασφάλιση της ακεραιότητας των δεδομένων και βελτιστοποίηση των ροών εργασίας επεξεργασίας δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Αποκτήστε μια πλήρη κατανόηση της αρχιτεκτονικής, των χαρακτηριστικών και των πλεονεκτημάτων του Apache Iceberg.
• Μάθετε για τις μορφές πινάκων, τη διαίρεση, την εξέλιξη σχημάτων και τις δυνατότητες ταξιδιού στο χρόνο.
• Εγκαταστήστε και διαμορφώστε το Apache Iceberg σε διαφορετικά περιβάλλοντα.
• Δημιουργήστε, διαχειριστείτε και χειριστείτε τραπέζια Iceberg.
• Κατανοήστε τη διαδικασία μετεγκατάστασης δεδομένων από άλλες μορφές πινάκων στο Iceberg.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επαγγελματίες πληροφορικής μεσαίου επιπέδου που επιθυμούν να βελτιώσουν τις δεξιότητές τους στην αρχιτεκτονική δεδομένων, τη διακυβέρνηση, το cloud computing και τις τεχνολογίες μεγάλων δεδομένων για την αποτελεσματική διαχείριση και ανάλυση μεγάλων συνόλων δεδομένων για τη μεταφορά δεδομένων στους οργανισμούς τους.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανόηση των θεμελιωδών εννοιών και στοιχείων διαφόρων αρχιτεκτονικών δεδομένων.
• Αποκτήστε μια ολοκληρωμένη κατανόηση των αρχών διακυβέρνησης δεδομένων και της σημασίας τους σε ρυθμιστικά περιβάλλοντα.
• Εφαρμογή και διαχείριση πλαισίων διακυβέρνησης δεδομένων όπως Dama και Togaf.
• Αξιοποιήστε τις πλατφόρμες cloud για αποτελεσματική αποθήκευση, επεξεργασία και διαχείριση δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων μεσαίου επιπέδου που επιθυμούν να μάθουν πώς να χρησιμοποιούν το Azure Data Lake Storage Gen2 για αποτελεσματικές λύσεις ανάλυσης δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική και τα βασικά χαρακτηριστικά του Azure Data Lake Storage Gen2.
• Βελτιστοποιήστε την αποθήκευση δεδομένων και την πρόσβαση για κόστος και απόδοση.
• Ενσωματώστε το Azure Data Lake Storage Gen2 με άλλες Azure υπηρεσίες για ανάλυση και επεξεργασία δεδομένων.
• Αναπτύξτε λύσεις χρησιμοποιώντας το API Azure Data Lake Storage Gen2.
• Αντιμετωπίστε κοινά προβλήματα και βελτιστοποιήστε τις στρατηγικές αποθήκευσης.

Big Data και Προηγμένες Αναλυτικές είναι η εφαρμογή προχωρημένων τεχνικών και εργαλείων για ανάλυση μεγάλων, πολύπλοκων συνόλων δεδομένων προς επιχειρησιακές ερμηνείες και αποφασιστική λήψη αποφάσεων.

Αυτός ο διδασκόμενος, ζωντανός μαθητικός (διαδικτύου ή επί τόπου) στοχεύει σε προχωρημένους ειδικούς δεδομένων που θέλουν να χρησιμοποιήσουν κόψιμα-τεχνολογίες αναλυτικών μεθόδων και τεχνολογίες μεγάλων δεδομένων για πρόβλεψη, προσδιορισμό και εφεξής ανάλυση.

Στο τέλος αυτής της διδακτικής μάθησης, οι συμμετέχοντες θα είναι ικανοί να:

• Σχεδιάζουν και υλοποιούν ακρογωνιασμένες παραγωγικές δεξιότητες για συνοριακά και οργανωμένα δεδομένα.
• Εφαρμόζουν προηγμένες τεχνικές μηχανικής μάθησης και βαθύ μάθησης σε μεγάλα συνόλα δεδομένων.
• Εκμεταλλεύονται πλατφόρμες κληρονομικής υπολογιστικής για εφεξής ανάλυση και στρีμινγ δεδομένων.
• Ενσωματώνουν μεγάλες δεδομένα ανάλυσης σε επιχειρησιακή λογιστική και προσδιορισμό συστημάτων.

Σχήμα του Κλάσης

• Επεξεργασία με διάλογο και συζήτηση.
• Πολλές ασκήσεις και άσκηση.
• Εφαρμόσιμα προσδιορισμοί σε μια υπεύθυνη λειτουργία της ζωής απώτερη περιβάλλον.

Προσαρμοστικές Επιλογές Διδασκαλίας

• Για να αιτηθεί μια προσαρμοσμένη διδασκαλία για αυτή την κλάση, παρακαλώ επικοινωνήστε μαζί μας για να σχεδιάσετε.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επαγγελματίες πληροφορικής μεσαίου επιπέδου που επιθυμούν να κατανοήσουν πλήρως το IBM DataStage τόσο από διοικητική όσο και από αναπτυξιακή άποψη, επιτρέποντάς τους να διαχειρίζονται και να χρησιμοποιούν αυτό εργαλείο αποτελεσματικά στους αντίστοιχους χώρους εργασίας τους.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε τις βασικές έννοιες του DataStage.
• Μάθετε πώς μπορείτε να εγκαταστήσετε, να διαμορφώσετε και να διαχειριστείτε αποτελεσματικά περιβάλλοντα DataStage.
• Συνδεθείτε σε διάφορες πηγές δεδομένων και εξάγετε δεδομένα αποτελεσματικά από βάσεις δεδομένων, επίπεδα αρχεία και εξωτερικές πηγές.
• Εφαρμογή αποτελεσματικών τεχνικών φόρτωσης δεδομένων.

Αυτή η εκπαιδευτική μάθηση σε χώρο Ελλάδα (διαδικτύου ή φυσικό) προσβάλλει επαγγελματίες μεσαίου επιπέδου στα μεγάλα δεδομένα που θέλουν να χρησιμοποιήσουν το Apache Kylin για την κατασκευή πραγματικά-χρόνων αποθετηρίων δεδομένων και την εκτέλεση πολυδιάστατης ανάλυσης σε μεγάλους σύνολους δεδομένων.

Στο τέλος αυτής της εκπαιδευτικής μάθησης, οι συμμετέχοντες θα μπορέσουν να:

• Εγκαταστήσουν και ρυθμίσουν το Apache Kylin με πηγές στρีμινγ δεδομένων πραγματικά-χρόνων.
• Σχεδιάζουν και κατασκευάζουν OLAP κύβους για τόσο σημετοχή όσο και δεδομένα στρีμινγ.
• Εκτελούν περίπλοκες ερωτήσεις με λανθαντικό χρόνο ανταπόκρισης χρησιμοποιώντας τη διεπαφή SQL του Kylin.
• Συνδέουν το Kylin με εργαλεία BI για αλληλεπιδραστική προβολή δεδομένων.
• Οптιμοποιούν την απόδοση και ρυθμίζουν εφεξῆς τα πόρους στο Kylin.

Οι συμμετέχοντες που θα ολοκληρώσουν αυτήν τη ζωντανή εκπαίδευση από εκπαιδευτές στο Ελλάδα θα αποκτήσουν μια πρακτική, πραγματική κατανόηση του Big Data και των σχετικών τεχνολογιών, μεθοδολογιών και εργαλείων του.

Οι συμμετέχοντες θα έχουν την ευκαιρία να κάνουν πράξη αυτή τη γνώση μέσα από πρακτικές ασκήσεις. Η ομαδική αλληλεπίδραση και η ανατροφοδότηση του εκπαιδευτή αποτελούν ένα σημαντικό στοιχείο της τάξης.

Το μάθημα ξεκινάει με μια εισαγωγή στις στοιχειώδεις έννοιες των Μεγάλων Δεδομένων και στη συνέχεια εξελίσσεται στις γλώσσες προγραμματισμού και τις μεθοδολογίες που χρησιμοποιούνται για την εκτέλεση της Ανάλυσης Δεδομένων. Τέλος, συζητάμε τα εργαλεία και την υποδομή που επιτρέπουν την αποθήκευση μεγάλων δεδομένων, την κατανεμημένη επεξεργασία και τη Scala ικανότητα.

Σε αυτήν τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν το Python και το Spark μαζί για να αναλύουν μεγάλα δεδομένα καθώς εργάζονται σε πρακτικές ασκήσεις.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Μάθετε πώς να χρησιμοποιείτε το Spark με το Python για την ανάλυση του Big Data.
• Εργαστείτε σε ασκήσεις που μιμούνται πραγματικές περιπτώσεις.
• Χρησιμοποιήστε διαφορετικά εργαλεία και τεχνικές για την ανάλυση μεγάλων δεδομένων χρησιμοποιώντας το PySpark.

Αυτό το μάθημα καλύπτει τον τρόπο χρήσης της γλώσσας Hive SQL (AKA: Hive HQL, SQL σε Hive , Hive QL) για άτομα που εξάγουν δεδομένα από την Hive

Αυτός ο διδασκαλικός, ζωντανός εκπαιδευτικός φορμαθμός στο Ελλάδα (online ή αποδuhlhlh) προσβάλλει τους διευθυντές βάσης δεδομένων, τους εγκαταστήτες και τους αναλυτές μεταξύ επίπεδου που θέλουν να ειδικεύονται στις προηγμένες SQL λειτουργίες για μεγάλο κύβο δεδομένων επεξεργασίες και διαχείριση βάσης δεδομένων.

Το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Εκτελούν προηγμένες τεχνικές ερωτήσεων χρησιμοποιώντας συνδυάσεις, υποερωτήσεις και πολύπλοκους ένωσες.
• Πρόσθεση, ενημέρωση και διαγραφή δεδομένων, πινάκων, αποψεων και δείκτων με ακρίβεια.
• Βεβαιώσουν την ακεραιότητα δεδομένων μέσω συναλλαγών και επεξεργάζονται προσεκτικά την δομή βάσης δεδομένων.
• Δημιουργούν και λειτουργούν διαχείριση βάσης δεδομένων αποτελεσματικά για τη ισχυρή παραθήκη και εξόδου δεδομένων.

Dremio είναι μια πλατφόρμα δεδομένων ανοικτού κώδικα που επιταχύνει την αναζήτηση διαφόρων τύπων πηγών δεδομένων. Dremio ενσωματώνεται με σχετικές βάσεις δεδομένων, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch, και άλλες πηγές δεδομένων. Υποστηρίζει SQL και παρέχει ένα web UI για οικοδομικές ερωτήσεις.

Σε αυτή την εκπαιδευτική, ζωντανή εκπαίδευση, οι συμμετέχοντες θα μάθουν πώς να εγκαταστήσουν, να ρυθμίσουν και να χρησιμοποιήσουν Dremio ως ένα ενιαίο στρώμα για τα εργαλεία ανάλυσης δεδομένων και τα υποκείμενα αποθήκες δεδομένων.

Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

• Εγκατάσταση και διαμόρφωση Dremio
• Εφαρμογή ερωτήσεων έναντι πολλαπλών πηγών δεδομένων, ανεξάρτητα από την τοποθεσία, το μέγεθος ή τη δομή
• Ενσωματώστε Dremio με BI και πηγές δεδομένων όπως Tableau και Elasticsearch

Δημοσιογράφος

• Επιστήμονες δεδομένων
• Business Αναλυτές
• Μηχανικοί Δεδομένων

Η μορφή της πορείας

• Μερικές διαλέξεις, μερικές συζητήσεις, ασκήσεις και σκληρές πρακτικές

σημειώσεις

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

Αυτή η ζωντανή εκπαίδευση στο Ελλάδα (διαδικτυακή ή επιτόπια) υπό την καθοδήγηση εκπαιδευτών απευθύνεται σε επαγγελματίες βάσεων δεδομένων μεσαίου επιπέδου που επιθυμούν να βελτιώσουν τις δεξιότητές τους στην ανάπτυξη και διαχείριση Oracle SQL.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Δημιουργήστε και βελτιστοποιήστε σύνθετα SQL ερωτήματα.
• Διαχειριστείτε αποτελεσματικά τις βάσεις δεδομένων χρησιμοποιώντας Oracle SQL εργαλεία.
• Εφαρμόστε βέλτιστες πρακτικές στην ανάπτυξη και συντήρηση βάσεων δεδομένων.
• Διαχειριστείτε την πρόσβαση των χρηστών και την ασφάλεια της βάσης δεδομένων σε περιβάλλον Oracle.

Το Apache Accumulo είναι ένα ταξινομημένο, κατανεμημένο χώρο αποθήκευσης κλειδιών/τιμών που παρέχει ισχυρή, επεκτάσιμη αποθήκευση και ανάκτηση δεδομένων. Βασίζεται στη σχεδίαση του Google's BigTable και τροφοδοτείται από τους Apache Hadoop, Apache Zookeeper και Apache Thrift.

Αυτά τα ζωντανά μαθήματα υπό την καθοδήγηση εκπαιδευτών καλύπτουν τις αρχές εργασίας πίσω από το Accumulo και καθοδηγούν τους συμμετέχοντες στην ανάπτυξη ενός δείγματος εφαρμογής στο Apache Accumulo.

Μορφή του μαθήματος

• Μέρος διάλεξη, μέρος συζήτηση, πρακτική ανάπτυξη και εφαρμογή, περιστασιακές δοκιμές για τη μέτρηση της κατανόησης

Αυτός ο καθορισμένος εκπαιδευτικός μодουλος προσβάστηκε για αναπτυξτές και δεδομένων επιστήμονες που θέλουν να καταλάβουν και να εφαρμόσουν την τεχνητή νοημοσύνη στα δικά τους εφαρμογές. Ειδικός περιορισμός στην ανάλυση δεδομένων, την καθαρισμένη τεχνητή νοημοσύνη και την επεξεργασία φυσικών γλωσσών.

Το Amazon Redshift είναι μια υπηρεσία αποθήκης δεδομένων σε κλίμακα petabyte που βασίζεται σε σύννεφο στο AWS.

Σε αυτή τη ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του Amazon Redshift.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκατάσταση και διαμόρφωση Amazon Redshift
• Φόρτωση, διαμόρφωση, ανάπτυξη, αναζήτηση και οπτικοποίηση δεδομένων με το Amazon Redshift

Ακροατήριο

• προγραμματιστές
• Επαγγελματίες Πληροφορικής

Μορφή του μαθήματος

• Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και βαριά πρακτική εξάσκηση

Σημείωμα

• Για να ζητήσετε μια εξατομικευμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσουμε.

Η πρόοδος στις τεχνολογίες και ο αυξανόμενος όγκος πληροφοριών μεταμορφώνουν τον τρόπο με τον οποίο διεξάγονται οι επιχειρήσεις σε πολλούς κλάδους, συμπεριλαμβανομένης της κυβέρνησης. GoΤα ποσοστά παραγωγής κρατικών δεδομένων και ψηφιακής αρχειοθέτησης αυξάνονται λόγω της ταχείας ανάπτυξης των φορητών συσκευών και εφαρμογών, των έξυπνων αισθητήρων και συσκευών, των λύσεων υπολογιστικού νέφους και των πυλών που απευθύνονται στους πολίτες. Καθώς οι ψηφιακές πληροφορίες επεκτείνονται και γίνονται πιο περίπλοκες, η διαχείριση, η επεξεργασία, η αποθήκευση, η ασφάλεια και η διάθεση πληροφοριών γίνονται επίσης πιο περίπλοκες. Νέα εργαλεία σύλληψης, αναζήτησης, ανακάλυψης και ανάλυσης βοηθούν τους οργανισμούς να αποκτήσουν πληροφορίες από τα μη δομημένα δεδομένα τους. Η κρατική αγορά βρίσκεται σε οριακό σημείο, συνειδητοποιώντας ότι οι πληροφορίες είναι στρατηγικό πλεονέκτημα και ότι η κυβέρνηση πρέπει να προστατεύει, να αξιοποιεί και να αναλύει τόσο δομημένες όσο και μη δομημένες πληροφορίες για την καλύτερη εξυπηρέτηση και κάλυψη των απαιτήσεων της αποστολής. Καθώς οι κυβερνητικοί ηγέτες προσπαθούν να εξελίξουν οργανισμούς που βασίζονται σε δεδομένα για να ολοκληρώσουν με επιτυχία την αποστολή τους, θέτουν τις βάσεις για να συσχετίσουν εξαρτήσεις μεταξύ συμβάντων, ανθρώπων, διαδικασιών και πληροφοριών.

Κυβερνητικές λύσεις υψηλής αξίας θα δημιουργηθούν από έναν συνδυασμό των πιο ενοχλητικών τεχνολογιών:

Κινητές συσκευές και εφαρμογές Υπηρεσίες cloud Τεχνολογίες και δικτύωση κοινωνικών επιχειρήσεων Big Data και αναλυτικά στοιχεία

Η IDC προβλέπει ότι έως το 2020, η βιομηχανία πληροφορικής θα φτάσει τα 5 τρισεκατομμύρια δολάρια, περίπου 1,7 τρισεκατομμύρια δολάρια μεγαλύτερη από σήμερα, και ότι το 80% της ανάπτυξης του κλάδου θα καθοδηγείται από αυτές τις τεχνολογίες 3ης Πλατφόρμας. Μακροπρόθεσμα, αυτές οι τεχνολογίες θα αποτελέσουν βασικά εργαλεία για την αντιμετώπιση της πολυπλοκότητας της αυξημένης ψηφιακής πληροφορίας. Το Big Data είναι μία από τις έξυπνες λύσεις του κλάδου και επιτρέπει στην κυβέρνηση να λαμβάνει καλύτερες αποφάσεις αναλαμβάνοντας δράση βάσει μοτίβων που αποκαλύπτονται από την ανάλυση μεγάλου όγκου δεδομένων — σχετικών και άσχετων, δομημένων και μη δομημένων.

Αλλά η ολοκλήρωση αυτών των κατορθωμάτων απαιτεί πολύ περισσότερα από την απλή συσσώρευση τεράστιων ποσοτήτων δεδομένων. «Η κατανόηση αυτών των τόμων Big Dataαπαιτεί εργαλεία και τεχνολογίες αιχμής που μπορούν να αναλύσουν και να εξάγουν χρήσιμη γνώση από τεράστια και ποικίλα ρεύματα πληροφοριών», ο Tom Kalil και Ο Φεν Ζάο του Γραφείου Πολιτικής Επιστήμης και Τεχνολογίας του Λευκού Οίκου έγραψε σε μια ανάρτηση στο ιστολόγιο OSTP.

Ο Λευκός Οίκος έκανε ένα βήμα για να βοηθήσει τις υπηρεσίες να βρουν αυτές τις τεχνολογίες όταν ίδρυσε την Εθνική Big Data Πρωτοβουλία Έρευνας και Ανάπτυξης το 2012. Η πρωτοβουλία περιλάμβανε περισσότερα από 200 εκατομμύρια δολάρια για να αξιοποιήσουν στο έπακρο την έκρηξη του Big Data και τα εργαλεία που απαιτούνται για αναλύστε το.

Οι προκλήσεις που θέτει το Big Data είναι σχεδόν τόσο τρομακτικές όσο και ενθαρρυντική η υπόσχεσή του. Η αποτελεσματική αποθήκευση δεδομένων είναι μία από αυτές τις προκλήσεις. Όπως πάντα, οι προϋπολογισμοί είναι περιορισμένοι, επομένως οι εταιρείες πρέπει να ελαχιστοποιήσουν την τιμή αποθήκευσης ανά megabyte και να διατηρούν τα δεδομένα σε εύκολη πρόσβαση, ώστε οι χρήστες να μπορούν να τα λαμβάνουν όποτε τα θέλουν και όπως τα χρειάζονται. Η δημιουργία αντιγράφων ασφαλείας τεράστιων ποσοτήτων δεδομένων εντείνει την πρόκληση.

Η αποτελεσματική ανάλυση των δεδομένων είναι μια άλλη σημαντική πρόκληση. Πολλά πρακτορεία χρησιμοποιούν εμπορικά εργαλεία που τους επιτρέπουν να περνούν από τα βουνά των δεδομένων, εντοπίζοντας τάσεις που μπορούν να τους βοηθήσουν να λειτουργούν πιο αποτελεσματικά. (Μια πρόσφατη μελέτη από το MeriTalk διαπίστωσε ότι τα ομοσπονδιακά στελέχη IT πιστεύουν ότι Big Data θα μπορούσαν να βοηθήσουν τους οργανισμούς να εξοικονομήσουν περισσότερα από 500 δισεκατομμύρια δολάρια, εκπληρώνοντας ταυτόχρονα τους στόχους της αποστολής.).

Τα προσαρμοσμένα αναπτυγμένα εργαλεία Big Data επιτρέπουν επίσης στους οργανισμούς να αντιμετωπίσουν την ανάγκη ανάλυσης των δεδομένων τους. Για παράδειγμα, η Ομάδα Υπολογιστικών Δεδομένων Αναλύσεων του Εθνικού Εργαστηρίου Oak Ridge έχει διαθέσει το σύστημα ανάλυσης δεδομένων Piranha σε άλλους φορείς. Το σύστημα βοήθησε τους ιατρικούς ερευνητές να βρουν έναν σύνδεσμο που μπορεί να ειδοποιήσει τους γιατρούς για τα ανευρύσματα της αορτής πριν χτυπήσουν. Χρησιμοποιείται επίσης για πιο συνηθισμένες εργασίες, όπως η αναζήτηση βιογραφικών για τη σύνδεση υποψηφίων θέσεων εργασίας με διευθυντές προσλήψεων.

Το Apache Beam είναι ένα μοντέλο ανοιχτού κώδικα, ενοποιημένου προγραμματισμού για τον καθορισμό και την εκτέλεση παράλληλων αγωγών επεξεργασίας δεδομένων. Η δύναμή του έγκειται στην ικανότητά του να εκτελεί αγωγούς παρτίδας και ροής, με την εκτέλεση να εκτελείται από ένα από τα υποστηριζόμενα κατανεμημένα back-ends επεξεργασίας της Beam: Apache Apex, Apache Flink, Apache Spark και Google Cloud Dataflow. Το Apache Beam είναι χρήσιμο για εργασίες ETL (Extract, Transform, and Load), όπως η μετακίνηση δεδομένων μεταξύ διαφορετικών μέσων αποθήκευσης και πηγών δεδομένων, η μετατροπή δεδομένων σε μια πιο επιθυμητή μορφή και η φόρτωση δεδομένων σε ένα νέο σύστημα.

Σε αυτή τη ζωντανή εκπαίδευση (επί τόπου ή εξ αποστάσεως) υπό την καθοδήγηση εκπαιδευτών, οι συμμετέχοντες θα μάθουν πώς να εφαρμόζουν τα Apache Beam SDK σε μια εφαρμογή Java ή Python που ορίζει έναν αγωγό επεξεργασίας δεδομένων για την αποσύνθεση ενός μεγάλου συνόλου δεδομένων σε μικρότερα κομμάτια για ανεξάρτητη, παράλληλη επεξεργασία.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Apache Beam.
• Χρησιμοποιήστε ένα ενιαίο μοντέλο προγραμματισμού για να πραγματοποιήσετε επεξεργασία κατά παρτίδες και ροή μέσα από την εφαρμογή τους Java ή Python.
• Εκτελέστε αγωγούς σε πολλαπλά περιβάλλοντα.

Μορφή του μαθήματος

• Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και βαριά πρακτική εξάσκηση

Σημείωμα

• Αυτό το μάθημα θα είναι διαθέσιμο Scala στο μέλλον. Επικοινωνήστε μαζί μας για να κανονίσουμε.

Ημέρα 1 - παρέχει μια επισκόπηση υψηλού επιπέδου των βασικών θεματικών τομέων Big Data . Η ενότητα χωρίζεται σε μια σειρά τμημάτων, καθένα από τα οποία συνοδεύεται από πρακτική άσκηση.

Ημέρα 2 - διερευνά μια σειρά θεμάτων που σχετίζονται με τις πρακτικές και τα εργαλεία ανάλυσης για περιβάλλοντα Big Data . Δεν λαμβάνει πληροφορίες σχετικά με την εφαρμογή ή το προγραμματισμό, αλλά διατηρεί την κάλυψη σε εννοιολογικό επίπεδο, εστιάζοντας σε θέματα που επιτρέπουν στους συμμετέχοντες να αναπτύξουν μια ολοκληρωμένη κατανόηση των κοινών λειτουργιών ανάλυσης και των χαρακτηριστικών που προσφέρουν οι λύσεις Big Data .

Ημέρα 3 - παρέχει μια επισκόπηση των θεμελιωδών και βασικών θεματικών πεδίων που σχετίζονται με την αρχιτεκτονική πλατφόρμα λύσεων Big Data . Καλύπτει τους μηχανισμούς Big Data απαιτούνται για την ανάπτυξη μιας πλατφόρμας λύσεων Big Data και αρχιτεκτονικές επιλογές για τη συναρμολόγηση μιας πλατφόρμας επεξεργασίας δεδομένων. Παρουσιάζονται επίσης κοινά σενάρια που παρέχουν μια βασική κατανόηση του τρόπου με τον οποίο χρησιμοποιείται γενικά μια πλατφόρμα λύσεων Big Data .

Ημέρα 4 - βασίζεται στην Ημέρα 3 με την εξερεύνηση προηγμένων θεμάτων που σχετίζονται με την αρχιτεκτονική πλατφόρμας λύση Big Data . Συγκεκριμένα, εισάγονται και συζητούνται διαφορετικά αρχιτεκτονικά στρώματα που αποτελούν την πλατφόρμα λύσεων Big Data , συμπεριλαμβανομένων πηγών δεδομένων, εισόδου δεδομένων, αποθήκευσης δεδομένων, επεξεργασίας δεδομένων και ασφάλειας.

Ημέρα 5 - καλύπτει μια σειρά ασκήσεων και προβλημάτων που αποσκοπούν στη δοκιμασία της δυνατότητας των αντιπροσώπων να εφαρμόζουν γνώσεις των θεμάτων που καλύπτονται από την Ημέρα 3 και 4.

Σε αυτή τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν τη νοοτροπία με την οποία θα προσεγγίζουν τις Big Data τεχνολογίες, θα αξιολογούν τον αντίκτυπό τους στις υπάρχουσες διαδικασίες και πολιτικές και θα εφαρμόζουν αυτές τις τεχνολογίες με σκοπό τον εντοπισμό εγκληματικών δραστηριοτήτων και την πρόληψη του εγκλήματος. Θα εξεταστούν περιπτωσιολογικές μελέτες από οργανισμούς επιβολής του νόμου σε όλο τον κόσμο για να αποκτηθούν πληροφορίες σχετικά με τις προσεγγίσεις υιοθέτησης, τις προκλήσεις και τα αποτελέσματά τους.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Συνδυάστε την τεχνολογία Big Data με τις παραδοσιακές διαδικασίες συλλογής δεδομένων για να συνδυάσετε μια ιστορία κατά τη διάρκεια μιας έρευνας.
• Εφαρμόστε βιομηχανικές λύσεις αποθήκευσης και επεξεργασίας μεγάλων δεδομένων για ανάλυση δεδομένων.
• Προετοιμασία πρότασης για την υιοθέτηση των καταλληλότερων εργαλείων και διαδικασιών για να καταστεί δυνατή μια προσέγγιση βάσει δεδομένων για την ποινική έρευνα.

Big Data είναι ένας όρος που αναφέρεται σε λύσεις που προορίζονται για την αποθήκευση και την επεξεργασία μεγάλων συνόλων δεδομένων. Αναπτύχθηκαν αρχικά από την Go Ogle, οι λύσεις αυτές Big Data έχουν εξελιχθεί και εμπνευστούν από άλλα παρόμοια έργα, πολλά από τα οποία είναι διαθέσιμα ως open-source. R είναι μια δημοφιλής γλώσσα προγραμματισμού στον χρηματοπιστωτικό κλάδο.

Όταν οι παραδοσιακές τεχνολογίες αποθήκευσης δεν χειρίζονται την ποσότητα των δεδομένων που χρειάζεστε για να αποθηκεύσετε, υπάρχουν εναλλακτικές λύσεις. Αυτό το μάθημα προσπαθεί να καθοδηγήσει τους συμμετέχοντες ποιες είναι οι εναλλακτικές λύσεις για την αποθήκευση και ανάλυση των Big Data και ποια είναι τα πλεονεκτήματα και τα μειονεκτήματά τους.

Αυτό το μάθημα επικεντρώνεται κατά κύριο λόγο στη συζήτηση και την παρουσίαση λύσεων, αν και οι πρακτικές ασκήσεις είναι διαθέσιμες κατόπιν αιτήματος.

Το μάθημα αποτελεί μέρος του συνόλου δεξιοτήτων Data Scientist (Domain: Data and Technology).

Αυτή η εκπαιδευτική συνεδρία βασισμένη στην τάξη θα εξερευνήσει το Big Data. Οι εκπρόσωποι θα έχουν παραδείγματα βασισμένων σε υπολογιστή και ασκήσεις περιπτωσιολογικής μελέτης για να αναλάβουν με σχετικά εργαλεία μεγάλων δεδομένων

αυτό εκπαιδευτής-LED, Live Training (επιτόπου ή εξ αποστάσεως) απευθύνεται σε μηχανικούς που επιθυμούν να αξιοποιήσουν (μια διανομή του Κάφκα) για την κατασκευή και τη διαχείριση ενός σε πραγματικό χρόνο πλατφόρμα επεξεργασίας δεδομένων για τις εφαρμογές τους.

μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Εγκαταστήσετε και ρυθμίσετε το Confluent Platform.
• Χρησιμοποιήστε τους διαχειριστές εργαλεία και υπηρεσίες του Confluent για να λειτουργήσετε πιο εύκολα το Kafka.
• Αποθηκεύστε και επεξεργάστε εισερχόμενα συνεχή δεδομένα.
• Οργανώστε και διαχειρίστε τους κλάστερς Kafka.
• Ασφαλίστε τις ροές δεδομένων.

μορφή του μαθήματος

• Επικοινωνητικός διάλογος και συζήτηση.
• Πολλές ασκήσεις και πρακτική εμπειρία.
• Εφαρμογή με χειρόνομα σε ένα περιβάλλον live-lab.

επιλογές προσαρμογής μαθημάτων

• Αυτό το μάθημα βασίζεται στην ανοιχτή πηγή έκδοση του Confluent: Confluent Open Source.
• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για να σχεδιάσουμε.

Κοινό

Αν προσπαθήσετε να κατανοήσετε τα δεδομένα στα οποία έχετε πρόσβαση ή θέλετε να αναλύσετε μη δομημένα δεδομένα που είναι διαθέσιμα στο διαδίκτυο (όπως το Twitter, το Linked in, κ.λπ.), αυτό το μάθημα απευθύνεται σε εσάς.

Στόχος είναι κυρίως οι υπεύθυνοι λήψης αποφάσεων και οι άνθρωποι που πρέπει να επιλέξουν ποια δεδομένα αξίζει να συλλέξουν και τι αξίζει να αναλύσουμε.

Δεν στοχεύει στους ανθρώπους να διαμορφώσουν τη λύση, αλλά αυτοί θα επωφεληθούν από τη μεγάλη εικόνα.

Λειτουργία παράδοσης

Κατά τη διάρκεια του μαθήματος οι εκπρόσωποι θα παρουσιαστούν με παραδείγματα εργασίας για τις περισσότερες τεχνολογίες ανοιχτού κώδικα.

Οι σύντομες διαλέξεις θα ακολουθούνται από παρουσίαση και απλές ασκήσεις από τους συμμετέχοντες

Το περιεχόμενο και το λογισμικό που χρησιμοποιήθηκαν

Όλο το λογισμικό που χρησιμοποιείται ενημερώνεται κάθε φορά που εκτελείται το μάθημα, έτσι ελέγχουμε τις πιο πρόσφατες εκδόσεις.

Καλύπτει τη διαδικασία από την απόκτηση, τη μορφοποίηση, την επεξεργασία και την ανάλυση των δεδομένων, για να εξηγήσει πώς αυτοματοποιείται η διαδικασία λήψης αποφάσεων με τη μηχανική μάθηση.

Σε αυτή τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα, οι συμμετέχοντες θα μάθουν πώς να δημιουργούν ένα Data Vault.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε τις έννοιες της αρχιτεκτονικής και του σχεδιασμού πίσω από το Data Vault 2.0 και την αλληλεπίδρασή του με τα Big Data, NoSQL και AI.
• Χρησιμοποιήστε τεχνικές αποθήκευσης δεδομένων για να ενεργοποιήσετε τον έλεγχο, την ανίχνευση και την επιθεώρηση ιστορικών δεδομένων σε μια αποθήκη δεδομένων.
• Αναπτύξτε μια συνεπή και επαναλαμβανόμενη διαδικασία ETL (Extract, Transform, Load).
• Κατασκευάστε και αναπτύξτε αποθήκες υψηλής κλιμάκωσης και επαναλήψεως.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε αρχιτέκτονες, προγραμματιστές και διαχειριστές που επιθυμούν να χρησιμοποιήσουν την πλατφόρμα Denodo για να βελτιστοποιήσουν και να επιταχύνουν τη διαχείριση δεδομένων μέσω εικονικοποίησης δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε την πλατφόρμα Denodo.
• Κατανοήστε τα χαρακτηριστικά και την αρχιτεκτονική της πλατφόρμας Denodo.
• Κατανοήστε τις βασικές έννοιες, τα οφέλη και τις περιπτώσεις χρήσης για εικονικοποίηση δεδομένων.
• Μάθετε πώς να διαμορφώνετε και να διαχειρίζεστε τον διακομιστή πλατφόρμας Denodo.
• Εφαρμόστε ασφάλεια δεδομένων, πρόσβαση χρήστη και έλεγχο ταυτότητας υπηρεσιών.
• Εφαρμόστε τα εργαλεία και τις τεχνικές για την παρακολούθηση λειτουργιών και τη βελτιστοποίηση της απόδοσης.

Apache Druid είναι ένα ανοικτού πηγαίου κώδικα, κατανεμημένο σε στήλη, κατανεμημένο κατάστημα δεδομένων που είναι γραμμένο σε Java . Σχεδιάστηκε έτσι ώστε να απορροφάει γρήγορα μεγάλες ποσότητες δεδομένων συμβάντων και να εκτελεί ερωτήματα OLAP χαμηλής καθυστέρησης σε αυτά τα δεδομένα. Το Druid χρησιμοποιείται συνήθως στις εφαρμογές επιχειρηματικής ευφυΐας για την ανάλυση μεγάλου όγκου δεδομένων σε πραγματικό χρόνο και ιστορικών δεδομένων. Είναι επίσης κατάλληλο για την τροφοδοσία γρήγορων, διαδραστικών, αναλυτικών πινάκων ελέγχου για τελικούς χρήστες. Το Druid χρησιμοποιείται από εταιρείες όπως το Alibaba, το Airbnb, η Cisco , το eBay, το Netflix, το Paypal και το Yahoo.

Σε αυτήν την καθοδηγούμενη από εκπαιδευτή, ζωντανή πορεία, εξετάζουμε ορισμένους από τους περιορισμούς των λύσεων αποθήκης δεδομένων και συζητούμε πώς ο Druid μπορεί να επαινέσει αυτές τις τεχνολογίες για να σχηματίσει μια ευέλικτη και κλιμακούμενη στοίβα αναλυτικών ροών. Περνάμε πολλά παραδείγματα, προσφέροντας στους συμμετέχοντες την ευκαιρία να εφαρμόσουν και να δοκιμάσουν λύσεις Druid με βάση το εργαστήριο.

Μορφή του μαθήματος

• Διάλεξη μέρους, συζήτηση μέρος, βαριά πρακτική πρακτική, περιστασιακές δοκιμές για να μετρήσετε την κατανόηση

Τα μεγάλα δεδομένα είναι σύνολα δεδομένων που είναι τόσο ογκώδη και περίπλοκα που το παραδοσιακό λογισμικό εφαρμογών επεξεργασίας δεδομένων είναι ανεπαρκές για την αντιμετώπισή τους. Οι μεγάλες προκλήσεις δεδομένων περιλαμβάνουν τη συλλογή δεδομένων, την αποθήκευση δεδομένων, την ανάλυση δεδομένων, την αναζήτηση, την κοινή χρήση, τη μεταφορά, την οπτικοποίηση, την αναζήτηση, την ενημέρωση και την προστασία της ιδιωτικής ζωής των πληροφοριών.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) εισάγει τις αρχές και τις προσεγγίσεις πίσω από την κατανεμημένη επεξεργασία δεδομένων ροής και παρτίδας και καθοδηγεί τους συμμετέχοντες στη δημιουργία μιας εφαρμογής ροής δεδομένων σε πραγματικό χρόνο στο Apache Flink.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε ένα περιβάλλον για την ανάπτυξη εφαρμογών ανάλυσης δεδομένων.
• Κατανοήστε πώς λειτουργεί η βιβλιοθήκη επεξεργασίας γραφικών του Apache Flink (Gelly).
• Συσκευάστε, εκτελέστε και παρακολουθήστε εφαρμογές ροής δεδομένων που βασίζονται σε Flink, ανεκτικές σε σφάλματα.
• Διαχειριστείτε διαφορετικούς φόρτους εργασίας.
• Εκτελέστε προηγμένες αναλύσεις.
• Ρυθμίστε ένα σύμπλεγμα Flink πολλαπλών κόμβων.
• Μετρήστε και βελτιστοποιήστε την απόδοση.
• Ενσωματώστε το Flink με διαφορετικά Big Data συστήματα.
• Συγκρίνετε τις δυνατότητες του Flink με εκείνες άλλων πλαισίων επεξεργασίας μεγάλων δεδομένων.

Σε αυτή τη ζωντανή εκπαίδευση στο Ελλάδα από εκπαιδευτές, οι συμμετέχοντες θα μάθουν για τις προσφορές τεχνολογίας και τις προσεγγίσεις υλοποίησης για την επεξεργασία δεδομένων γραφήματος. Ο στόχος είναι να προσδιοριστούν τα αντικείμενα του πραγματικού κόσμου, τα χαρακτηριστικά και οι σχέσεις τους, στη συνέχεια να μοντελοποιηθούν αυτές οι σχέσεις και να επεξεργαστούν ως δεδομένα χρησιμοποιώντας μια προσέγγιση Graph Computing (γνωστή και ως Graph Analytics). Ξεκινάμε με μια ευρεία επισκόπηση και περιορίζουμε τα συγκεκριμένα εργαλεία καθώς προχωράμε σε μια σειρά περιπτωσιολογικών μελετών, πρακτικών ασκήσεων και ζωντανών αναπτύξεων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε πώς διατηρούνται και διασχίζονται τα δεδομένα γραφήματος.
• Επιλέξτε το καλύτερο πλαίσιο για μια δεδομένη εργασία (από βάσεις δεδομένων γραφημάτων έως πλαίσια επεξεργασίας παρτίδας.)
• Εφαρμόστε τα Hadoop, Spark, GraphX και Pregel για να πραγματοποιήσετε υπολογισμούς γραφημάτων σε πολλές μηχανές παράλληλα.
• Δείτε τα προβλήματα μεγάλων δεδομένων του πραγματικού κόσμου όσον αφορά τα γραφήματα, τις διεργασίες και τις διαβάσεις.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε διαχειριστές που επιθυμούν να δημιουργήσουν Greenplum Database λύσεις επιχειρηματικής ευφυΐας και αποθήκευσης δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Να αντιμετωπίζουν τις ανάγκες επεξεργασίας με το Greenplum.
• Να εκτελούν λειτουργίες ETL για επεξεργασία δεδομένων.
• Να χρησιμοποιούν τα υπάρχοντα πλαίσια επεξεργασίας ερωτήσεων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) εισάγει το Hortonworks Data Platform (HDP) και καθοδηγεί τους συμμετέχοντες στην ανάπτυξη της λύσης Spark + Hadoop.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Χρησιμοποιήστε το Hortonworks για αξιόπιστη εκτέλεση του Hadoop σε μεγάλη κλίμακα.
• Ενοποιήστε τις δυνατότητες ασφάλειας, διακυβέρνησης και λειτουργίας του Hadoop με τις ευέλικτες αναλυτικές ροές εργασίας του Spark.
• Χρησιμοποιήστε το Hortonworks για να διερευνήσετε, να επικυρώσετε, να πιστοποιήσετε και να υποστηρίξετε καθένα από τα στοιχεία ενός έργου Spark.
• Επεξεργαστείτε διαφορετικούς τύπους δεδομένων, συμπεριλαμβανομένων των δομημένων, μη δομημένων, εν κινήσει και ηρεμίας.

Το Cloudera Impala είναι μια μηχανή αναζήτησης ανοιχτού κώδικα μαζικής παράλληλης επεξεργασίας (MPP) SQL για συμπλέγματα Apache Hadoop.

Το Impala επιτρέπει στους χρήστες να εκδίδουν ερωτήματα χαμηλής καθυστέρησης SQL σε δεδομένα που είναι αποθηκευμένα στο Hadoop Κατανεμημένο Σύστημα Αρχείων και στο Apache Hbase χωρίς να απαιτείται μετακίνηση ή μετατροπή δεδομένων.

Ακροατήριο

Αυτό το μάθημα απευθύνεται σε αναλυτές και επιστήμονες δεδομένων που πραγματοποιούν ανάλυση δεδομένων που είναι αποθηκευμένα στο Hadoop μέσω Business Intelligence ή SQL εργαλείων.

Μετά από αυτό το μάθημα οι σύνεδροι θα μπορούν

• Εξάγετε σημαντικές πληροφορίες από Hadoop συμπλέγματα με Impala.
• Γράψτε συγκεκριμένα προγράμματα για να διευκολύνετε την Business Ευφυΐα στη Impala SQL Διάλεκτο.
• Αντιμετώπιση προβλημάτων Impala.

Σε αυτήν την υπό εκπαιδευτή, ζωντανή εκπαίδευση στο Ελλάδα (επιτόπου ή εξ αποστάσεως), οι συμμετέχοντες θα μάθουν πώς να στήνουν και να ενσωματώνουν διαφορετικά Stream Processing πλαίσια με υπάρχοντα συστήματα αποθήκευσης μεγάλων δεδομένων και σχετικές εφαρμογές λογισμικού και μικροϋπηρεσίες.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε διαφορετικά πλαίσια Stream Processing, όπως το Spark Streaming και το Kafka Streaming.
• Κατανοήστε και επιλέξτε το πιο κατάλληλο πλαίσιο για τη δουλειά.
• Επεξεργασία δεδομένων συνεχώς, ταυτόχρονα και με τρόπο καταγραφής.
• Ενσωματώστε λύσεις Stream Processing με υπάρχουσες βάσεις δεδομένων, αποθήκες δεδομένων, λίμνες δεδομένων κ.λπ.
• Ενσωματώστε την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροής με εταιρικές εφαρμογές και μικροϋπηρεσίες.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τις δυνατότητες Apache Kafka στη ροή δεδομένων με το Python.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Apache Kafka για να παρακολουθούν και να διαχειρίζονται τις συνθήκες σε συνεχείς ροές δεδομένων χρησιμοποιώντας προγραμματισμό Python.

Το Kafka Streams είναι μια βιβλιοθήκη πελάτη για την κατασκευή εφαρμογών και μικροεπιχειρήσεων, τα δεδομένα των οποίων μεταφέρονται προς και από ένα σύστημα ανταλλαγής μηνυμάτων Kafka. Παραδοσιακά, ο Apache Kafka έχει βασιστεί στο Apache Spark ή στη Apache Storm για να επεξεργάζεται δεδομένα μεταξύ παραγωγών μηνυμάτων και καταναλωτών. Καλώντας το API Streams Kafka από μια εφαρμογή, τα δεδομένα μπορούν να επεξεργαστούν απευθείας μέσα στο Kafka, παρακάμπτοντας την ανάγκη για την αποστολή των δεδομένων σε ένα ξεχωριστό σύμπλεγμα για επεξεργασία.

Σε αυτήν την καθοδηγούμενη από εκπαιδευτή, ζωντανή προπόνηση, οι συμμετέχοντες θα μάθουν πώς να ενσωματώσουν τις ροές του Kafka σε ένα σύνολο από Java εφαρμογές που μεταφέρουν δεδομένα από και προς τον Apache Kafka για επεξεργασία ρεύματος.

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Να καταλάβουν τις χαρισματικότητες και τις πλεονεξίες των Kafka Streams σε σχέση με άλλα πλαίσια επεξεργασίας ρευμάτων
• Να επεξεργάζονται δεδομένα ρεύματος άμεσα μέσα σε ένα κλάστερ Kafka
• Να γράφουν μια εφαρμογή Java ή Scala ή μικρό υπηρεσία που συνδέεται με το Kafka και το Kafka Streams
• Να γράφουν σύντομο κώδικα που μετατρέπει εισερχόμενα θέματα Kafka σε έξοδα θέματα Kafka
• Να δημιουργήσουν, πακέτωσαν και εγκατέστησαν την εφαρμογή

Κοινό

• Προγραμματιστές

Μορφή της εκπαίδευσης

• Διάλεξη, συζήτηση, ασκήσεις και έμφανη πρακτική

Σημειώσεις

• Για να απαιτήσετε μια προσανατολισμένη εκπαίδευση για αυτό το κουρσέ, παρακαλώ επικοινωνήστε μαζί μας για να συμφωνήσετε

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να εφαρμόσουν Apache Kafka επεξεργασία ροής χωρίς να γράφουν κώδικα.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Confluent KSQL.
• Ρυθμίστε έναν αγωγό επεξεργασίας ροής χρησιμοποιώντας μόνο εντολές SQL (όχι κωδικοποίηση Java ή Python).
• Πραγματοποιήστε το φιλτράρισμα δεδομένων, τους μετασχηματισμούς, τις συναθροίσεις, τις συνδέσεις, τα παράθυρα και τη συνεδρία εξ ολοκλήρου στο SQL.
• Σχεδιάστε και αναπτύξτε διαδραστικά, συνεχή ερωτήματα για ροή ETL και αναλυτικά στοιχεία σε πραγματικό χρόνο.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε τεχνικά άτομα που επιθυμούν να μάθουν πώς να εφαρμόζουν μια στρατηγική μηχανικής μάθησης μεγιστοποιώντας τη χρήση μεγάλων δεδομένων.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα:

• Κατανοήστε την εξέλιξη και τις τάσεις για τη μηχανική μάθηση.
• Μάθετε πώς χρησιμοποιείται η μηχανική μάθηση σε διαφορετικούς κλάδους.
• Εξοικειωθείτε με τα εργαλεία, τις δεξιότητες και τις υπηρεσίες που είναι διαθέσιμες για την εφαρμογή μηχανικής μάθησης σε έναν οργανισμό.
• Κατανοήστε πώς μπορεί να χρησιμοποιηθεί η μηχανική εκμάθηση για τη βελτίωση της εξόρυξης δεδομένων και της ανάλυσης.
• Μάθετε τι είναι το μεσαίο backend δεδομένων και πώς χρησιμοποιείται από τις επιχειρήσεις.
• Κατανοήστε τον ρόλο που παίζουν τα μεγάλα δεδομένα και οι έξυπνες εφαρμογές σε όλους τους κλάδους.

Σε αυτή τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα (επιτόπου ή απομακρυσμένα), οι συμμετέχοντες θα μάθουν πώς να αναπτύσσουν και να διαχειρίζονται το Apache NiFi σε ένα ζωντανό εργαστηριακό περιβάλλον.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε το Apachi NiFi.
• Προέλευση, μετατροπή και διαχείριση δεδομένων από διαφορετικές, κατανεμημένες πηγές δεδομένων, συμπεριλαμβανομένων βάσεων δεδομένων και λιμνών μεγάλων δεδομένων.
• Αυτοματοποιήστε τις ροές δεδομένων.
• Ενεργοποίηση αναλύσεων ροής.
• Εφαρμόστε διάφορες προσεγγίσεις για την απορρόφηση δεδομένων.
• Μετατρέψτε το Big Data και σε επιχειρηματικές γνώσεις.

Σε αυτή τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του προγραμματισμού που βασίζεται στη ροή καθώς αναπτύσσουν έναν αριθμό από επεκτάσεις επίδειξης, στοιχεία και επεξεργαστές χρησιμοποιώντας το Apache NiFi.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική του NiFi και τις έννοιες ροής δεδομένων.
• Αναπτύξτε επεκτάσεις χρησιμοποιώντας NiFi και API τρίτων.
• Προσαρμοσμένα αναπτύσσουν τον δικό τους επεξεργαστή Apache Nifi.
• Απορροφήστε και επεξεργαστείτε δεδομένα σε πραγματικό χρόνο από διαφορετικές και ασυνήθιστες μορφές αρχείων και πηγές δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν Spark Streaming δυνατότητες για την επεξεργασία και την ανάλυση δεδομένων σε πραγματικό χρόνο.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Spark Streaming για να επεξεργάζονται ζωντανές ροές δεδομένων για χρήση σε βάσεις δεδομένων, συστήματα αρχείων και ζωντανούς πίνακες εργαλείων.

Το MLlib είναι η βιβλιοθήκη εκμάθησης μηχανών Spark (ML). Σκοπός του είναι να κάνει την πρακτική εκμάθηση μηχανών κλιμακωτή και εύκολη. Αποτελείται από κοινούς αλγόριθμους και βοηθητικά προγράμματα μάθησης, συμπεριλαμβανομένης της ταξινόμησης, της παλινδρόμησης, της ομαδοποίησης, του συνεργατικού φιλτραρίσματος, της μείωσης των διαστάσεων, καθώς και των πρωτόγονων βελτιστοποίησης χαμηλότερου επιπέδου και των API αγωγών υψηλότερου επιπέδου.

Διαχωρίζεται σε δύο πακέτα:

• Το spark.mllib περιέχει το αρχικό API που είναι ενσωματωμένο στο RDD.

• Το spark.ml παρέχει API υψηλότερου επιπέδου που είναι ενσωματωμένο στο DataFrames για την κατασκευή αγωγών ML.

Κοινό

Αυτό το μάθημα απευθύνεται σε μηχανικούς και προγραμματιστές που επιδιώκουν να χρησιμοποιήσουν μια ενσωματωμένη βιβλιοθήκη μηχανών για Apache Spark

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακά ή επιτόπου) απευθύνεται σε τεχνικά πρόσωπα που επιθυμούν να αναπτύξουν το Talend Open Studio for Big Data για να απλοποιήσουν τη διαδικασία ανάγνωσης και ανάλυσης Big Data.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Talend Open Studio για Big Data.
• Συνδεθείτε με συστήματα Big Data όπως τα Cloudera, HortonWorks, MapR, Amazon EMR και Apache.
• Κατανοήστε και ρυθμίστε τα στοιχεία και τις συνδέσεις μεγάλων δεδομένων του Open Studio.
• Διαμορφώστε τις παραμέτρους για αυτόματη δημιουργία κώδικα MapReduce.
• Χρησιμοποιήστε τη διεπαφή μεταφοράς και απόθεσης του Open Studio για να εκτελέσετε εργασίες Hadoop.
• Πρωτότυπο αγωγών μεγάλων δεδομένων.
• Αυτοματοποιήστε έργα ενοποίησης μεγάλων δεδομένων.

Αυτή η ζωντανή εκπαίδευση καθοδηγούμενη από εκπαιδευτές εισάγει τις έννοιες πίσω από τις διαδραστικές αναλύσεις δεδομένων και καθοδηγεί τους συμμετέχοντες στην ανάπτυξη και χρήση του Zeppelin σε περιβάλλον ενός χρήστη ή πολλών χρηστών.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Zeppelin
• Αναπτύξτε, οργανώστε, εκτελέστε και μοιραστείτε δεδομένα σε μια διεπαφή που βασίζεται σε πρόγραμμα περιήγησης
• Οπτικοποιήστε τα αποτελέσματα χωρίς να αναφέρεστε στη γραμμή εντολών ή στις λεπτομέρειες του συμπλέγματος
• Εκτελέστε και συνεργαστείτε σε μεγάλες ροές εργασίας
• Εργαστείτε με οποιαδήποτε από μια σειρά προσθηκών γλώσσας/επεξεργασίας δεδομένων υποστήριξης, όπως Scala (με Apache Spark), Python (με Apache Spark), Spark SQL, JDBC, Markdown και Shell .
• Ενσωματώστε το Zeppelin με το Spark, το Flink και το Map Reduce
• Ασφαλίστε περιπτώσεις πολλών χρηστών του Zeppelin με το Apache Shiro