Web Scraping with Python Training Course
Web Scraping είναι μια τεχνική για την εξαγωγή δεδομένων από έναν ιστότοπο και στη συνέχεια την αποθήκευση σε τοπικό αρχείο ή βάση δεδομένων.
Αυτή η καθοδηγούμενη από εκπαιδευτές, ζωντανή εκπαίδευση (επιτόπια ή απομακρυσμένη) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν την Python για να αυτοματοποιήσουν τη διαδικασία ανίχνευσης πολλών ιστότοπων για την εξαγωγή δεδομένων για επεξεργασία και ανάλυση.
Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:
- Εγκαταστήσουν και διαμορφώσουν το Python και όλα τα σχετικά πακέτα.
- Ανακτήσουν και αναλύσουν δεδομένα που είναι αποθηκευμένα σε πολλούς ιστότοπους.
- Κατανοήσουν πώς λειτουργούν οι ιστότοποι και πώς είναι δομημένο το HTML τους.
- Δημιουργήσουν αράχνες για να ανιχνεύσουν το διαδίκτυο σε μεγάλη κλίμακα.
- Χρησιμοποιήσουν το Selenium για να ανιχνεύσουν ιστοσελίδες που λειτουργούν με AJAX.
Μορφή του μαθήματος
- Διαδραστική διάλεξη και συζήτηση.
- Πολλές ασκήσεις και πρακτική.
- Εφαρμογή πρακτικής σε ένα ζωντανό εργαστηριακό περιβάλλον.
Επιλογές προσαρμογής μαθημάτων
- Αυτό το μάθημα προϋποθέτει γνώσεις προγραμματισμού.
- Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να το κανονίσετε.
Course Outline
Εισαγωγή
Δημιουργία Αναπτυξιακού Περιβάλλοντος
Python Primer: Δομές δεδομένων, Συνθήκες, Χειρισμός αρχείων κ.λπ.
Python Πακέτα για Web Scraping: Scrapy and BeautifulSoup
Πώς λειτουργεί ένας ιστότοπος
Πώς είναι δομημένο το HTML
Υποβολή αιτήματος Web
Ξύσιμο σελίδας HTML
Εργασία με XPath και CSS
Φιλτράρισμα δεδομένων με χρήση κανονικών ιόντων Express
Δημιουργία προγράμματος ανίχνευσης Ιστού
Ανίχνευση σελίδων AJAX και JavaScript με Selenium.
Βέλτιστες πρακτικές για την απόξεση Ιστού
Αντιμετώπιση προβλημάτων
Περίληψη και Συμπέρασμα
Requirements
- Programming εμπειρία, κατά προτίμηση σε Python. Εάν οι συμμετέχοντες έχουν προγραμματιστική εμπειρία σε άλλη γλώσσα εκτός από Python, η εκπαίδευση μπορεί να επεκταθεί ώστε να περιλαμβάνει περισσότερες εισαγωγικές ασκήσεις Python.
Ακροατήριο
- Developers
Open Training Courses require 5+ participants.
Web Scraping with Python Training Course - Booking
Web Scraping with Python Training Course - Enquiry
Web Scraping with Python - Consultancy Enquiry
Consultancy Enquiry
Testimonials (1)
Many different examples and topics has been covered, from basic investigation to login management and dynamic page management.
Daniele Tagliaferro - Creditsafe Italia Srl
Course - Web Scraping with Python
Upcoming Courses
Related Courses
Scaling Data Analysis with Python and Dask
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων και μηχανικούς λογισμικού που επιθυμούν να χρησιμοποιήσουν το Dask με το οικοσύστημα Python για να δημιουργήσουν, να κλιμακώσουν και να αναλύσουν μεγάλα σύνολα δεδομένων.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε το περιβάλλον για να ξεκινήσετε τη δημιουργία επεξεργασίας μεγάλων δεδομένων με το Dask και την Python.
- Εξερευνήστε τις δυνατότητες, τις βιβλιοθήκες, τα εργαλεία και τα API που είναι διαθέσιμα στο Dask.
- Κατανοήστε πώς το Dask επιταχύνει τον παράλληλο υπολογισμό στην Python.
- Μάθετε πώς να κλιμακώνετε το οικοσύστημα της Python (Numpy, SciPy και Pandas) χρησιμοποιώντας το Dask.
- Βελτιστοποιήστε το περιβάλλον Dask για να διατηρήσετε υψηλή απόδοση στο χειρισμό μεγάλων συνόλων δεδομένων.
Data Analysis with Python, Pandas and Numpy
14 HoursThis instructor-led, live training in Ελλάδα (online or onsite) is aimed at intermediate-level Python developers and data analysts who wish to enhance their skills in data analysis and manipulation using Pandas and NumPy.
By the end of this training, participants will be able to:
- Set up a development environment that includes Python, Pandas, and NumPy.
- Create a data analysis application using Pandas and NumPy.
- Perform advanced data wrangling, sorting, and filtering operations.
- Conduct aggregate operations and analyze time series data.
- Visualize data using Matplotlib and other visualization libraries.
- Debug and optimize their data analysis code.
Web Development with Django
21 HoursDjango είναι ένα υψηλού επιπέδου περιβάλλον Python Web που ενθαρρύνει την ταχεία ανάπτυξη και καθαρό, ρεαλιστικό σχεδιασμό.
Κοινό
Αυτό το μάθημα απευθύνεται σε προγραμματιστές και μηχανικούς που επιδιώκουν να ενσωματώσουν το Django στα έργα τους
Monax: Build a Smart Contract Application
7 HoursΣε αυτή τη ζωντανή εκπαίδευση στο Ελλάδα από εκπαιδευτές, οι συμμετέχοντες θα μάθουν πώς να δημιουργούν μια εφαρμογή blockchain έξυπνης σύμβασης με το Monax.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Αναπτύξτε και αναπτύξτε μια κατανεμημένη εφαρμογή χρησιμοποιώντας τεχνολογία blockchain και έξυπνων συμβολαίων.
- Κατανοήστε τη σχεδίαση και τη λειτουργικότητα των «έξυπνων συμβάσεων» και πώς να τα δημιουργήσετε.
- Εφαρμόστε βέλτιστες πρακτικές για ασφαλή ανάπτυξη εφαρμογών blockchain.
- Αξιοποιήστε τα εργαλεία Monax για να βελτιστοποιήσετε την ανάπτυξη κατανεμημένων εφαρμογών.
FARM (FastAPI, React, and MongoDB) Full Stack Development
14 HoursΑυτή η ζωντανή εκπαίδευση μέσω εκπαιδευτών (διαδικτυακή ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τη στοίβα FARM (FastAPI, React και MongoDB) για να δημιουργήσουν δυναμικές, υψηλής απόδοσης και επεκτάσιμες εφαρμογές ιστού.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης που ενσωματώνει το FastAPI, React και το MongoDB. Κατανοήστε τις βασικές έννοιες, τα χαρακτηριστικά και τα οφέλη της στοίβας FARM. Μάθετε πώς να δημιουργείτε REST API με το FastAPI. Μάθετε πώς να σχεδιάζετε διαδραστικές εφαρμογές με το React. Αναπτύξτε, δοκιμάστε και αναπτύξτε εφαρμογές (μπροστινό και πίσω άκρο) χρησιμοποιώντας τη στοίβα FARM.
Developing APIs with Python and FastAPI
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το FastAPI με Python για να δημιουργήσουν, να δοκιμάσουν και να αναπτύξουν RESTful API ευκολότερα και πιο γρήγορα.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Να εγκαταστήσουν το απαραίτητο περιβάλλον ανάπτυξης για την ανάπτυξη APIs με Python και FastAPI.
- Να δημιουργούν APIs πιο γρήγορα και εύκολα χρησιμοποιώντας τη βιβλιοθήκη FastAPI.
- Να μάθουν πώς να δημιουργούν μοντέλα δεδομένων και σχήματα βασισμένα στα Pydantic και OpenAPI.
- Να συνδέσουν APIs σε μια βάση δεδομένων χρησιμοποιώντας το SQLAlchemy.
- Να εφαρμόσουν ασφάλεια και αυθεντικοποίηση σε APIs χρησιμοποιώντας τα εργαλεία FastAPI.
- Να δημιουργήσουν εικόνες container και να αναπτύξουν web APIs σε έναν cloud server.
Web application development with Flask
14 HoursΑυτό το πρακτικό μάθημα απευθύνεται στους προγραμματιστές της Python που θέλουν να δημιουργήσουν και να διατηρήσουν τις πρώτες εφαρμογές τους στο διαδίκτυο. Απευθύνεται επίσης σε άτομα που ήδη γνωρίζουν άλλα πλαίσια ιστού, όπως το Django ή το Web2py , και θέλουν να μάθουν πώς η χρήση ενός microframework (δηλαδή ενός πλαισίου που Web2py συλλογές τρίτων μερών αντί να παρέχει μια αυτόνομη παγκόσμια λύση) αλλάζει η διαδικασία.
Σημαντικό μέρος του μαθήματος αφιερώνεται όχι μόνο στο Flask (είναι μικροσκοπικό), αλλά σε βιβλιοθήκες και εργαλεία τρίτων που χρησιμοποιούνται συχνά σε έργα Flask.
Advanced Flask
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τις προηγμένες δυνατότητες του Flask για να δημιουργήσουν επεκτάσιμες εφαρμογές Ιστού πάνω από το MongoDB.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσετε την ανάπτυξη διαδικτυακών εφαρμογών με το Flask.
- Γνωρίστε τις προηγμένες έννοιες και τεχνικές για έργα Flask πραγματικού κόσμου.
- Δημιουργήστε έναν διακομιστή RESTful API πάνω από το MongoDB.
- Μάθετε πώς να τοποθετείτε κοντέινερ, να δοκιμάζετε και να αναπτύσσετε μικροϋπηρεσίες με το Flask, το Docker και το Amazon EC2.
- Αποκτήστε μερικές πληροφορίες σχετικά με τις προηγμένες ενσωματώσεις Flask για την κλιμάκωση εφαρμογών ιστού.
Kivy: Building Android Apps with Python
7 HoursKivy είναι μια ανοικτή γραμματοσειρά γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς γραμματοσειράς.
Σε αυτό το καθοδηγούμενο εκπαιδευτικό πρόγραμμα, οι συμμετέχοντες θα μάθουν πώς να εγκαταστήσουν και να εκτελέσουν Kivy σε διαφορετικές πλατφόρμες, να προσαρμόσουν και να χειριστούν τα widgets, το χρονοδιάγραμμα, την εκκίνηση και την απάντηση σε γεγονότα, να τροποποιήσουν τα γραφικά με multi-touching, να αναδιαμορφώσουν την οθόνη, να συσκευάσουν εφαρμογές για Android, και πολλά άλλα.
Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να
- Συνδέσουν τον κώδικα Python με τη γλώσσα Kivy.
- Έχουν μια σταθερή κατανόηση του τρόπου λειτουργίας του Kivy και της αξιοποίησης των σημαντικότερων στοιχείων του, όπως τα widgets, τα γεγονότα, οι ιδιότητες, τα γραφικά κ.λπ.
- Αναπτύξουν και να αναπτύξουν απρόσκοπτα εφαρμογές Android με βάση διαφορετικές επιχειρηματικές και σχεδιαστικές απαιτήσεις.
Η μορφή της πορείας
- Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και εκτενής πρακτική εξάσκηση
Accelerating Python Pandas Workflows with Modin
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το Modin για να δημιουργήσουν και να εφαρμόσουν παράλληλους υπολογισμούς με το Pandas για ταχύτερη ανάλυση δεδομένων.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε το απαραίτητο περιβάλλον για να ξεκινήσετε την ανάπτυξη Pandas ροών εργασίας σε κλίμακα με Modin.
- Κατανοήστε τα χαρακτηριστικά, την αρχιτεκτονική και τα πλεονεκτήματα του Modin.
- Γνωρίστε τις διαφορές μεταξύ Modin, Dask και Ray.
- Εκτελέστε τις λειτουργίες Pandas πιο γρήγορα με το Modin.
- Εφαρμόστε ολόκληρο το Pandas API και τις λειτουργίες.
Game Development with PyGame
7 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το PyGame για να δημιουργήσουν και να δημιουργήσουν παιχνίδια χρησιμοποιώντας προγραμματισμό Python.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσετε τη δημιουργία εφαρμογών παιχνιδιών με τα PyGame και Python.
- Μάθετε πώς να δημιουργείτε διαδραστικές PyGame εφαρμογές ενσωματωμένες με κινούμενα σχέδια και λειτουργίες πολυμέσων.
- Εκτελέστε και δοκιμάστε προγράμματα παιχνιδιών με τη δοκιμαστική σουίτα PyGame και μετατρέψτε τα σε εκτελέσιμα αρχεία.
GUI Programming with Python and PyQt
21 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε άτομα που επιθυμούν να προγραμματίσουν μια οπτικά ελκυστική εφαρμογή λογισμικού χρησιμοποιώντας Python και το πλαίσιο διεπαφής χρήστη Qt.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε ένα περιβάλλον ανάπτυξης που περιλαμβάνει όλες τις απαραίτητες βιβλιοθήκες, πακέτα και πλαίσια.
- Δημιουργήστε μια εφαρμογή επιτραπέζιου υπολογιστή ή διακομιστή της οποίας η διεπαφή χρήστη λειτουργεί ομαλά και είναι οπτικά ελκυστική.
- Εφαρμόστε διάφορα στοιχεία και εφέ διεπαφής χρήστη, συμπεριλαμβανομένων γραφικών στοιχείων, γραφημάτων, επιπέδων κ.λπ. για να επιτύχετε το μέγιστο αποτέλεσμα στη χρηστικότητα.
- Εφαρμόστε καλό σχεδιασμό διεπαφής χρήστη και οργάνωση κώδικα κατά τη φάση σχεδιασμού και ανάπτυξης.
- Δοκιμή και διόρθωση σφαλμάτων της εφαρμογής.
Build REST APIs with Python and Flask
14 HoursΑυτή η εκπαίδευση με καθοδηγητή, είτε διαδικτυακή είτε δια ζώσης, απευθύνεται σε backend developers που επιθυμούν να δημιουργήσουν REST APIs με Python και Flask.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Να υλοποιήσουν ένα REST API που θα επιτρέπει σε μια Flask web εφαρμογή να διαβάζει και να γράφει σε μια βάση δεδομένων στο backend.
- Να αναπτύξουν προηγμένα χαρακτηριστικά αυθεντικοποίησης, όπως τα refresh tokens.
- Να δημιουργήσουν ένα επαναχρησιμοποιήσιμο backend για μελλοντικά Python projects.
- Να απλοποιήσουν την αποθήκευση δεδομένων με το SQLAlchemy.
- Να αναπτύξουν REST APIs σε έναν cloud based server.
Scientific Computing with Python SciPy
7 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το SciPy για να δημιουργήσουν προηγμένες επιστημονικές συναρτήσεις υπολογιστών με την Python.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Να εγκαταστήσουν το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσουν τη δημιουργία επιστημονικών συναρτήσεων υπολογιστών.
- Να αξιοποιήσουν πλήρως τις δυνατότητες του SciPy μέσω πρακτικών παραδειγμάτων σύνθετων λειτουργιών.
- Να υλοποιήσουν και να βελτιστοποιήσουν μαθηματικούς αλγορίθμους και συναρτήσεις για την επίλυση επιστημονικών προβλημάτων.
- Να σχεδιάσουν δομές δεδομένων και μεθόδους παρεμβολής για οπτικοποίηση, επεξεργασία και ανάλυση.
Web Development with Web2Py
28 HoursWeb2py είναι ένα ελεύθερο full-stack πλαίσιο ανοιχτού κώδικα βασισμένο σε Python για την ταχεία ανάπτυξη γρήγορων, κλιμακούμενων, ασφαλών και φορητών εφαρμογών βασισμένων σε βάσεις δεδομένων στο διαδίκτυο.
Κοινό
Αυτό το μάθημα απευθύνεται στους μηχανικούς και προγραμματιστές που χρησιμοποιούν το web2py ως πλαίσιο για την ανάπτυξη ιστού