Αυτός ο οδηγός θα εξηγήσει τα προγράμματα ανίχνευσης λιστών στο AWS.
Τι είναι τα List-Crawlers στο AWS;
Ο ανιχνευτής είναι ένα στοιχείο της κόλλας AWS που χρησιμοποιείται για την ανίχνευση πάνω από τη θέση δεδομένων και συνάγει αυτές τις πληροφορίες πίσω στον κατάλογο. Οι πληροφορίες που συλλέγει ένας ανιχνευτής μπορεί να είναι τύποι δεδομένων των δεδομένων, δομή σχήματος ή με άλλα λόγια, συλλέγει μεταδεδομένα. Ο ανιχνευτής μπορεί επίσης να χρησιμοποιηθεί με τον κατάλογο δεδομένων που χρησιμοποιείται όταν τα δεδομένα μετακινούνται μέσα στο οικοσύστημα Glue ενώ χρησιμοποιείτε εργασίες ETL κ.λπ.
Τι είναι η υπηρεσία κόλλας Amazon;
Το AWS Glue είναι μια υπηρεσία Amazon Extract Transform and Load που επιτρέπει στον χρήστη να οργανώσει, να εντοπίσει, να μετακινήσει και να μετατρέψει όλα τα δεδομένα. Το AWS Glue είναι χωρίς διακομιστή, καθώς ο χρήστης δεν χρειάζεται να παρέχει και να διαμορφώνει τους διακομιστές ή να διαχειρίζεται τους κύκλους ζωής. Ο κατάλογος δεδομένων και τα προγράμματα ανίχνευσης είναι τα στοιχεία του AWS Glue που λειτουργεί ως μόνιμο αποθετήριο μεταδεδομένων:
Πώς να δημιουργήσετε έναν ανιχνευτή στο AWS;
Για να δημιουργήσετε ένα πρόγραμμα ανίχνευσης στο AWS, επισκεφτείτε την υπηρεσία AWS Glue από την Κονσόλα διαχείρισης AWS:
Κατευθυνθείτε στο ' Crawlers ” σελίδα κάνοντας κλικ στο όνομά της από το αριστερό πλαίσιο:
Κάνε κλικ στο ' Δημιουργία ανιχνευτή κουμπί ”:
Πληκτρολογήστε το όνομα του ανιχνευτή και κάντε κλικ στο ' Επόμενο κουμπί ”:
Επιλέξτε την επιλογή χαρτογράφησης για πίνακες κόλλας και κάντε κλικ στο ' Προσθέστε μια πηγή κουμπί ” για λήψη δεδομένων από:
Επιλέξτε την υπηρεσία S3 και κάντε κλικ στο ' Περιηγηθείτε στο S3 κουμπί ” για να λάβετε τη θέση της πηγής:
Απλώς επιλέξτε το φάκελο S3 και κάντε κλικ στο ' Επιλέγω κουμπί ”:
Μόλις προστεθεί η τοποθεσία στην πηγή, απλώς κάντε κλικ στο ' Προσθέστε μια πηγή δεδομένων S3 κουμπί ”:
Κάνε κλικ στο ' Επόμενο κουμπί ”:
Κάνε κλικ στο ' Δημιουργία νέου ρόλου IAM κουμπί ' από το ' Διαμορφώστε τις ρυθμίσεις ασφαλείας ' Ενότητα:
Εισαγάγετε το όνομα του ρόλου και κάντε κλικ στο ' Δημιουργώ Κουμπί ”:
Μετά από αυτό, απλώς κάντε κλικ στο ' Επόμενο Κουμπί ”:
Επιλέξτε τη βάση δεδομένων προορισμού και πληκτρολογήστε το όνομα που θα χρησιμοποιηθεί για τον πίνακα:
Προγραμματίστε το πρόγραμμα ανίχνευσης για ' Κατα παραγγελια ' και κάντε κλικ στο ' Επόμενο Κουμπί ”:
Ελέγξτε τη διαμόρφωση και κάντε κλικ στο ' Δημιουργία ανιχνευτή Κουμπί ”:
Ο ανιχνευτής έχει δημιουργηθεί με επιτυχία και μπορεί να χρησιμοποιηθεί για την ανάκτηση των δεδομένων από την πηγή κάνοντας κλικ στο ' Τρέξιμο Κουμπί ”:
Αυτά είναι όλα για τα προγράμματα ανίχνευσης λιστών στο AWS.
συμπέρασμα
Το ListCrawler είναι το στοιχείο της υπηρεσίας AWS Glue που μπορεί να χρησιμοποιηθεί για την ανίχνευση πληροφοριών από πηγές και την επιστροφή στον κατάλογο. Οι κατάλογοι δεδομένων και τα προγράμματα ανίχνευσης μπορούν να χρησιμοποιηθούν για τη συλλογή δεδομένων για τη λήψη πληροφοριών σχετικά με τα δεδομένα που είναι γνωστά ως μεταδεδομένα. Ο χρήστης μπορεί επίσης να δημιουργήσει ένα πρόγραμμα ανίχνευσης από το AWS Glue για να λάβει δεδομένα από την υπηρεσία S3 ή άλλες πηγές και να τοποθετήσει πίνακες δημιουργίας στη βάση δεδομένων. Αυτός ο οδηγός έχει εξηγήσει τους ListCrawlers στο AWS και τον τρόπο δημιουργίας τους.