«Οι τιμές διαχωρισμένες με κόμματα (CSV) είναι μια από τις πιο ευέλικτες και εύχρηστες μορφές δεδομένων. Είναι μια ελαφριά μορφή δεδομένων που επιτρέπει στους προγραμματιστές και τις εφαρμογές να μεταφέρουν και να αναλύουν δεδομένα από τη μια πηγή στην άλλη.
Τα δεδομένα CSV αποθηκεύουν δεδομένα σε μορφή πίνακα όπου κάθε στήλη διαχωρίζεται με κόμμα και μια νέα εγγραφή εκχωρείται σε μια νέα γραμμή. Αυτό το καθιστά μια πολύ καλή επιλογή για εξαγωγή βάσεων δεδομένων όπως βάσεις δεδομένων SQL, δεδομένα Cassandra και άλλα.
Επομένως, δεν αποτελεί έκπληξη το γεγονός ότι θα συναντήσετε ένα σενάριο όπου πρέπει να εισαγάγετε ένα αρχείο CSV στη βάση δεδομένων σας.
Ο στόχος αυτού του σεμιναρίου είναι να σας δείξει μια γρήγορη και απλή μέθοδο εισαγωγής ενός αρχείου CSV στο σύμπλεγμα Elasticsearch χρησιμοποιώντας τον πίνακα εργαλείων Kibana.'
Ας πηδήξουμε.
Απαιτήσεις
Πριν καταδυθείτε, βεβαιωθείτε ότι έχετε τις ακόλουθες απαιτήσεις:
- Ένα σύμπλεγμα Elasticsearch με πράσινη κατάσταση υγείας.
- Διακομιστής Kibana συνδεδεμένος στο σύμπλεγμα Elasticsearch.
- Επαρκή δικαιώματα για τη διαχείριση ευρετηρίων στο σύμπλεγμα σας.
Δείγμα αρχείου CSV
Ως συνήθως, η πρώτη απαίτηση είναι το αρχείο προέλευσης CSV. Είναι καλό να βεβαιωθείτε ότι τα δεδομένα στο αρχείο CSV σας είναι καλά μορφοποιημένα και ότι δεν περιέχουν σφάλματα.
Για λόγους επεξήγησης, θα χρησιμοποιήσουμε ένα δωρεάν σύνολο δεδομένων που περιέχει ταινίες και τηλεοπτικές εκπομπές από το Amazon Prime.
Ανοίξτε το πρόγραμμα περιήγησής σας και πλοηγηθείτε στον παρακάτω πόρο:
https://www.kaggle.com/datasets/shivamb/amazon-prime-movies-and-tv-shows
Ακολουθήστε τη διαδικασία για λήψη του συνόλου δεδομένων στον τοπικό σας υπολογιστή. Μπορείτε να εξαγάγετε το ληφθέν αρχείο με την εντολή:
$ ανοίγω φερμουάρ α~ / Λήψεις / αρχειοθέτηση.zip
Εισαγωγή αρχείου CSV
Μόλις έχετε έτοιμο το αρχείο προέλευσης, μπορούμε να προχωρήσουμε και να συζητήσουμε τον τρόπο εισαγωγής του.
Ξεκινήστε μεταβαίνοντας στον πίνακα ελέγχου του σπιτιού σας στο Kibana και επιλέγοντας την επιλογή 'μεταφόρτωση αρχείου'.
Εντοπίστε το αρχείο προορισμού CSV που θέλετε να εισαγάγετε στο παράθυρο εκκίνησης.
Επιλέξτε το αρχείο προέλευσης και κάντε κλικ στο upload.
Επιτρέψτε στο Elasticsearch και το Kibana να αναλύσουν το μεταφορτωμένο αρχείο. Αυτό θα αναλύσει το αρχείο CSV και θα καθορίσει τη μορφή δεδομένων, τα πεδία, τους τύπους δεδομένων κ.λπ.
ΣΗΜΕΙΩΣΗ: Ανάλογα με τη διαμόρφωση του συμπλέγματος και το μέγεθος των δεδομένων, αυτή η διαδικασία μπορεί να διαρκέσει λίγο. Βεβαιωθείτε ότι ο κύριος κόμβος ανταποκρίνεται για να αποφύγετε τα χρονικά όρια.
Μόλις ολοκληρωθεί η διαδικασία, θα πρέπει να λάβετε ένα δείγμα του περιεχομένου του αρχείου σας και των στατιστικών στοιχείων του αρχείου όπως αναλύονται από το Elastic.
Μπορείτε να προσαρμόσετε πολλές παραμέτρους, για παράδειγμα, τον οριοθέτη, τις σειρές κεφαλίδων κ.λπ. Για παράδειγμα, μπορούμε να προσαρμόσουμε την έξοδο παραπάνω για να πούμε στην Elastic ότι το αρχείο CSV περιέχει αρχεία κεφαλίδας.
Στη συνέχεια, μπορούμε να κάνουμε κλικ στην εφαρμογή και να αναλύσουμε ξανά τα δεδομένα. Αυτό θα πρέπει να μορφοποιήσει τα δεδομένα στη σωστή μορφή, συμπεριλαμβανομένων των πεδίων.
Στη συνέχεια, μπορούμε να κάνουμε κλικ στην εισαγωγή για να προχωρήσουμε στον εισηγμένο πίνακα εργαλείων.
Εδώ, πρέπει να δημιουργήσουμε ένα ευρετήριο στο οποίο αποθηκεύονται τα δεδομένα CSV. Μπορείτε να εκχωρήσετε οποιοδήποτε υποστηριζόμενο όνομα στο ευρετήριό σας.
Εάν θέλετε να προσαρμόσετε τις ιδιότητες του ευρετηρίου σας, όπως τον αριθμό των θραυσμάτων, τα αντίγραφα, τις αντιστοιχίσεις κ.λπ. Επιλέξτε τη σύνθετη επιλογή και τροποποιήστε τις ρυθμίσεις σας όπως θέλει η καρδιά σας.
Τέλος, κάντε κλικ στην εισαγωγή και δείτε την Kibana να κάνει τα «μαγικά» της. Μόλις ολοκληρωθεί, μπορείτε να αποκτήσετε πρόσβαση στο ευρετήριό σας είτε μέσω του Elasticsearch API είτε να χρησιμοποιήσετε τον πίνακα ελέγχου Kibana.
Και τελείωσες!!
συμπέρασμα
Σε αυτήν την ανάρτηση, καλύψαμε τη διαδικασία ανάκτησης και εισαγωγής δεδομένων CSV στο σύμπλεγμα Elasticsearch χρησιμοποιώντας τον πίνακα εργαλείων Kibana.
Ευχαριστούμε για την ανάγνωση και καλή κωδικοποίηση!!