Πώς να χρησιμοποιήσετε το Parent Document Retriever στο LangChain;

Αυτή η ανάρτηση θα δείξει τη διαδικασία χρήσης του γονικού εργαλείου ανάκτησης εγγράφων στο LangChain.

Πώς να χρησιμοποιήσετε ένα μητρικό πρόγραμμα ανάκτησης εγγράφων στο LangChain;

Το γονικό εργαλείο ανάκτησης εγγράφων στο LangChain μπορεί να χρησιμοποιηθεί χωρίζοντας τα έγγραφα σε μικρότερα κομμάτια, ώστε να μην χάνουν το νόημά τους τη στιγμή της ενσωμάτωσης. Το μητρικό έγγραφο μπορεί να ειπωθεί ότι είναι ολόκληρο το έγγραφο ή το μεγαλύτερο κομμάτι από το οποίο εξάγονται τα μικρότερα κομμάτια.

Για να μάθετε τη διαδικασία χρήσης του γονικού προγράμματος ανάκτησης εγγράφων στο LangChain, απλώς ανατρέξτε σε αυτόν τον οδηγό:

Βήμα 1: Εγκατάσταση μονάδων

Αρχικά, ξεκινήστε να χρησιμοποιείτε τη γονική ανάκτηση εγγράφων εγκαθιστώντας το πλαίσιο LangChain χρησιμοποιώντας την εντολή pip:

Εγκαταστήστε τη μονάδα βάσης δεδομένων Chroma για να αποθηκεύσετε τις ενσωματώσεις του εγγράφου και να ανακτήσετε δεδομένα από αυτό:

Για να εγκαταστήσετε το tiktoken που είναι ένα tokenizer που λαμβάνει τα διακριτικά του εγγράφου δημιουργώντας μικρά κομμάτια:

Αποκτήστε τη λειτουργική μονάδα OpenAI εκτελώντας την ακόλουθη εντολή στο σημειωματάριο Python για να λάβετε τις εξαρτήσεις και τις βιβλιοθήκες του:

Βήμα 2: Ρύθμιση Περιβάλλοντος & Μεταφόρτωση Δεδομένων

Το επόμενο βήμα είναι να δημιουργήσει το περιβάλλον χρησιμοποιώντας το κλειδί API από το λογαριασμό OpenAI:

Τώρα, ανεβάστε τα έγγραφα από το τοπικό σύστημα μετά την εισαγωγή της βιβλιοθήκης αρχείων και, στη συνέχεια, καλέστε τη μέθοδο upload():

Βήμα 3: Εισαγωγή βιβλιοθηκών

Το επόμενο βήμα περιέχει τον κώδικα για την εισαγωγή των απαιτούμενων βιβλιοθηκών για τη χρήση των γονικών ανακτητών εγγράφων χρησιμοποιώντας το πλαίσιο LangChain:

Φορτώστε το έγγραφο για να δημιουργήσετε το retriever χρησιμοποιώντας τις μεθόδους TextLoader() με τη διαδρομή των αρχείων:

Βήμα 4: Ανάκτηση πλήρων εγγράφων

Μόλις φορτωθούν τα έγγραφα/αρχεία στο μοντέλο, απλώς δημιουργήστε τις ενσωματώσεις των εγγράφων και αποθηκεύστε τα στα διανυσματικά καταστήματα:

Τώρα, καλέστε τη μέθοδο add_documents() χρησιμοποιώντας το retriever για να μεταφέρετε το retriever στα έγγραφα:

Ο ακόλουθος κώδικας εξάγει τις ενσωματώσεις των εγγράφων που έχουν αποθηκευτεί στη βάση δεδομένων για τα μεταφορτωμένα αρχεία:

Αφού λάβετε τις ενσωματώσεις των εγγράφων, καλέστε τη μέθοδο similarity_search() με το ερώτημα για να λάβετε τα μικρά κομμάτια από το έγγραφο:

Καλέστε τη μέθοδο print() για να εμφανίσετε τα κομμάτια που καλούνται στον προηγούμενο κώδικα με βάση το ερώτημα:

Καλέστε την πλήρη συνάρτηση retriever() για να λάβετε όλα τα διακριτικά που είναι αποθηκευμένα στη βάση δεδομένων χρησιμοποιώντας τον ακόλουθο κώδικα:

Η εκτύπωση όλων των εγγράφων θα απαιτούσε τεράστιο χρόνο και ισχύ επεξεργασίας, επομένως απλά λάβετε το μήκος των εγγράφων που έχετε ανακτήσει προηγουμένως:

Βήμα 5: Ανάκτηση μεγαλύτερων κομματιών

Αυτό το βήμα δεν θα λάβει ολόκληρο το έγγραφο. Ωστόσο, θα έπαιρνε ένα μεγαλύτερο chipmunk από το έγγραφο και θα ανακτούσε ένα μικρότερο κομμάτι από αυτό:

Διαμορφώστε το retriever για να λάβετε το μικρότερο διακριτικό από την τεράστια δεξαμενή δεδομένων που είναι αποθηκευμένα στο ' vectorstore ' μεταβλητή:

Καλέστε το retriever για να λάβετε τα μεγαλύτερα κομμάτια από τα διανυσματικά καταστήματα χρησιμοποιώντας το έγγραφα μεταβλητή στο όρισμα της συνάρτησης:

Λάβετε το μήκος αυτών των εγγράφων από το έγγραφα μεταβλητή μέσω της παρακάτω εντολής:

Απλώς λάβετε ένα μικρότερο κομμάτι από ένα μεγαλύτερο, καθώς το προηγούμενο στιγμιότυπο οθόνης δείχνει ότι υπάρχουν 23 έγγραφα αποθηκευμένα στον χώρο αποθήκευσης διανυσμάτων. Το ερώτημα χρησιμοποιείται για τη λήψη των σχετικών δεδομένων χρησιμοποιώντας το similarity_search() μέθοδος ανάκτησης δεδομένων από το χώρο αποθήκευσης διανυσμάτων:

Εκτυπώστε τα μικρότερα κομμάτια χρησιμοποιώντας το ερώτημα που αναφέρεται στον προηγούμενο κώδικα για να τα εμφανίσετε στην οθόνη:

Τώρα, χρησιμοποιήστε το retriever στο πλήρες σύνολο δεδομένων που είναι αποθηκευμένο στη βάση δεδομένων χρησιμοποιώντας το ερώτημα ως όρισμα της συνάρτησης:

Λάβετε το μήκος των πλήρων τμημάτων που δημιουργήθηκαν και αποθηκεύτηκαν στη βάση δεδομένων:

Δεν μπορούμε να εμφανίσουμε όλα τα κομμάτια, αλλά το πρώτο κομμάτι με τον αριθμό ευρετηρίου 0 εμφανίζεται χρησιμοποιώντας τον ακόλουθο κώδικα:

Αυτό αφορά τη διαδικασία χρήσης του γονικού προγράμματος ανάκτησης εγγράφων στο LangChain.

συμπέρασμα

Για να χρησιμοποιήσετε τη μητρική ανάκτηση εγγράφων στο LangChain, απλώς εγκαταστήστε τις λειτουργικές μονάδες και ρυθμίστε το περιβάλλον OpenAI χρησιμοποιώντας το κλειδί API του. Μετά από αυτό, εισαγάγετε τις απαιτούμενες βιβλιοθήκες από το LangChain για χρήση της γονικής ανάκτησης εγγράφων και, στη συνέχεια, φορτώστε τα έγγραφα για το μοντέλο. Ο χρήστης μπορεί να χρησιμοποιήσει γονικά έγγραφα ως ολόκληρο το έγγραφο ή το μεγάλο κομμάτι και να πάρει ένα μικρότερο κομμάτι χρησιμοποιώντας το ερώτημα. Αυτή η ανάρτηση έχει επεξεργαστεί τη διαδικασία χρήσης της γονικής ανάκτησης εγγράφων στο LangChain.