Σε αυτό το ιστολόγιο, θα καλύψουμε το παρακάτω περιεχόμενο:
- Πώς να προσαρμόσετε τη δημιουργία κειμένου με τη φόρτωση του μοντέλου με τη λειτουργία 'pipeline' από τους Transformers;
- Πώς να χρησιμοποιήσετε ένα μοντέλο που βασίζεται σε μετασχηματιστή για τη δημιουργία κειμένου στο PyTorch;
- Πώς να χρησιμοποιήσετε ένα μοντέλο που βασίζεται σε μετασχηματιστή για τη δημιουργία κειμένου στο TensorFlow;
Πώς να προσαρμόσετε τη δημιουργία κειμένου φορτώνοντας το μοντέλο με τη λειτουργία 'pipeline' από τους Transformers;
Ο ' αγωγός Η λειτουργία ' χρησιμοποιείται για αυτόματη λήψη του προεκπαιδευμένου μοντέλου AI σύμφωνα με τις απαιτήσεις του χρήστη. Για να χρησιμοποιήσετε αυτήν τη συγκεκριμένη λειτουργία, οι χρήστες πρέπει να εγκαταστήσουν το ' μετασχηματιστές ” πακέτα. Αυτό το πακέτο παρέχει πρόσβαση σε υπερσύγχρονα μοντέλα που βασίζονται σε Transformer που μπορούν να εκτελέσουν ανάλυση συναισθήματος καθώς και πολλά άλλα Επεξεργασία φυσικής γλώσσας (NLP) καθήκοντα.
Για να δείτε την πρακτική επίδειξη του σεναρίου που περιγράφηκε παραπάνω, προχωρήστε στα παρακάτω βήματα!
Βήμα 1: Εγκαταστήστε τα πακέτα 'transformers'.
Αρχικά, εκτελέστε το '! κουκούτσι' εντολή για την εγκατάσταση των πακέτων μετασχηματιστή:
! μετασχηματιστές εγκατάστασης pip
Όπως μπορείτε να δείτε, το καθορισμένο πακέτο έχει εγκατασταθεί με επιτυχία:
Βήμα 2: Εισαγωγή μοντέλου που βασίζεται σε μετασχηματιστή
Στη συνέχεια, εισαγάγετε το απαιτούμενο μοντέλο που βασίζεται σε μετασχηματιστή. Για να το κάνετε αυτό, πρώτα εισάγετε το ' αγωγός 'λειτουργία από ' μετασχηματιστές '. Στη συνέχεια, χρησιμοποιήστε τη συνάρτηση εισαγωγής και περάστε το ' δημιουργία κειμένου ' ως επιχείρημα σε αυτό μαζί με το απαιτούμενο όνομα μοντέλου ' gpt2 '. Στη συνέχεια, περάστε τα στο ' παράγω ' μεταβλητή:
από μετασχηματιστές εισαγωγή αγωγός
παράγω = αγωγός ( «γενιά κειμένου» , μοντέλο = 'gpt2' )
Βήμα 3: Δημιουργήστε Προσαρμογή κειμένου
Τώρα, περάστε το επιθυμητό κείμενο ως όρισμα στο ' παράγω '. Οπως φαίνεται παρακάτω:
παράγω ( 'Με τη χρήση του μοντέλου gpt2 για τη δημιουργία κειμένου σε μετασχηματιστές' )Σύμφωνα με την παρεχόμενη έξοδο, το κατεβασμένο προεκπαιδευμένο ' gpt3 Το μοντέλο έχει δημιουργηθεί με επιτυχία κείμενο:
Μπορείτε επίσης να χρησιμοποιήσετε τα άλλα ορίσματα, όπως:
προτροπή = 'Με τη χρήση του μοντέλου gpt2 για τη δημιουργία κειμένου σε μετασχηματιστές'Τυπώνω ( γονίδιο ( προτροπή , αριθμός_επιστροφής_ακολουθίες = 5 , μέγιστο μήκος = είκοσι ) )
Εδώ:
- ' προτροπή ' χρησιμοποιείται ως όρισμα που συγκρατεί την είσοδο.
- ' αριθμός_επιστροφής_ακολουθία Το όρισμα χρησιμοποιείται για τη δημιουργία του αριθμού των ακολουθιών του παρεχόμενου κειμένου.
- ' μέγιστο μήκος Το όρισμα χρησιμοποιείται για να καθορίσει το μήκος του παραγόμενου κειμένου. Στην περίπτωσή μας, περιορίζεται σε « 30 μάρκες (λέξεις ή σημεία στίξης):
Σημείωση: Το προσαρμοσμένο κείμενο θα είναι μια συνέχεια της καθορισμένης προτροπής που βασίζεται στα δεδομένα εκπαίδευσης του μοντέλου.
Πώς να χρησιμοποιήσετε ένα μοντέλο που βασίζεται σε μετασχηματιστή για τη δημιουργία κειμένου στο PyTorch;
Οι χρήστες μπορούν επίσης να προσαρμόσουν το κείμενο σε ' PyTorch ' Ποιο είναι το ' Δάδα βασισμένο στο πλαίσιο μηχανικής μάθησης. Χρησιμοποιείται για διαφορετικές εφαρμογές, όπως NLP και Computer Vision. Για να χρησιμοποιήσετε το μοντέλο που βασίζεται σε μετασχηματιστή για την προσαρμογή του κειμένου στο PyTorch, πρώτα, εισαγάγετε το ' GPT2Tokenizer ' και ' Μοντέλο GPT2 ' λειτουργίες από το ' μετασχηματιστές ”:
από μετασχηματιστές εισαγωγή GPT2Tokenizer , Μοντέλο GPT2Στη συνέχεια, χρησιμοποιήστε το ' GPT2Tokenizer 'Tokenizer σύμφωνα με το επιθυμητό προεκπαιδευμένο μοντέλο που ονομάζεται ' gpt2 ”:
tokenizer = GPT2Tokenizer. from_pretrained ( 'gpt2' )Στη συνέχεια, στοιχειοθετώντας τα βάρη από ένα προεκπαιδευμένο μοντέλο:
μοντέλο = Μοντέλο GPT2. from_pretrained ( 'gpt2' )Στη συνέχεια, δηλώστε ένα ' gen_text ” μεταβλητή που περιέχει το κείμενο που θέλουμε να προσαρμόσουμε:
gen_text = 'Με τη χρήση του μοντέλου gpt2 για τη δημιουργία κειμένου σε μετασχηματιστές'Τώρα, περάστε το ' gen_text ' και ' return_tensors='pt' ' ως όρισμα που θα δημιουργήσει το κείμενο στο PyTorch και θα αποθηκεύσει την παραγόμενη τιμή στο ' encoded_input ' μεταβλητή:
encoded_input = tokenizer ( gen_text , επιστροφή_τανυστών = 'pt' )Τέλος, περάστε το ' encoded_input ' μεταβλητή που κρατά το προσαρμοσμένο κείμενο στο ' μοντέλο ' ως παράμετρος και λάβετε την προκύπτουσα έξοδο χρησιμοποιώντας το ' μέγιστο μήκος ' όρισμα που έχει οριστεί σε ' είκοσι ' που υποδεικνύει ότι το κείμενο που δημιουργείται θα περιοριστεί σε παρεχόμενα διακριτικά, το ' αριθμός_επιστροφής_ακολουθίες 'που ορίστηκε σε' 5 Αυτό δείχνει ότι το κείμενο που δημιουργείται θα βασίζεται σε 5 ακολουθίες κειμένου:
παραγωγή = μοντέλο ( **encoded_input )γεννήτρια ( gen_text , μέγιστο μήκος = είκοσι , αριθμός_επιστροφής_ακολουθίες = 5 )
Παραγωγή
Πώς να χρησιμοποιήσετε ένα μοντέλο που βασίζεται σε μετασχηματιστή για τη δημιουργία κειμένου στο TensorFlow;
Για τη δημιουργία του κειμένου στο Transformers, το ' TensorFlow Χρησιμοποιούνται επίσης πλαίσια μηχανικής μάθησης που βασίζονται. Για να το κάνετε αυτό, πρώτα εισάγετε τις απαιτούμενες συναρτήσεις, όπως το ' GPT2Tokenizer ' και ' Μοντέλο TFGPT2 ' από το ' μετασχηματιστές '. Ο υπόλοιπος κώδικας είναι ο ίδιος με τον παραπάνω, απλώς χρησιμοποιούμε το ' Μοντέλο TFGPT2 λειτουργία ' αντί για ' Μοντέλο GPT2 ' λειτουργία. Ως εξής:
από μετασχηματιστές εισαγωγή GPT2Tokenizer , Μοντέλο TFGPT2tokenizer = GPT2Tokenizer. from_pretrained ( 'gpt2' )
μοντέλο = Μοντέλο TFGPT2. from_pretrained ( 'gpt2' )
κείμενο = 'Με τη χρήση του μοντέλου gpt2 για τη δημιουργία κειμένου σε μετασχηματιστές'
encoded_input = tokenizer ( κείμενο , επιστροφή_τανυστών = 'tf' )
παραγωγή = μοντέλο ( encoded_input )
γεννήτρια ( gen_text , μέγιστο μήκος = είκοσι , αριθμός_επιστροφής_ακολουθίες = 5 )
Όπως μπορείτε να δείτε, το προσαρμοσμένο κείμενο δημιουργήθηκε με επιτυχία:
Αυτό είναι! Έχουμε επεξεργαστεί την προσαρμογή της δημιουργίας κειμένου στο Transformers.
συμπέρασμα
Για να προσαρμόσετε τη δημιουργία κειμένου στους Transformers, υπάρχουν διάφοροι τρόποι όπως η φόρτωση του μοντέλου με τη λειτουργία pipeline, χρησιμοποιώντας το μοντέλο που βασίζεται σε μετασχηματιστή στο ' PyTorch ' και ' TensorFlow ” τα οποία βασίζονται σε πλαίσια μηχανικής μάθησης. Σε αυτόν τον οδηγό, έχουμε παράσχει σύντομες πληροφορίες μαζί με μια πρακτική επίδειξη της προσαρμογής της δημιουργίας κειμένου σε Transformers.