Οι μεμονωμένες εγγραφές δεδομένων αποθηκεύονται με τη μορφή « Τανυστήρες ' στο PyTorch και ' κλίσεις Οι τανυστές υπολογίζονται χρησιμοποιώντας αντίστροφη διάδοση εντός του βρόχου εκπαίδευσης ενός μοντέλου βαθιάς μάθησης. Ο όρος ' χωρίς κλίμακα ' σημαίνει ότι τα δεδομένα είναι ακατέργαστα και δεν υπάρχει προεπεξεργασία ή βελτιστοποίηση. Η μη κλιμακούμενη κλίση ενός τανυστή παρέχει την πραγματική τιμή της αλλαγής σχετικά με την καθορισμένη συνάρτηση απώλειας.
Σε αυτό το ιστολόγιο, θα συζητήσουμε τον τρόπο υπολογισμού της μη κλιμακούμενης διαβάθμισης ενός Tensor στο PyTorch.
Τι είναι μια μη κλιμακούμενη κλίση ενός τανυστή στο PyTorch;
Οι τανυστές είναι πολυδιάστατοι πίνακες που περιέχουν δεδομένα και μπορούν να εκτελεστούν σε GPU στο PyTorch. Οι τανυστές που περιέχουν ακατέργαστα δεδομένα από το σύνολο δεδομένων χωρίς καμία προεπεξεργασία, μετασχηματισμούς ή βελτιστοποιήσεις ονομάζονται τανυστές χωρίς κλίμακα. Ωστόσο, ένα « Κλίση χωρίς κλίμακα » είναι διαφορετικό από έναν τανυστή χωρίς κλίμακα και πρέπει να ληφθεί μέριμνα ώστε να μην συγχέονται τα δύο. Μια μη κλιμακούμενη κλίση ενός τανυστή υπολογίζεται σε σχέση με την επιλεγμένη συνάρτηση απώλειας και δεν έχει περαιτέρω βελτιστοποιήσεις ή κλιμάκωση.
Πώς να υπολογίσετε τη μη κλιμακούμενη κλίση ενός τανυστή στο PyTorch;
Η μη κλιμακούμενη κλίση ενός τανυστή είναι η πραγματική τιμή του ρυθμού μεταβολής των δεδομένων εισόδου που αφορούν την επιλεγμένη συνάρτηση απώλειας. Τα ακατέργαστα δεδομένα κλίσης είναι σημαντικά για την κατανόηση της συμπεριφοράς του μοντέλου και της εξέλιξής του κατά τη διάρκεια του βρόχου εκπαίδευσης.
Ακολουθήστε τα βήματα που δίνονται παρακάτω για να μάθετε πώς να υπολογίζετε τη μη κλιμακούμενη κλίση ενός τανυστή στο PyTorch:
Βήμα 1: Ξεκινήστε το έργο ρυθμίζοντας το IDE
Το Google Colaboratory IDE είναι μια από τις καλύτερες επιλογές για την ανάπτυξη έργων PyTorch επειδή παρέχει δωρεάν πρόσβαση σε GPU για ταχύτερη επεξεργασία. Πήγαινε στο Colab δικτυακός τόπος και κάντε κλικ στο ' Νέο Σημειωματάριο ” επιλογή για έναρξη εργασίας:
Βήμα 2: Εισαγάγετε τη Βιβλιοθήκη Essential Torch
Όλη η λειτουργικότητα του πλαισίου PyTorch περιέχεται στο ' Δάδα ' βιβλιοθήκη. Κάθε έργο PyTorch ξεκινά με την εγκατάσταση και την εισαγωγή αυτής της βιβλιοθήκης:
!pip εγκατάσταση φακόφακός εισαγωγής
Ο παραπάνω κώδικας λειτουργεί ως εξής:
- '! κουκούτσι ” είναι ένα πακέτο εγκατάστασης για την Python που χρησιμοποιείται για την εγκατάσταση βιβλιοθηκών σε έργα.
- Ο ' εισαγωγή Η εντολή ” χρησιμοποιείται για την κλήση των εγκατεστημένων βιβλιοθηκών στο έργο.
- Αυτό το έργο χρειάζεται μόνο τη λειτουργικότητα του ' δάδα ' βιβλιοθήκη:
Βήμα 3: Ορίστε έναν τανυστή PyTorch με Gradient
Χρησιμοποιήστε το ' πυρσός.τανυστής ()' μέθοδος για τον ορισμό ενός τανυστή με μια κλίση ' requires_grad=Αλήθεια μέθοδος:
A = torch.tensor([5.0], requires_grad=True)Βήμα 4: Ορίστε μια απλή συνάρτηση απώλειας
Μια συνάρτηση απώλειας ορίζεται χρησιμοποιώντας μια απλή αριθμητική εξίσωση όπως φαίνεται:
συνάρτηση_απώλειας = A*5 
Βήμα 5: Υπολογίστε τη διαβάθμιση και εκτυπώστε στην έξοδο
Χρησιμοποιήστε το ' οπισθοδρομικός ()' μέθοδος για τον υπολογισμό της μη κλιμακούμενης κλίσης όπως φαίνεται:
loss_function.backward()unscaled_grad = A.grad
print('Unscaled Gradient of PyTorch Tensor: ', unscaled_grad)
Ο παραπάνω κώδικας λειτουργεί ως εξής:
- Χρησιμοποιήστε το ' οπισθοδρομικός ()' μέθοδος για τον υπολογισμό της μη κλιμακούμενης κλίσης μέσω διάδοσης προς τα πίσω.
- Αναθέστε το « A.grad ' στο ' unscaled_grad ” μεταβλητή.
- Τέλος, χρησιμοποιήστε το ' Τυπώνω ()' μέθοδος για την εμφάνιση της εξόδου της μη κλιμακούμενης κλίσης:
Σημείωση : Μπορείτε να αποκτήσετε πρόσβαση στο Σημειωματάριο Colab από αυτό Σύνδεσμος .
Pro-Tip
Η μη κλιμακούμενη κλίση των τανυστών μπορεί να δείξει την ακριβή σχέση των δεδομένων εισόδου με τη συνάρτηση απώλειας για ένα νευρωνικό δίκτυο εντός του πλαισίου PyTorch. Η μη επεξεργασμένη κλίση δείχνει πώς συσχετίζονται συστηματικά και οι δύο τιμές.
Επιτυχία! Μόλις δείξαμε πώς να υπολογίσουμε τη μη κλιμακούμενη κλίση ενός τανυστή στο PyTorch.
συμπέρασμα
Υπολογίστε τη μη κλιμακούμενη διαβάθμιση ενός τανυστή στο PyTorch ορίζοντας πρώτα τον τανυστή και στη συνέχεια χρησιμοποιώντας τη μέθοδο backward() για να βρείτε τη διαβάθμιση. Αυτό δείχνει πώς το μοντέλο βαθιάς εκμάθησης συσχετίζει τα δεδομένα εισόδου με την καθορισμένη συνάρτηση απώλειας. Σε αυτό το ιστολόγιο, δώσαμε ένα βήμα-σοφό σεμινάριο σχετικά με τον τρόπο υπολογισμού της μη κλιμακούμενης διαβάθμισης ενός τανυστή στο PyTorch.