Πώς να αυξήσετε τη χρήση GPU στο PyTorch;

Σε αυτό το ιστολόγιο, θα επικεντρωθούμε στους τρόπους με τους οποίους μπορείτε να αυξήσετε τη χρήση GPU στο PyTorch.

Πώς να αυξήσετε τη χρήση GPU στο PyTorch;

Υπάρχουν διάφορες τεχνικές που μπορούν να χρησιμοποιηθούν για να αυξηθεί η χρήση της GPU και να διασφαλιστεί ότι χρησιμοποιούνται οι καλύτεροι πόροι υλικού για την επεξεργασία πολύπλοκων μοντέλων μηχανικής μάθησης. Αυτές οι τακτικές περιλαμβάνουν την επεξεργασία του κώδικα και τη χρήση των χαρακτηριστικών του PyTorch. Μερικές σημαντικές συμβουλές και κόλπα παρατίθενται παρακάτω:

• Φόρτωση δεδομένων και μεγεθών παρτίδας
• Λιγότερο εξαρτώμενα από τη μνήμη μοντέλα
• PyTorch Lightning
• Προσαρμόστε τις ρυθμίσεις χρόνου εκτέλεσης στο Google Colab
• Εκκαθάριση προσωρινής μνήμης για βελτιστοποίηση

Φόρτωση δεδομένων και μεγεθών παρτίδας

Ο ' Φορτωτή δεδομένων ' στο PyTorch χρησιμοποιείται για τον καθορισμό των προδιαγραφών των δεδομένων που θα φορτωθούν στον επεξεργαστή με κάθε προώθηση του μοντέλου βαθιάς εκμάθησης. Ένα μεγαλύτερο ' μέγεθος παρτίδας Τα δεδομένα θα απαιτήσουν περισσότερη επεξεργαστική ισχύ και θα αυξήσουν τη χρήση της διαθέσιμης GPU.

Η σύνταξη για την εκχώρηση ενός Dataloader με ένα συγκεκριμένο μέγεθος παρτίδας στο PyTorch σε μια προσαρμοσμένη μεταβλητή δίνεται παρακάτω:

Λιγότερο εξαρτώμενα από τη μνήμη μοντέλα

Κάθε αρχιτεκτονική μοντέλου απαιτεί διαφορετικό όγκο ' μνήμη ” για να αποδώσει στο βέλτιστο επίπεδο. Τα μοντέλα που είναι αποτελεσματικά στη χρήση λιγότερης μνήμης ανά μονάδα χρόνου μπορούν να λειτουργούν με μεγέθη παρτίδων που είναι πολύ μεγαλύτερα από αυτά άλλων.

PyTorch Lightning

Το PyTorch έχει μια μειωμένη έκδοση που είναι ' PyTorch Lightning '. Είναι βελτιστοποιημένο για αστραπιαία απόδοση, όπως φαίνεται από το όνομά του. Το Lightning χρησιμοποιεί GPU από προεπιλογή και προσφέρει πολύ ταχύτερη επεξεργασία για μοντέλα μηχανικής εκμάθησης. Ένα σημαντικό πλεονέκτημα του Lightning είναι η έλλειψη απαίτησης για κώδικα λέβητα που μπορεί να εμποδίσει την επεξεργασία.

Εισαγάγετε τις απαραίτητες βιβλιοθήκες σε ένα έργο PyTorch με τη σύνταξη που δίνεται παρακάτω:

Προσαρμόστε τις ρυθμίσεις χρόνου εκτέλεσης στο Google Colab

Το Google Colaboratory είναι ένα cloud IDE που παρέχει δωρεάν πρόσβαση GPU στους χρήστες του για την ανάπτυξη μοντέλων PyTorch. Από προεπιλογή, τα έργα Colab εκτελούνται σε CPU, αλλά οι ρυθμίσεις μπορούν να αλλάξουν.

Ανοίξτε το σημειωματάριο Colab, μεταβείτε στο ' Χρόνος εκτέλεσης ' επιλογή στη γραμμή μενού και μετακινηθείτε προς τα κάτω στο ' Αλλάξτε τις ρυθμίσεις χρόνου εκτέλεσης ”:

Στη συνέχεια, επιλέξτε το “T4 GPU” επιλογή και κάντε κλικ στο ' Αποθηκεύσετε ” για να εφαρμόσετε τις αλλαγές για χρήση GPU:

Εκκαθάριση προσωρινής μνήμης για βελτιστοποίηση

Το PyTorch επιτρέπει στους χρήστες του να εκκαθαρίσουν την κρυφή μνήμη για να μπορούν να ελευθερώσουν χώρο για την εκτέλεση νέων διεργασιών. Ο ' Κρύπτη ” αποθηκεύει δεδομένα και πληροφορίες σχετικά με τα μοντέλα που εκτελούνται, έτσι ώστε να εξοικονομεί χρόνο που θα δαπανηθεί για την επαναφόρτωση αυτών των μοντέλων. Η εκκαθάριση της προσωρινής μνήμης παρέχει στους χρήστες περισσότερο χώρο για την εκτέλεση νέων μοντέλων.

Η εντολή εκκαθάρισης της προσωρινής μνήμης της GPU δίνεται παρακάτω:

Αυτές οι συμβουλές χρησιμοποιούνται για τη βελτιστοποίηση της λειτουργίας μοντέλων μηχανικής εκμάθησης με GPU στο PyTorch.

Pro-Tip

Το Google Colab επιτρέπει στους χρήστες του να έχουν πρόσβαση σε λεπτομέρειες σχετικά με τη χρήση GPU από το ' nvidia ” για να λάβετε πληροφορίες σχετικά με το πού χρησιμοποιούνται οι πόροι υλικού. Η εντολή για την εμφάνιση των λεπτομερειών χρήσης GPU δίνεται παρακάτω:

Επιτυχία! Μόλις παρουσιάσαμε μερικούς τρόπους για να αυξήσετε τη χρήση της GPU στο PyTorch.

συμπέρασμα

Αυξήστε τη χρήση της GPU στο PyTorch διαγράφοντας την προσωρινή μνήμη, χρησιμοποιώντας PyTorch Lightning, προσαρμόζοντας τις ρυθμίσεις χρόνου εκτέλεσης, χρησιμοποιώντας αποδοτικά μοντέλα και βέλτιστα μεγέθη παρτίδων. Αυτές οι τεχνικές συμβάλλουν πολύ στο να διασφαλίσουν ότι τα μοντέλα βαθιάς μάθησης αποδίδουν τα μέγιστα και είναι σε θέση να εξάγουν έγκυρα συμπεράσματα και συμπεράσματα από τα διαθέσιμα δεδομένα. Έχουμε επιδείξει τις τεχνικές για την αύξηση της χρήσης GPU.