Σε αυτό το άρθρο, θα συζητήσουμε τον τρόπο κατανομής ΔΙΑΦΟΡΕΤΙΚΟΣ μνήμη μέσω του ' pytorch_cuda_alloc_conf μέθοδος.
Τι είναι η μέθοδος 'pytorch_cuda_alloc_conf' στο PyTorch;
Βασικά, το « pytorch_cuda_alloc_conf ” είναι μια μεταβλητή περιβάλλοντος στο πλαίσιο PyTorch. Αυτή η μεταβλητή επιτρέπει την αποτελεσματική διαχείριση των διαθέσιμων πόρων επεξεργασίας που σημαίνει ότι τα μοντέλα εκτελούνται και παράγουν αποτελέσματα στο ελάχιστο δυνατό χρονικό διάστημα. Εάν δεν γίνει σωστά, το « ΔΙΑΦΟΡΕΤΙΚΟΣ 'Η πλατφόρμα υπολογισμού θα εμφανίσει το ' μη διαθέσιμη μνήμη ” σφάλμα και επηρεάζουν το χρόνο εκτέλεσης. Μοντέλα που πρόκειται να εκπαιδευτούν σε μεγάλους όγκους δεδομένων ή έχουν μεγάλο « μεγέθη παρτίδων ” μπορεί να προκαλέσει σφάλματα χρόνου εκτέλεσης επειδή οι προεπιλεγμένες ρυθμίσεις μπορεί να μην είναι αρκετές για αυτούς.
Ο ' pytorch_cuda_alloc_conf Η μεταβλητή χρησιμοποιεί τα ακόλουθα επιλογές ” για να χειριστείτε την κατανομή πόρων:
- ντόπιος : Αυτή η επιλογή χρησιμοποιεί τις ήδη διαθέσιμες ρυθμίσεις στο PyTorch για να εκχωρήσει μνήμη στο μοντέλο που βρίσκεται σε εξέλιξη.
- max_split_size_mb : Διασφαλίζει ότι δεν χωρίζεται οποιοδήποτε μπλοκ κώδικα μεγαλύτερο από το καθορισμένο μέγεθος. Αυτό είναι ένα ισχυρό εργαλείο για την πρόληψη ' θρυμματισμός '. Θα χρησιμοποιήσουμε αυτήν την επιλογή για την επίδειξη σε αυτό το άρθρο.
- roundup_power2_divisions : Αυτή η επιλογή στρογγυλοποιεί το μέγεθος της κατανομής στο πλησιέστερο ' δύναμη 2 ” διαίρεση σε megabyte (MB).
- roundup_bypass_threshold_mb: Μπορεί να στρογγυλοποιήσει το μέγεθος κατανομής για οποιοδήποτε αίτημα που καταγράφει μεγαλύτερο από το καθορισμένο όριο.
- garbage_collection_threshold : Αποτρέπει τον λανθάνοντα χρόνο χρησιμοποιώντας τη διαθέσιμη μνήμη από την GPU σε πραγματικό χρόνο για να διασφαλιστεί ότι δεν εκκινείται το πρωτόκολλο ανάκτησης όλων.
Πώς να εκχωρήσετε μνήμη χρησιμοποιώντας τη μέθοδο 'pytorch_cuda_alloc_conf';
Οποιοδήποτε μοντέλο με μεγάλο σύνολο δεδομένων απαιτεί πρόσθετη εκχώρηση μνήμης που είναι μεγαλύτερη από αυτή που έχει οριστεί από προεπιλογή. Η προσαρμοσμένη κατανομή πρέπει να καθοριστεί λαμβάνοντας υπόψη τις απαιτήσεις του μοντέλου και τους διαθέσιμους πόρους υλικού.
Ακολουθήστε τα βήματα που δίνονται παρακάτω για να χρησιμοποιήσετε το ' pytorch_cuda_alloc_conf ” μέθοδος στο Google Colab IDE για την κατανομή περισσότερης μνήμης σε ένα σύνθετο μοντέλο μηχανικής μάθησης:
Βήμα 1: Ανοίξτε το Google Colab
Αναζήτηση για Google Συνεργατική στο πρόγραμμα περιήγησης και δημιουργήστε ένα ' Νέο Σημειωματάριο ” για να αρχίσετε να εργάζεστε:
Βήμα 2: Ρυθμίστε ένα προσαρμοσμένο μοντέλο PyTorch
Ρυθμίστε ένα μοντέλο PyTorch χρησιμοποιώντας το ' !κουκούτσι 'πακέτο εγκατάστασης για την εγκατάσταση του ' δάδα 'Βιβλιοθήκη και η ' εισαγωγή 'εντολή εισαγωγής' δάδα ' και ' εσείς ' βιβλιοθήκες στο έργο:
φακός εισαγωγής
εισάγετε μας
Για αυτό το έργο απαιτούνται οι ακόλουθες βιβλιοθήκες:
- Δάδα – Αυτή είναι η βασική βιβλιοθήκη στην οποία βασίζεται το PyTorch.
- ΕΣΕΙΣ - Ο ' λειτουργικό σύστημα Η βιβλιοθήκη χρησιμοποιείται για τη διαχείριση εργασιών που σχετίζονται με μεταβλητές περιβάλλοντος όπως pytorch_cuda_alloc_conf ” καθώς και τον κατάλογο του συστήματος και τα δικαιώματα αρχείων:
Βήμα 3: Εκχωρήστε μνήμη CUDA
Χρησιμοποιήστε το ' pytorch_cuda_alloc_conf ' μέθοδος για τον καθορισμό του μέγιστου μεγέθους διαχωρισμού χρησιμοποιώντας ' max_split_size_mb ”:
Βήμα 4: Συνεχίστε με το PyTorch Project σας
Αφού διευκρινιστεί « ΔΙΑΦΟΡΕΤΙΚΟΣ ' κατανομή χώρου με το ' max_split_size_mb ” επιλογή, συνεχίστε να εργάζεστε στο έργο PyTorch κανονικά χωρίς να φοβάστε το μη διαθέσιμη μνήμη ' λάθος.
Σημείωση : Μπορείτε να αποκτήσετε πρόσβαση στο σημειωματάριό μας Google Colab από αυτό Σύνδεσμος .
Pro-Tip
Όπως αναφέρθηκε προηγουμένως, το « pytorch_cuda_alloc_conf Η μέθοδος μπορεί να λάβει οποιαδήποτε από τις παραπάνω επιλογές. Χρησιμοποιήστε τα σύμφωνα με τις συγκεκριμένες απαιτήσεις των έργων βαθιάς μάθησης.
Επιτυχία! Μόλις δείξαμε πώς να χρησιμοποιείτε το ' pytorch_cuda_alloc_conf ' μέθοδος για τον καθορισμό ενός ' max_split_size_mb ” για ένα έργο PyTorch.
συμπέρασμα
Χρησιμοποιήστε το ' pytorch_cuda_alloc_conf μέθοδος για την εκχώρηση μνήμης CUDA χρησιμοποιώντας οποιαδήποτε από τις διαθέσιμες επιλογές της σύμφωνα με τις απαιτήσεις του μοντέλου. Αυτές οι επιλογές έχουν σκοπό να μετριάσουν ένα συγκεκριμένο ζήτημα επεξεργασίας στα έργα PyTorch για καλύτερους χρόνους εκτέλεσης και ομαλότερη λειτουργία. Σε αυτό το άρθρο, παρουσιάσαμε τη σύνταξη για τη χρήση του ' max_split_size_mb ” επιλογή για να ορίσετε το μέγιστο μέγεθος του διαχωρισμού.