Python代碼編寫高效內(nèi)存的方法

本篇內(nèi)容介紹了“Python代碼編寫高效內(nèi)存的方法”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)專業(yè)網(wǎng)站設(shè)計(jì)制作、網(wǎng)站設(shè)計(jì)，集網(wǎng)站策劃、網(wǎng)站設(shè)計(jì)、網(wǎng)站制作于一體，網(wǎng)站seo、網(wǎng)站優(yōu)化、網(wǎng)站營(yíng)銷、軟文推廣等專業(yè)人才根據(jù)搜索規(guī)律編程設(shè)計(jì)，讓網(wǎng)站在運(yùn)行后，在搜索中有好的表現(xiàn)，專業(yè)設(shè)計(jì)制作為您帶來(lái)效益的網(wǎng)站！讓網(wǎng)站建設(shè)為您創(chuàng)造效益。

大多數(shù)時(shí)候，我們不需要優(yōu)化Python中的內(nèi)存使用情況。我們的程序太小而無(wú)法占用大量?jī)?nèi)存，或者我們正在將數(shù)據(jù)存儲(chǔ)在程序外部的數(shù)據(jù)庫(kù)中。無(wú)論如何，在某些情況下，我們必須在內(nèi)存中保留過(guò)大的結(jié)構(gòu)或大量的對(duì)象。因此，我希望舉例說(shuō)明可以減少程序內(nèi)存使用量的做法。

議程

用__slots__限制類字段
Generator惰性加載
用數(shù)組約束元素類型

用__slots__限制類字段

默認(rèn)情況下，每當(dāng)您在Python中創(chuàng)建對(duì)象時(shí)，即使在創(chuàng)建之后，您也能夠?qū)⑿伦侄翁砑拥綄?duì)象。

例如，假設(shè)我有一個(gè)名為Dog的類：

class Dog:      def __init__(self, name, age):      self.name = name          self.age = age     def main():      dog = Dog("James", 5)          dog.breed = "Pitbull"          print(dog.breed)  main()

盡管名稱和年齡是我傳遞給構(gòu)造函數(shù)的唯一字段，但是請(qǐng)注意，在創(chuàng)建dog之后，如何初始化一個(gè)名為繁殖的新字段。本質(zhì)上，dog的字段存儲(chǔ)在內(nèi)部字典中，可通過(guò).__ dict__訪問(wèn)，并且在初始化dog.breed時(shí)，將其值為“ Pitbull”的字段“ breed”添加到內(nèi)部字典中。

def main():     dog = Dog("James", 5)     print(dog.__dict__)      '''     output: {'name': 'James', 'age': 5}     '''     dog.breed = "Pitbull"     print(dog.__dict__)     '''     output: {'name': 'James', 'age': 5, 'breed': 'Pitbull'}     ''' main()

盡管這提供了靈活性，但大多數(shù)時(shí)候我們不需要在實(shí)例化之外添加新字段。為了節(jié)省內(nèi)存占用量，我們可以設(shè)置Dog的__slots__屬性來(lái)預(yù)定義其字段。

class Dog:     __slots__ = ("name", "age")     def __init__(self, name, age):         self.name = name         self.age = age

使用__slots__可以防止創(chuàng)建內(nèi)部字典，從而使我們可以更緊湊地存儲(chǔ)實(shí)例字段。但是，現(xiàn)在，我們不再能夠即時(shí)創(chuàng)建新字段。

def main():     dog = Dog("James", 5)     dog.breed = "Pitbull"      '''     output: AttributeError:'Dog' object has no attribute 'breed'     '''    main()

為了測(cè)試__slots__的內(nèi)存使用情況，我創(chuàng)建了100,000個(gè)Dog和SlotDog對(duì)象。

class Dog:      def __init__(self, name, age):     self.name = name     self.age = age class SlotDog:         __slots__=("name", "age")    def __init__(self, name, age):      self.name = name      self.age = age

然后，我使用memory_profiler分解了創(chuàng)建100,000個(gè)對(duì)象后內(nèi)存使用量的增加情況。創(chuàng)建Dog對(duì)象后，內(nèi)存使用量增加了16.5 MiB，而SlotDog對(duì)象則增加了5.8 MiB，這表明使用__slots__有了很大的改進(jìn)。您可以在GitHub上查看創(chuàng)建代碼(https://github.com/Ramko9999/Medium-Memory-Efficient-Python/blob/main/slots_perf.py)。

在必須實(shí)例化具有預(yù)定字段的大量對(duì)象的情況下，使用__slots__將是有益的。

用Genertor惰性加載

當(dāng)使用大文件或集合時(shí)，可能無(wú)法加載整個(gè)文件或?qū)⒓暇S護(hù)在內(nèi)存中。如果我們可以一次處理多個(gè)文件或集合中的一個(gè)元素，那就太好了。

進(jìn)入生成器!

讓我們考慮一個(gè)例子。說(shuō)我需要獲取前n個(gè)奇數(shù)進(jìn)行處理。自然地，我們可以創(chuàng)建一個(gè)列表并附加前n個(gè)奇數(shù)。

def get_odds_list(n):     odds = []     num = 1     for i in range(n):         odds.append(num)         num += 2     return odds

但是，如果我們要處理前幾百萬(wàn)的賠率，那么在內(nèi)存中維護(hù)此列表將變得昂貴。更好的方法是在我們計(jì)算賠率時(shí)利用生成器迭代賠率，而不是計(jì)算和存儲(chǔ)所有百萬(wàn)賠率。

這是上面的函數(shù)作為生成器的樣子：

def get_odds_generator(n):     num = 1     for i in range(n):         yield num         num += 2 odds = get_odds_generator(1000000)

當(dāng)我們初始化賠率時(shí)，尚未計(jì)算任何奇數(shù)。此刻的賠率只是一個(gè)迭代器，一個(gè)值序列。為了訪問(wèn)迭代器中的元素，我們必須在迭代器上調(diào)用next。顧名思義，next返回序列中的下一個(gè)值。

神奇之處在于yield關(guān)鍵字：它使函數(shù)成為生成器。本質(zhì)上，當(dāng)按賠率調(diào)用next時(shí)，生成器get_odds_generator將評(píng)估其代碼，直到達(dá)到y(tǒng)ield為止。然后，生成器將返回該值，并且其狀態(tài)將凍結(jié)。然后，再次調(diào)用next時(shí)，生成器將從中斷狀態(tài)重新開(kāi)始評(píng)估其代碼。

def get_odds_generator(n):     num = 1     for i in range(n):         yield num         num += 2  odds = get_odds_generator(1000000)  first = next(odds) ''' first = 1 Explanation: num is 1. We enter the for loop and immediately yield num '''  second = next(odds) ''' second = 3  Explanation: num is 1. We add 2 to num, so its now 3.  We go the next iteration of the loop and yield num '''  third = next(odds) ''' third = 5 Explanation: num is 3. We add 2 to num, so its now 5.  We go to the next iteration of the loop and yield num '''

我們還可以按照以下方式瀏覽生成器生成的值。

odds = get_odds_generator(1000000) for odd in odds:     pass //process the odd

我們可以使用生成器來(lái)計(jì)算賠率。因此，我們不需要任何額外的內(nèi)存來(lái)存儲(chǔ)賠率。

使用生成器的一個(gè)警告是，我們將無(wú)法獲取先前的元素或跳過(guò)元素的序列。如果您需要訪問(wèn)以前的元素，則最好直接使用列表。

用數(shù)組約束元素類型

盡管許多人認(rèn)為列表在Python中是數(shù)組，但實(shí)際上存在一個(gè)單獨(dú)的數(shù)組模塊。列表和數(shù)組之間的核心區(qū)別在于，數(shù)組僅限于一種類型的元素。

我們可以使用多種類型的值在Python中創(chuàng)建列表。

lst = [1.0, 1, {}, "hi"]

數(shù)組不是這種情況。我們必須使用類型代碼指定數(shù)組中元素的類型。類型代碼是代表數(shù)組類型的字符：“ i”代表整數(shù)，“ b”代表字符，依此類推…

from array import array arr = array('i', []) # create an array of integers arr.append(4) # append 4 to arr arr.append('') # type error: integer is required not string

數(shù)組與列表有很多共同的方法，例如append和pop(文檔)。數(shù)組的主要優(yōu)點(diǎn)是它們更加緊湊。為了測(cè)試這一點(diǎn)，我制作了一個(gè)包含一百萬(wàn)個(gè)整數(shù)的列表和數(shù)組，發(fā)現(xiàn)該列表的內(nèi)存使用量增加了19.5 MiB，而數(shù)組僅增加了4 MiB。簽出測(cè)量代碼(代碼)。

如果您有大量相同類型的數(shù)據(jù)序列，請(qǐng)考慮使用數(shù)組。

結(jié)論

過(guò)早的優(yōu)化是萬(wàn)惡之源。

我已經(jīng)展示了可以減少內(nèi)存占用的多種實(shí)踐，從使用__slots__到數(shù)組不等。僅在真正需要優(yōu)化內(nèi)存的最壞情況下考慮使用這些做法。在大多數(shù)情況下，不需要__slots__和數(shù)組。另一方面，標(biāo)準(zhǔn)API很可能已經(jīng)使用了生成器，因此您可以放輕松。

“Python代碼編寫高效內(nèi)存的方法”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

網(wǎng)站名稱：Python代碼編寫高效內(nèi)存的方法
文章位置：http://bm7419.com/article10/ipoido.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、網(wǎng)頁(yè)設(shè)計(jì)公司、服務(wù)器托管、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站設(shè)計(jì)公司、網(wǎng)站內(nèi)鏈

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容