Pandas使用小技巧有哪些

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)Pandas使用小技巧有哪些，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

網(wǎng)站的建設(shè)成都創(chuàng)新互聯(lián)專注網(wǎng)站定制,經(jīng)驗(yàn)豐富,不做模板,主營(yíng)網(wǎng)站定制開發(fā).小程序定制開發(fā),H5頁(yè)面制作!給你煥然一新的設(shè)計(jì)體驗(yàn)!已為成都軟裝設(shè)計(jì)等企業(yè)提供專業(yè)服務(wù)。

對(duì)于動(dòng)輒就幾十或幾百個(gè) G 的數(shù)據(jù)，在讀取的這么大數(shù)據(jù)的時(shí)候，我們有沒有辦法隨機(jī)選取一小部分?jǐn)?shù)據(jù)，然后讀入內(nèi)存，快速了解數(shù)據(jù)和開展 EDA ？

使用 Pandas 的 skiprows 和 概率知識(shí)，就能做到。

下面解釋具體怎么做。

如下所示，讀取某 100 G 大小的 big_data.csv 數(shù)據(jù)

  1. 使用 skiprows 參數(shù)，

  2. x > 0 確保首行讀入，

  3. np.random.rand() > 0.01 表示 99% 的數(shù)據(jù)都會(huì)被隨機(jī)過濾掉

言外之意，只有全部數(shù)據(jù)的 1% 才有機(jī)會(huì)選入內(nèi)存中。

import pandas as pd
import numpy as np

df = pd.read_csv("big_data.csv",
skiprows =
lambda x: x>0 and np.random.rand() > 0.01)

print("The shape of the df is {}.
It has been reduced 100 times!".format(df.shape))
使用這種方法，讀取的數(shù)據(jù)量迅速縮減到原來的 1% ，對(duì)于迅速展開數(shù)據(jù)分析有一定的幫助。

上述就是小編為大家分享的Pandas使用小技巧有哪些了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

網(wǎng)站標(biāo)題：Pandas使用小技巧有哪些
新聞來源：http://bm7419.com/article24/jdggce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、定制網(wǎng)站、Google、響應(yīng)式網(wǎng)站、電子商務(wù)、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

網(wǎng)站優(yōu)化排名