Python使用Pandas對(duì)csv文件進(jìn)行數(shù)據(jù)處理的方法-創(chuàng)新互聯(lián)

今天接到一個(gè)新的任務(wù),要對(duì)一個(gè)140多M的csv文件進(jìn)行數(shù)據(jù)處理,總共有170多萬(wàn)行,嘗試了導(dǎo)入本地的MySQL數(shù)據(jù)庫(kù)進(jìn)行查詢(xún),結(jié)果用Navicat導(dǎo)入直接卡死....估計(jì)是XAMPP套裝里面全默認(rèn)配置的MySQL性能不給力,又嘗試用R搞一下吧結(jié)果發(fā)現(xiàn)光加載csv文件就要3分鐘左右的時(shí)間,相當(dāng)不給力啊,翻了翻萬(wàn)能的知乎發(fā)現(xiàn)了Python下的一個(gè)神器包:Pandas(熊貓們?),加載這個(gè)140多M的csv文件兩秒鐘就搞定,后面的分類(lèi)匯總等操作也都是秒開(kāi),太牛逼了!記錄一下這次數(shù)據(jù)處理的過(guò)程:

成都創(chuàng)新互聯(lián)長(zhǎng)期為上1000家客戶(hù)提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開(kāi)放共贏(yíng)平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為南丹企業(yè)提供專(zhuān)業(yè)的做網(wǎng)站、成都網(wǎng)站建設(shè)，南丹網(wǎng)站改版等技術(shù)服務(wù)。擁有10年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。

使用Python3.6.4環(huán)境(對(duì)中文支持比較好),安裝Pandas包

pip install pandas

基本使用:

import pandas as pd
import numpy as np #進(jìn)行具體的sum,count等計(jì)算時(shí)候要用到的
df=pd.read_csv('d:/snp/nh33.csv') #這里絕對(duì)路徑一定要用/,windows下也是如此,不加參數(shù)默認(rèn)csv文件首行為標(biāo)題行
df.head() #查看引入的csv文件前5行數(shù)據(jù)
df[“播種面積”] #查看指定列,后面跟[:5]查看前5行數(shù)據(jù)

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線(xiàn)，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前題目：Python使用Pandas對(duì)csv文件進(jìn)行數(shù)據(jù)處理的方法-創(chuàng)新互聯(lián)
文章網(wǎng)址：http://bm7419.com/article6/dcojog.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、小程序開(kāi)發(fā)、搜索引擎優(yōu)化、網(wǎng)站導(dǎo)航、虛擬主機(jī)、網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

小程序開(kāi)發(fā)