Python中Pandas數(shù)據(jù)清洗的流程

這篇文章主要介紹Python中Pandas數(shù)據(jù)清洗的流程，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

創(chuàng)新互聯(lián)公司是一家集網(wǎng)站建設(shè),峨山縣企業(yè)網(wǎng)站建設(shè),峨山縣品牌網(wǎng)站建設(shè),網(wǎng)站定制,峨山縣網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷,網(wǎng)絡(luò)優(yōu)化,峨山縣網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

針對(duì)數(shù)據(jù)統(tǒng)計(jì)分析來(lái)講，數(shù)據(jù)信息是無(wú)可置疑的核心內(nèi)容。但并非是全部的數(shù)據(jù)信息都是有價(jià)值的，絕大部分?jǐn)?shù)據(jù)信息是良莠不齊的，基本概念層次不清的，量級(jí)有所不同的，這就給后期的數(shù)據(jù)統(tǒng)計(jì)分析和數(shù)據(jù)挖掘造成 了很大的不便，甚至是造成不正確的理論依據(jù)。因此很有必要對(duì)數(shù)據(jù)信息開(kāi)展預(yù)處理。

說(shuō)到python與數(shù)據(jù)分析，那肯定少不了pandas的身影。

一、數(shù)據(jù)清洗是什么

數(shù)據(jù)清洗是指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識(shí)別的錯(cuò)誤的最后一道程序，包括檢查數(shù)據(jù)一致性，處理無(wú)效值和缺失值等。與問(wèn)卷審核不同，錄入后的數(shù)據(jù)清理一般是由計(jì)算機(jī)而不是人工完成。

數(shù)據(jù)清洗從名字上也看的出就是把“臟”的“洗掉”，指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識(shí)別的錯(cuò)誤的最后一道程序，包括檢查數(shù)據(jù)一致性，處理無(wú)效值和缺失值等。因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是面向某一主題的數(shù)據(jù)的集合，這些數(shù)據(jù)從多個(gè)業(yè)務(wù)系統(tǒng)中抽取而來(lái)而且包含歷史數(shù)據(jù)，這樣就避免不了有的數(shù)據(jù)是錯(cuò)誤數(shù)據(jù)、有的數(shù)據(jù)相互之間有沖突，這些錯(cuò)誤的或有沖突的數(shù)據(jù)顯然是我們不想要的，稱為“臟數(shù)據(jù)”。我們要按照一定的規(guī)則把“臟數(shù)據(jù)”“洗掉”，這就是數(shù)據(jù)清洗。而數(shù)據(jù)清洗的任務(wù)是過(guò)濾那些不符合要求的數(shù)據(jù)，將過(guò)濾的結(jié)果交給業(yè)務(wù)主管部門，確認(rèn)是否過(guò)濾掉還是由業(yè)務(wù)單位修正之后再進(jìn)行抽取。不符合要求的數(shù)據(jù)主要是有不完整的數(shù)據(jù)、錯(cuò)誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)三大類。數(shù)據(jù)清洗是與問(wèn)卷審核不同，錄入后的數(shù)據(jù)清理一般是由計(jì)算機(jī)而不是人工完成。

二、Python pandas數(shù)據(jù)清洗流程

1.導(dǎo)入方法read_excel

# 導(dǎo)入數(shù)據(jù)
import pandas as pda
import matplotlib.pylab as pyl

a = pda.read_excel("D:\\迅雷下載\\工具\(yùn)\表格\\練習(xí).xls")	# 路徑使用雙反斜杠，否則會(huì)報(bào)錯(cuò)
print(len(a))   # 數(shù)據(jù)框的長(zhǎng)度，是按行統(tǒng)計(jì)的
123456

2.發(fā)現(xiàn)缺失值

先打開(kāi)excel表，查看下有多少缺失值，缺失值是指值為0或空統(tǒng)計(jì)發(fā)現(xiàn)有10個(gè)缺失值，同理其他列也有部分缺失值然后著手把0值置空，保證所有的缺失值都是統(tǒng)一形式，方便處理

b = ["price", "trade"]
for i in b:
    a[i][(a[i] == 0)] = None
# a["price"] == 0  判斷語(yǔ)句，返回True或False  ,對(duì)列表的每一個(gè)值進(jìn)行判斷，如果有0，該處值置為none，然后進(jìn)行判斷直至完成
1234

3.缺失值處理

遍歷所有的空值，統(tǒng)一賦值

x = 0
for j in b:
    for k in range(len(a)):
        if (a[j].isnull())[k]:  
            a[j][k] = 36
            x += 1
print(x)

三、異常數(shù)據(jù)處理

異常數(shù)據(jù)指數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中未滿足一般規(guī)律的數(shù)據(jù)信息對(duì)象，又叫作孤立點(diǎn)。異常的數(shù)據(jù)信息可由執(zhí)行程序出現(xiàn)失誤形成，也可能會(huì)因設(shè)施設(shè)備內(nèi)部故障造成的。異常數(shù)據(jù)信息可能是刪去的噪聲，也可能是帶有重要信息的數(shù)據(jù)單元。異常的數(shù)據(jù)信息的監(jiān)測(cè)具體有根據(jù)統(tǒng)計(jì)學(xué)、根據(jù)距離和根據(jù)偏離3類方法。采取數(shù)據(jù)信息審時(shí)的辦法能夠?qū)崿F(xiàn)異常的數(shù)據(jù)信息的智能化監(jiān)測(cè)，該辦法也叫作數(shù)據(jù)質(zhì)量挖掘(DOQM)。DQM具體由2步組成:第1步，采取數(shù)理統(tǒng)計(jì)辦法對(duì)數(shù)據(jù)分布展開(kāi)概化描述，自動(dòng)獲得數(shù)據(jù)信息的總體分布特征；第2步針對(duì)特定的數(shù)據(jù)質(zhì)量問(wèn)題展開(kāi)挖掘以發(fā)現(xiàn)數(shù)據(jù)信息異常的。

以上是Python中Pandas數(shù)據(jù)清洗的流程的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

本文題目：Python中Pandas數(shù)據(jù)清洗的流程
分享網(wǎng)址：http://bm7419.com/article46/jddghg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、小程序開(kāi)發(fā)、關(guān)鍵詞優(yōu)化、網(wǎng)站內(nèi)鏈、面包屑導(dǎo)航、全網(wǎng)營(yíng)銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)