python數(shù)據(jù)分析的知識點有哪些

本篇內容介紹了“python數(shù)據(jù)分析的知識點有哪些”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

鄒平ssl適用于網站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應用場景，ssl證書未來市場廣闊！成為創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

數(shù)據(jù)預處理

數(shù)據(jù)預處理一方面是要提高數(shù)據(jù)的質量，另一方面是要讓 數(shù)據(jù)更好地適應特定的挖掘技術或工具。統(tǒng)計發(fā)現(xiàn)，在數(shù)據(jù)挖掘的過程中，數(shù)據(jù)預處理工作量占到了整個過程的60%。

4.1、數(shù)據(jù)清洗

數(shù)據(jù)清洗主要是刪除原始數(shù)據(jù)集中的無關數(shù) 據(jù)、重復數(shù)據(jù)，平滑噪聲數(shù)據(jù)，篩選掉與挖掘主 題無關的數(shù)據(jù)，處理缺失值、異常值等。

4.1.1、缺失值處理

處理缺失值的方法可分為3類：刪除記錄、 數(shù)據(jù)插補和不處理。其中常用的數(shù)據(jù)插補方法

表4-1常用的插補方法

插補方法	方法描述
均值/中位數(shù)/眾數(shù)插補	根據(jù)屬性值的類型，用該屬性取值的平均數(shù)/中位數(shù)/眾數(shù)進行插補
使用固定值	將缺失的屬性值用一個常量替換。如廣州一個工廠普通外來務工人員的“基本工資”屬性的空缺值可以用2015年廣州市普通外來務工人員工資標準1895元/月，該 方法就是使用固定值
最近臨插補	在記錄中找到與缺失樣本最接近的樣本的該屬性值插補
回歸方法	對帶有缺失值的變量，根據(jù)已有數(shù)據(jù)和與其有關的其他變量（因變量）的數(shù)據(jù)建立擬合模型來預測缺失的屬性值
插值法	插值法是利用已知點建立合適的插值函數(shù)f(x),未知值由對應點X,求出的函數(shù)值f(xi),近似代替

如果通過簡單的刪除小部分記錄達到既定的目標，那么刪除含有缺失值的記錄的方法是最有效的。然而，這種方法卻有很大的局限性。它是以減少歷史數(shù)據(jù)來換取數(shù)據(jù)的完備，會造成資源的大量浪費，將丟棄了大量隱藏在這些記錄中的信息。尤其在數(shù)據(jù)集本來就包含很少記錄的情況下，刪除少量記錄可能會嚴重影響到分析結果的客觀性和正確性。一些模型可以將缺失值視作一種特殊的取值，允許直接在含有缺失值的數(shù)據(jù)上進行建模。

本節(jié)重點介紹拉格朗日插值法和牛頓插值法。其他的插值方法還有Hermite插值、分段插值、樣條插值法等。

牛頓插值法也是多項式插值，但采用了另一種構造插值多項式的方法，與拉格朗日插值相比，具有承襲性和易于變動節(jié)點的特點。從本質上來說，兩者給出的結果是一樣的(相同 次數(shù)、相同系數(shù)的多項式)，只不過表示的形式不同。因此，在Python的Scipy庫中，只提 供了拉格朗日插值法的函數(shù)(因為實現(xiàn)上比較容易)，如果需要牛頓插值法，則需要自行編寫

代碼清單4-1，用拉格朗日法進行插補

# -*- coding:utf-8 -*-
#拉格朗日插值代碼
import pandas as pd #導入數(shù)據(jù)分析庫Pandas
from scipy.interpolate import lagrange #導入拉格朗日插值函數(shù)

inputfile = '../data/catering_sale.xls' #銷量數(shù)據(jù)路徑
outputfile = '../tmp/sales.xls' #輸出數(shù)據(jù)路徑

data = pd.read_excel(inputfile) #讀入數(shù)據(jù)
data[u'銷量'][(data[u'銷量'] < 400) | (data[u'銷量'] > 5000)] = None #過濾異常值，將其變?yōu)榭罩?

#自定義列向量插值函數(shù)
#s為列向量，n為被插值的位置，k為取前后的數(shù)據(jù)個數(shù)，默認為5
def ployinterp_column(s, n, k=5):
    y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))] #取數(shù)
    y = y[y.notnull()] #剔除空值
    return lagrange(y.index, list(y))(n) #插值并返回插值結果

#逐個元素判斷是否需要插值
for i in data.columns:
    for j in range(len(data)):
        if (data[i].isnull())[j]: #如果為空即插值。
            data[i][j] = ployinterp_column(data[i], j)

data.to_excel(outputfile) #輸出結果，寫入文件

4.1.1、異常值處理

在數(shù)據(jù)預處理時，異常值是否剔除，需視具體情況而定，因為有些異常值可能蘊含著有 用的信息。異常值處理常用方法見表4-3。

表4-3異常值處理常用方法

異常值處理方法	方法描述
刪除含有異常值的記錄	直接將含有異常值的記錄刪除
視為缺失值	將異常值視為缺失值，利用缺失值處理的方法進行處理
平均值修正	可用前后兩個觀測值的平均值修正該異常值
不處理	直接在具有異常值的數(shù)據(jù)集上進行挖掘建模

4.2、數(shù)據(jù)集成

數(shù)據(jù)挖掘需要的數(shù)據(jù)往往分布在不同的數(shù)據(jù)源中，數(shù)據(jù)集成就是將多個數(shù)據(jù)源合并存放 在一個一致的數(shù)據(jù)存儲（如數(shù)據(jù)倉庫）中的過程。

在數(shù)據(jù)集成時，來自多個數(shù)據(jù)源的現(xiàn)實世界實體的表達形式是不一樣的，有可能不匹配，要考慮實體識別問題和屬性冗余問題，從而將源數(shù)據(jù)在最低層上加以轉換、提煉和集成。

4.2.1、實體識別

實體識別是指從不同數(shù)據(jù)源識別出現(xiàn)實世界的實體，它的任務是統(tǒng)一不同源數(shù)據(jù)的矛盾之處，常見形式如下。

(1 )同名異義
數(shù)據(jù)源A中的屬性ID和數(shù)據(jù)源B中的屬性ID分別描述的是菜品編號和訂單編號，即 描述的是不同的實體。

(2) 異名同義
數(shù)據(jù)源A中的sales_dt和數(shù)據(jù)源B中的sales_date都是描述銷售日期的，即A. sales_dt= B. sales_date。

(3 )單位不統(tǒng)一

描述同一個實體分別用的是國際單位和中國傳統(tǒng)的計量單位。
檢測和解決這些沖突就是實體識別的任務。

4.2.2、冗余屬性識別

數(shù)據(jù)集成往往導致數(shù)據(jù)冗余，例如，

1. 同一屬性多次出現(xiàn)；

2. 同一屬性命名不一致導致重復。

4.3、數(shù)據(jù)變換

數(shù)據(jù)變換主要是對數(shù)據(jù)進行規(guī)范化處理，將數(shù)據(jù)轉換成“適當?shù)摹毙问?，以適用于挖掘任務及算法的需要。

4.3.1、簡單函數(shù)變換

簡單函數(shù)變換是對原始數(shù)據(jù)進行某些數(shù)學函數(shù)變換，常用的變換包括平方、開方、取對數(shù)、差分運算等。

簡單的函數(shù)變換常用來將不具有正態(tài)分布的數(shù)據(jù)變換成具有正態(tài)分布的數(shù)據(jù)。

4.3.2、規(guī)范化

數(shù)據(jù)規(guī)范化(歸一化)處理是數(shù)據(jù)挖掘的一項基礎工作。不同評價指標往往具有不同的量綱，數(shù)值間的差別可能很大，不進行處理可能會影響到數(shù)據(jù)分析的結果。為了消除指標之間的量綱和取值范圍差異的影響，需要進行標準化處理，將數(shù)據(jù)按照比例進行縮放，使之落 入一個特定的區(qū)域，便于進行綜合分析。如將工資收入屬性值映射到［-1,1］或者［0,1］內。

數(shù)據(jù)規(guī)范化對于基于距離的挖掘算法尤為重要。

(1)最小-最大規(guī)范化
最小-最大規(guī)范化也稱為離差標準化，是對原始數(shù)據(jù)的線性變換，將數(shù)值值映射到［0,1］之間。

(2 )零-均值規(guī)范化
零-均值規(guī)范化也稱標準差標準化，經過處理的數(shù)據(jù)的均值為0,標準差為1。是當前用得最多的數(shù)據(jù)標準化方法。

(3) 小數(shù)定標規(guī)范化
通過移動屬性值的小數(shù)位數(shù)，將屬性值映射到［-1,1］之間，移動的小數(shù)位數(shù)取決于屬性值絕對值的最大值。

代碼清單4-2數(shù)據(jù)規(guī)范化代碼

#-*- coding: utf-8 -*-
#數(shù)據(jù)規(guī)范化
import pandas as pd
import numpy as np

datafile = '../data/normalization_data.xls' #參數(shù)初始化
data = pd.read_excel(datafile, header = None) #讀取數(shù)據(jù)

(data - data.min())/(data.max() - data.min()) #最小-最大規(guī)范化
(data - data.mean())/data.std() #零-均值規(guī)范化
data/10**np.ceil(np.log10(data.abs().max())) #小數(shù)定標規(guī)范化

4.3.3、連續(xù)屬性離散化

一些數(shù)據(jù)挖掘算法，特別是某些分類算法(如ID3算法、Apriori算法等)，要求數(shù)據(jù)是 分類屬性形式。這樣，常常需要將連續(xù)屬性變換成分類屬性，即連續(xù)屬性離散化。

1. 離散化的過程

連續(xù)屬性的離散化就是在數(shù)據(jù)的取值范圍內設定若干個離散的劃分點，將取值范圍劃分為一些離散化的區(qū)間，最后用不同的符號或整數(shù)值代表落在每個子區(qū)間中的數(shù)據(jù)值。所以， 離散化涉及兩個子任務：確定分類數(shù)以及如何將連續(xù)屬性值映射到這些分類值。

2. 常用的離散化方法

常用的離散化方法有等寬法、等頻法和(一維)聚類。

(1 )等寬法
將屬性的值域分成具有相同寬度的區(qū)間，區(qū)間的個數(shù)由數(shù)據(jù)本身的特點決定，或者由用 戶指定，類似于制作頻率分布表。

(2 )等頻法
將相同數(shù)量的記錄放進每個區(qū)間。

這兩種方法簡單，易于操作，但都需要人為地規(guī)定劃分區(qū)間的個數(shù)。同時，等寬法的缺點在于它對離群點比較敏感，傾向于不均勻地把屬性值分布到各個區(qū)間。有些區(qū)間包含許多數(shù)據(jù)，而另外一些區(qū)間的數(shù)據(jù)極少，這樣會嚴重損壞建立的決策模型。等頻法雖然避免了上述問題的產生，卻可能將相同的數(shù)據(jù)值分到不同的區(qū)間以滿足每個區(qū)間中固定的數(shù)據(jù)個數(shù)。

(3)基于聚類分析的方法
一維聚類的方法包括兩個步驟，首先將連續(xù)屬性的值用聚類算法(如K-Means算法)進 行聚類，然后再將聚類得到的簇進行處理，合并到一個簇的連續(xù)屬性值并做同一標記。聚類分析的離散化方法也需要用戶指定簇的個數(shù)，從而決定產生的區(qū)間數(shù)。

代碼清單4-3數(shù)據(jù)離散化

#-*- coding: utf-8 -*-
#數(shù)據(jù)規(guī)范化
import pandas as pd

datafile = '../data/discretization_data.xls' #參數(shù)初始化
data = pd.read_excel(datafile) #讀取數(shù)據(jù)
data = data[u'肝氣郁結證型系數(shù)'].copy()
k = 4

d1 = pd.cut(data, k, labels = range(k)) #等寬離散化，各個類比依次命名為0,1,2,3

#等頻率離散化
w = [1.0*i/k for i in range(k+1)]
w = data.describe(percentiles = w)[4:4+k+1] #使用describe函數(shù)自動計算分位數(shù)
w[0] = w[0]*(1-1e-10)
d2 = pd.cut(data, w, labels = range(k))


def cluster_plot(d, k): #自定義作圖函數(shù)來顯示聚類結果
    import matplotlib.pyplot as plt
    plt.rcParams['font.sans-serif'] = ['SimHei'] #用來正常顯示中文標簽
    plt.rcParams['axes.unicode_minus'] = False #用來正常顯示負號

    plt.figure(figsize = (8, 3))
    for j in range(0, k):
        plt.plot(data[d==j], [j for i in d[d==j]], 'o')

    plt.ylim(-0.5, k-0.5)
    return plt


if __name__=='__main__':
    from sklearn.cluster import KMeans  # 引入KMeans

    kmodel = KMeans(n_clusters=k, n_jobs=4)  # 建立模型，n_jobs是并行數(shù)，一般等于CPU數(shù)較好
    kmodel.fit(data.values.reshape((len(data), 1)))  # 訓練模型
    c = pd.DataFrame(kmodel.cluster_centers_).sort_values(0)  # 輸出聚類中心，并且排序（默認是隨機序的）
    w = c.rolling(2).mean().iloc[1:]  # 相鄰兩項求中點，作為邊界點
    w = [0] + list(w[0]) + [data.max()]  # 把首末邊界點加上
    d3 = pd.cut(data, w, labels=range(k))

    cluster_plot(d1, k).show()
    cluster_plot(d2, k).show()
    cluster_plot(d3, k).show()

• 等寬離散化結果
  

• 等頻離散化結果
  

• （一維）聚類離散化結果
  

4.3.4、屬性構造

在數(shù)據(jù)挖掘的過程中，為了提取更有用的信息，挖掘更深層次的模式，提高挖掘結果的 精度，我們需要利用已有的屬性集構造出新的屬性，并加入到現(xiàn)有的屬性集合中。

代碼清單4-4線損率屬性構造

#-*- coding: utf-8 -*-
#線損率屬性構造
import pandas as pd

#參數(shù)初始化
inputfile= '../data/electricity_data.xls' #供入供出電量數(shù)據(jù)
outputfile = '../tmp/electricity_data.xls' #屬性構造后數(shù)據(jù)文件

data = pd.read_excel(inputfile) #讀入數(shù)據(jù)
data[u'線損率'] = (data[u'供入電量'] - data[u'供出電量'])/data[u'供入電量']

data.to_excel(outputfile, index = False) #保存結果

4.3.5、小波變換

小波變換的同是一種新型的數(shù)據(jù)分析工具，是近年來興起的信號分析手段。小波分析的理論和方法在信號處理、圖像處理、語音處理、模式識別、量子物理等領域得到越來越廣泛的應用，它被認為是近年來在工具及方法上的重大突破。小波變換具有多分辨率的特點，在 時域和頻域都具有表征信號局部特征的能力，通過伸縮和平移等運算過程對信號進行多尺度 聚焦分析，提供了一種非平穩(wěn)信號的時頻分析手段，可以由粗及細地逐步觀察信號，從中提取有用信息。

能夠刻畫某個問題的特征量往往是隱含在一個信號中的某個或者某些分量中，小波變換 可以把非平穩(wěn)信號分解為表達不同層次、不同頻帶信息的數(shù)據(jù)序列，即小波系數(shù)。選取適當?shù)男〔ㄏ禂?shù)，即完成了信號的特征提取。下面將介紹基于小波變換的信號特征提取方法。

(1)基于小波變換的特征提取方法
基于小波變換的特征提取方法主要有：基于小波變換的多尺度空間能量分布特征提取、 基于小波變換的多尺度空間的模極大值特征提取、基于小波包變換的特征提取、基于適應性小波神經網絡的特征提取，詳見表4-5。

表4-5基于小波變換的特征提取方法

基于小波變換的特征提取方法	方法描述
基于小波變換的多尺度空間 能量分布特征提取方法	各尺度空間內的平滑信號和細節(jié)信號能提供原始信號的時頻局域信息，特別 是能提供不同頻段上信號的構成信息。把不同分解尺度上信號的能量求解出來， 就可以將這些能量尺度順序排列，形成特征向量供識別用
基于小波變換的多尺度空間 的模極大值特征提取方法	利用小波變換的信號局域化分析能力，求解小波變換的模極大值特性來檢測 信號的局部奇異性，將小波變換模極大值的尺度參數(shù)S、平移參數(shù)，及其幅值作 為目標的特征量
基于小波包變換的特征提取 方法	利用小波分解，可將時域隨機信號序列映射為尺度域各子空間內的隨機系數(shù) 序列，按小波包分解得到的最佳子空間內隨機系數(shù)序列的不確定性程度最低， 將最佳子空間的嫡值及最佳子空間在完整二叉樹中的位置參數(shù)作為特征量，可 以用于目標識別
基于適應性小波神經網絡的 特征提取方法	基于適應性小波神經網絡的特征提取方法可以把信號通過分析小波擬合表示， 進行特征提取

利用小波變換可以對聲波信號進行特征提取，提取出可以代表聲波信號的向量數(shù)據(jù)，即完成從聲波信號到特征向量數(shù)據(jù)的變換。

在Python中，Scipy本身提供了一些信號處理函數(shù)，但不夠全面， 而更好的信號處理庫是PyWavelets (pywt)。

代碼清單4-5，小波變換特征提取代碼

#-*- coding: utf-8 -*-
#利用小波分析進行特征分析

#參數(shù)初始化
inputfile= '../data/leleccum.mat' #提取自Matlab的信號文件

from scipy.io import loadmat #mat是MATLAB專用格式，需要用loadmat讀取它
mat = loadmat(inputfile)
signal = mat['leleccum'][0]

import pywt #導入PyWavelets
coeffs = pywt.wavedec(signal, 'bior3.7', level = 5)
#返回結果為level+1個數(shù)字，第一個數(shù)組為逼近系數(shù)數(shù)組，后面的依次是細節(jié)系數(shù)數(shù)組

4.4、數(shù)據(jù)規(guī)約

在大數(shù)據(jù)集上進行復雜的數(shù)據(jù)分析和挖掘需要很長的時間，數(shù)據(jù)規(guī)約產生更小但保持原數(shù)據(jù)完整性的新數(shù)據(jù)集。在規(guī)約后的數(shù)據(jù)集上進行分析和挖掘將更有效率。

數(shù)據(jù)規(guī)約的意義在于：

• 降低無效、錯誤數(shù)據(jù)對建模的影響，提高建模的準確性；

• 少量且具代表性的數(shù)據(jù)將大幅縮減數(shù)據(jù)挖掘所需的時間；

• 降低儲存數(shù)據(jù)的成本。

4.4.1、屬性規(guī)約

屬性規(guī)約通過屬性合并來創(chuàng)建新屬性維數(shù)，或者直接通過刪除不相關的屬性（維）來減少數(shù)據(jù)維數(shù)，從而提高數(shù)據(jù)挖掘的效率、降低計算成本。屬性規(guī)約的目標是尋找出最小的屬性子集并確保新數(shù)據(jù)子集的概率分布盡可能地接近原來數(shù)據(jù)集的概率分布。

逐步向前選擇、逐步向后刪除和決策樹歸納是屬于直接刪除不相關屬性（維）方法。主成分分析是一種用于連續(xù)屬性的數(shù)據(jù)降維方法，它構造了原始數(shù)據(jù)的一個正交變換，新空間的基底去除了原始空間基底下數(shù)據(jù)的相關性，只需使用少數(shù)新變量就能夠解釋原始數(shù)據(jù)中的 大部分變異。在應用中，通常是選出比原始變量個數(shù)少，能解釋大部分數(shù)據(jù)中的變量的幾個新變量，即所謂主成分，來代替原始變量進行建模。

計算主成分：
在Python中,主成分分析的函數(shù)位于Scikit-Leam下：

sklearn.decomposition.PCA(n_components = None,copy = True,whiten = False)

參數(shù)說明：

（1） n_components

意義：PCA算法中所要保留的主成分個數(shù)n，也即保留下來的特征個數(shù)n。

類型：int或者string，缺省時默認為None，所有成分被保留。賦值為int，比如n_components =1將把原始數(shù)據(jù)降到一個維度。賦值為string，比如n_components =‘mle’，將自動選取特征個數(shù)n，使得滿足所要求的方差百分比。

(2 ) copy

類型：bool, True或者False，缺省時默認為True。

意義：表示是否在運行算法時，將原始訓練數(shù)據(jù)復制一份。若為True，則運行PCA 算法后，原始訓練數(shù)據(jù)的值不會有任何改變，因為是在原始數(shù)據(jù)的副本上進行運算；若為 False，則運行PCA算法后，原始訓練數(shù)據(jù)的值會改，因為是在原始數(shù)據(jù)上進行降維計算。

(3 ) whiten

類型：bool,缺省時默認為False。

意義：白化，使得每個特征具有相同的方差。

使用主成分分析降維的程序如代碼清單4-6所示。

代碼清單4-6，主成分分析降維代碼

#-*- coding: utf-8 -*-
#主成分分析 降維
import pandas as pd

#參數(shù)初始化
inputfile = '../data/principal_component.xls'
outputfile = '../tmp/dimention_reducted.xls' #降維后的數(shù)據(jù)

data = pd.read_excel(inputfile, header = None) #讀入數(shù)據(jù)

from sklearn.decomposition import PCA

pca = PCA()
pca.fit(data)
print(pca.components_ )#返回模型的各個特征向量
print(pca.explained_variance_ratio_) #返回各個成分各自的方差百分比(貢獻率)

'''
方差百分比越大，說明向量的權 重越大

當選取前4個主成分時，累計貢獻率已達到97.37%,說明選取前3個主成分進行計算已經相當不錯了，
因此可以重新建立PCA模型，設置n_components=3，計算出成分結果。
'''
pca = PCA(n_components=3)
pca.fit(data)
low_d = pca.transform(data) #用它來降低維度
print(low_d)
pd.DataFrame(low_d).to_excel(outputfile) #保存結果
pca.inverse_transform(low_d) #必要時可inverse_transform()函數(shù)來復原數(shù)據(jù)

4.4.2、數(shù)值規(guī)約

數(shù)值規(guī)約指通過選擇替代的、較小的數(shù)據(jù)來減少數(shù)據(jù)量，包括有參數(shù)方法和無參數(shù)方法兩類。有參數(shù)方法是使用一個模型來評估數(shù)據(jù)，只需存放參數(shù)，而不需要存放實際數(shù)據(jù)，例如回歸（線性回歸和多元回歸）和對數(shù)線性模型（近似離散屬性集中的多維概率分布）。無參數(shù)方法就需要存放實際數(shù)據(jù)，例如直方圖、聚類、抽樣（采樣）。

4.5、Python主要數(shù)據(jù)預處理函數(shù)

表4-7 Python主要數(shù)據(jù)預處理函數(shù)

函數(shù)名	函數(shù)功能	所屬擴展庫
interpolate	一維、高維數(shù)據(jù)插值	Scipy
unique	去除數(shù)據(jù)中的重復元素，得到單值元素列表，它是對象的方法名	Pandas/Numpy
isnull	判斷是否空值	Pandas
notnull	判斷是否非空值	Pandas
PCA	對指標變量矩陣進行主成分分析	Scikit-Leam
random	生成隨機矩陣	Numpy

(1 ) interpolate

1 ) 功能：interpolate是Scipy的一個子庫，包含了大量的插值函數(shù)，如拉格朗日插值、 樣條插值、高維插值等。使用前需要用from scipy.interpolate import *引入相應的插值函數(shù)， 讀者應該根據(jù)需要到官網查找對應的函數(shù)名。

2 ) 使用格式：f = scipy.interpolate.lagrange(x, y)。這里僅僅展示了一維數(shù)據(jù)的拉格朗日插值的命令，其中x,y為對應的自變量和因變量數(shù)據(jù)。插值完成后，可以通過f(a)計算新的 插值結果。類似的還有樣條插值、多維數(shù)據(jù)插值等，此處不一一展示。

(2) unique

1 ) 功能：去除數(shù)據(jù)中的重復元素，得到單值元素列表。它既是Numpy庫的一個函數(shù) (np.unique()),也是Series對象的一個方法。

2 ) 使用格式：

np.unique(D), D 是一維數(shù)據(jù)，可以是 list、array、Series；
D.unique(), D 是 Pandas 的 Series 對象。

3 ) 實例：求向量A中的單值元素，并返回相關索引。

> D = pd.Series ([1, 1, 2, 3, 5])
> D.unique ()
array([1, 2, 3, 5], dtype=int64)
> np.unique (D)
array([1, 2, 3, 5], dtype=int64)

(3) isnull/ notnull

1 ) 功能：判斷每個元素是否空值/非空值。

2 ) 使用格式：D.isnull()/ D.notnull()。這里的D要求是Series對象，返回一個布爾 Series?？梢酝ㄟ^D[D.isnull()]或D[D.notnull()]找出D中的空值/非空值。

(4) random

1 ) 功能：random是Numpy的一個子庫(Python本身也自帶了 random,但Numpy的更加強大)，可以用該庫下的各種函數(shù)生成服從特定分布的隨機矩陣，抽樣時可使用。

2 ) 使用格式：

np.random.rand(k, m, n,…)生成一個k x m x n x…隨機矩陣，其元素均勻分布在區(qū) 間(0,1)上；

np.random.randn(k, m, n,…)生成一個k x m x n x …隨機矩陣,其元素服從標準正態(tài)分布。

(5) PCA

1 ) 功能：對指標變量矩陣進行主成分分析。使用前需要用from skleam.decomposition import PCA引入該函數(shù)。

2 ) 使用格式：model = PCA()。注意，Scikit-Leam下的PCA是一個建模式的對象，也 就是說，一般的流程是建模，然后是訓練model.fit(D), D為要進行主成分分析的數(shù)據(jù)矩陣， 訓練結束后獲取模型的參數(shù)，如.components_獲取特征向量，以及.explained_variance_ratio_獲取各個屬性的貢獻率等。

3 ) 實例：使用PCA()對一個10x4維的隨機矩陣進行主成分分析。

from sklearn.decomposition import PCA

D = np.random.rand(10,4)
pca = PCA()
pca.fit (D)
PCA(copy=True, n_components=None, whiten=False)
pca. components_ #返回模型的各個特征向量
pca.explained_variance_ratio_ #返回各個成分各自的方差百分比

“python數(shù)據(jù)分析的知識點有哪些”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注創(chuàng)新互聯(lián)網站，小編將為大家輸出更多高質量的實用文章！

當前名稱：python數(shù)據(jù)分析的知識點有哪些
網頁網址：http://bm7419.com/article36/igegsg.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供網站設計公司、服務器托管、Google、域名注冊、外貿建站、手機網站建設

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)