文本關(guān)鍵詞提取方法及具體操作步驟

在搜索引擎中，通過處理海量的文本關(guān)鍵詞進而盡可能滿足用戶搜索需求是搜索引擎核心，無論一篇文章的長短，搜索引擎都可以通過提取關(guān)鍵詞的方法來判斷整篇文章的主題，因此如何判斷一篇文章的核心關(guān)鍵詞是什么非常重要，下面關(guān)于為什么要做關(guān)鍵詞提取以及基于TF-IDF的文本關(guān)鍵詞抽取方法作簡單介紹。

為什么要做關(guān)鍵詞提取

關(guān)鍵字提取是文本挖掘領(lǐng)域的一個重要組成部分。從文本中提取關(guān)鍵詞有三種方法：監(jiān)督、半監(jiān)督和無監(jiān)督。監(jiān)督關(guān)鍵字提取算法是將關(guān)鍵字提取算法構(gòu)造為兩類問題來判斷文檔中的詞或短語是否為關(guān)鍵字。由于這是一個分類問題，因此有必要提供標記的訓(xùn)練預(yù)測。訓(xùn)練語料庫用于訓(xùn)練關(guān)鍵詞提取模型。根據(jù)該模型，對需要提取關(guān)鍵字的文檔的關(guān)鍵字提取算法進行了半監(jiān)督。

構(gòu)造關(guān)鍵詞提取模型只需要少量的訓(xùn)練數(shù)據(jù)，然后利用模型對新文本進行檢查。關(guān)鍵字提取，手動篩選這些關(guān)鍵字，并將篩選后的關(guān)鍵字添加到培訓(xùn)集以重新培訓(xùn)模型。無監(jiān)督的方法不需要手動標記語料庫。一些方法被用來尋找文本中更重要的詞作為關(guān)鍵字并提取關(guān)鍵字。監(jiān)督文本關(guān)鍵字提取算法要求人工成本高，現(xiàn)有的文本關(guān)鍵字提取主要采用無監(jiān)督關(guān)鍵字提取，適用性強。

文本關(guān)鍵字提取的過程如下：無監(jiān)督文本關(guān)鍵字提取流程圖無監(jiān)督關(guān)鍵字提取算法可分為三類：基于統(tǒng)計特征的關(guān)鍵字提取、基于詞圖模型的關(guān)鍵字提取和基于主題模型的關(guān)鍵字提取?；诮y(tǒng)計特征的文本關(guān)鍵字提取算法基于統(tǒng)計特征的關(guān)鍵字提取算法基于統(tǒng)計特征的關(guān)鍵字提取算法是利用文檔中的統(tǒng)計信息提取關(guān)鍵字。

一般情況下，文本經(jīng)過預(yù)處理得到候選詞集，然后通過特征值量化從候選詞集中獲得關(guān)鍵詞。基于統(tǒng)計特征的關(guān)鍵詞提取方法的關(guān)鍵是采用何種特征值量化指標。

基于TF-IDF的文本關(guān)鍵詞抽取方法

詞頻(Term Frequency，TF)

指某一給定詞語在當(dāng)前文件中出現(xiàn)的頻率。由于同一個詞語在長文件中可能比短文件有更高的詞頻，因此根據(jù)文件的長度，需要對給定詞語進行歸一化，即用給定詞語的次數(shù)除以當(dāng)前文件的總詞數(shù)。

逆向文件頻率(Inverse Document Frequency，IDF)

是一個詞語普遍重要性的度量。即如果一個詞語只在很少的文件中出現(xiàn)，表示更能代表文件的主旨，它的權(quán)重也就越大;如果一個詞在大量文件中都出現(xiàn)，表示不清楚代表什么內(nèi)容，它的權(quán)重就應(yīng)該小。

TF-IDF的主要思想是，如果某個詞語在一篇文章中出現(xiàn)的頻率高，并且在其他文章中較少出現(xiàn)，則認為該詞語能較好的代表當(dāng)前文章的含義。即一個詞語的重要性與它在文檔中出現(xiàn)的次數(shù)成正比，與它在語料庫中文檔出現(xiàn)的頻率成反比。

TF-IDF是對文本所有候選關(guān)鍵詞進行加權(quán)處理，根據(jù)權(quán)值對關(guān)鍵詞進行排序。假設(shè)Dn為測試語料的大小，該算法的關(guān)鍵詞抽取步驟如下所示：

(1) 對于給定的文本D進行分詞、詞性標注和去除停用詞等數(shù)據(jù)預(yù)處理操作。本分采用結(jié)巴分詞，保留'n','nz','v','vd','vn','l','a','d'這幾個詞性的詞語，最終得到n個候選關(guān)鍵詞，即D=[t1,t2,…,tn] ;

(2) 計算詞語ti 在文本D中的詞頻;

(3) 計算詞語ti 在整個語料的IDF=log (Dn /(Dt +1))，Dt 為語料庫中詞語ti 出現(xiàn)的文檔個數(shù);

(4) 計算得到詞語ti 的TF-IDF=TF*IDF，并重復(fù)(2)—(4)得到所有候選關(guān)鍵詞的TF-IDF數(shù)值;

(5) 對候選關(guān)鍵詞計算結(jié)果進行倒序排列，得到排名前TopN個詞匯作為文本關(guān)鍵詞。

上述關(guān)于文本關(guān)鍵詞提取方法及具體操作步驟作簡單介紹，希望這些知識對您有所幫助!