文本關鍵詞提取方法及具體操作步驟

在搜索引擎中，通過處理海量的文本關鍵詞進而盡可能滿足用戶搜索需求是搜索引擎核心，無論一篇文章的長短，搜索引擎都可以通過提取關鍵詞的方法來判斷整篇文章的主題，因此如何判斷一篇文章的核心關鍵詞是什么非常重要，下面關于為什么要做關鍵詞提取以及基于TF-IDF的文本關鍵詞抽取方法作簡單介紹。

為什么要做關鍵詞提取

關鍵字提取是文本挖掘領域的一個重要組成部分。從文本中提取關鍵詞有三種方法：監(jiān)督、半監(jiān)督和無監(jiān)督。監(jiān)督關鍵字提取算法是將關鍵字提取算法構造為兩類問題來判斷文檔中的詞或短語是否為關鍵字。由于這是一個分類問題，因此有必要提供標記的訓練預測。訓練語料庫用于訓練關鍵詞提取模型。根據(jù)該模型，對需要提取關鍵字的文檔的關鍵字提取算法進行了半監(jiān)督。

構造關鍵詞提取模型只需要少量的訓練數(shù)據(jù)，然后利用模型對新文本進行檢查。關鍵字提取，手動篩選這些關鍵字，并將篩選后的關鍵字添加到培訓集以重新培訓模型。無監(jiān)督的方法不需要手動標記語料庫。一些方法被用來尋找文本中更重要的詞作為關鍵字并提取關鍵字。監(jiān)督文本關鍵字提取算法要求人工成本高，現(xiàn)有的文本關鍵字提取主要采用無監(jiān)督關鍵字提取，適用性強。

文本關鍵字提取的過程如下：無監(jiān)督文本關鍵字提取流程圖無監(jiān)督關鍵字提取算法可分為三類：基于統(tǒng)計特征的關鍵字提取、基于詞圖模型的關鍵字提取和基于主題模型的關鍵字提取?；诮y(tǒng)計特征的文本關鍵字提取算法基于統(tǒng)計特征的關鍵字提取算法基于統(tǒng)計特征的關鍵字提取算法是利用文檔中的統(tǒng)計信息提取關鍵字。

一般情況下，文本經(jīng)過預處理得到候選詞集，然后通過特征值量化從候選詞集中獲得關鍵詞?；诮y(tǒng)計特征的關鍵詞提取方法的關鍵是采用何種特征值量化指標。

基于TF-IDF的文本關鍵詞抽取方法

詞頻(Term Frequency，TF)

指某一給定詞語在當前文件中出現(xiàn)的頻率。由于同一個詞語在長文件中可能比短文件有更高的詞頻，因此根據(jù)文件的長度，需要對給定詞語進行歸一化，即用給定詞語的次數(shù)除以當前文件的總詞數(shù)。

逆向文件頻率(Inverse Document Frequency，IDF)

是一個詞語普遍重要性的度量。即如果一個詞語只在很少的文件中出現(xiàn)，表示更能代表文件的主旨，它的權重也就越大;如果一個詞在大量文件中都出現(xiàn)，表示不清楚代表什么內(nèi)容，它的權重就應該小。

TF-IDF的主要思想是，如果某個詞語在一篇文章中出現(xiàn)的頻率高，并且在其他文章中較少出現(xiàn)，則認為該詞語能較好的代表當前文章的含義。即一個詞語的重要性與它在文檔中出現(xiàn)的次數(shù)成正比，與它在語料庫中文檔出現(xiàn)的頻率成反比。

TF-IDF是對文本所有候選關鍵詞進行加權處理，根據(jù)權值對關鍵詞進行排序。假設Dn為測試語料的大小，該算法的關鍵詞抽取步驟如下所示：

(1) 對于給定的文本D進行分詞、詞性標注和去除停用詞等數(shù)據(jù)預處理操作。本分采用結(jié)巴分詞，保留'n','nz','v','vd','vn','l','a','d'這幾個詞性的詞語，最終得到n個候選關鍵詞，即D=[t1,t2,…,tn] ;

(2) 計算詞語ti 在文本D中的詞頻;

(3) 計算詞語ti 在整個語料的IDF=log (Dn /(Dt +1))，Dt 為語料庫中詞語ti 出現(xiàn)的文檔個數(shù);

(4) 計算得到詞語ti 的TF-IDF=TF*IDF，并重復(2)—(4)得到所有候選關鍵詞的TF-IDF數(shù)值;

(5) 對候選關鍵詞計算結(jié)果進行倒序排列，得到排名前TopN個詞匯作為文本關鍵詞。

上述關于文本關鍵詞提取方法及具體操作步驟作簡單介紹，希望這些知識對您有所幫助!