中文分詞

成都網(wǎng)站設計--創(chuàng)新互聯(lián)小編今天來和大家說說。“分詞”，分詞是中文搜索引擎特有的步驟。搜索引擎存儲和頁面處理內容及用戶查詢都是和以詞為基礎的。英文等語言單詞與單詞之間的空格作為天然分隔，搜索引擎索引程序可以直接把單詞劃分為單詞的集合。而中文詞與詞之間沒有任何的分隔符，一個句子中所有的詞和句子都是聯(lián)系在一起的。搜索引擎必須首先分辨那幾個字組成一個詞，那寫字本身就是一個詞。比如“減肥方法”將被分詞為“減肥”和“方法”兩個詞。

中文分詞方法基本有兩種，一種是基于詞典匹配，另一種是基于統(tǒng)計。基于詞典匹配的方法是指，將待分析的一段漢字與一個事先造好的詞典中的詞條進行匹配，在待分析漢字竄中掃苗到詞典中已有的詞條就匹配成功，或則說切分出一個單詞。按照掃描方向，基于詞典的匹配法可以分為正向匹配和逆向匹配。按照匹配長度優(yōu)先級的不同，又可以分為大匹配和最小匹配。將掃苗方向和長度優(yōu)先混合，又可以產生正向的大匹配，逆向大匹配等不同方法。詞典匹配方法計算簡單，其準確度在很大程度上取決于詞典的完整性和更新情況。

基于統(tǒng)計的分詞方法指的是分析大量的文字樣本，計算出字與字相鄰出現(xiàn)的統(tǒng)計概率，幾個字相鄰出現(xiàn)月多，就越可能形成一個單詞?；诮y(tǒng)計的方法的優(yōu)勢是對新出現(xiàn)的詞反應更快捷，也有利于消除歧義。

基于詞典匹配和基于統(tǒng)計的分詞方法各優(yōu)劣，實際使用中的分詞系統(tǒng)都是混合使用兩種方法的，快速高校，又能識別生詞,新詞，消除歧義。

中文分詞的準確性往往影響搜索引擎排名的相關性。比如百度搜索“搜索引擎優(yōu)化”如下圖可以把百度“成都網(wǎng)站建設”這六個字當成一個詞。

這種分詞上的不同很可能是一些關鍵詞排名在不同搜索引擎有不同表現(xiàn)的原因之一。比如百度更喜歡查詢詞完整匹配出現(xiàn)的頁面，也就是說搜索“成都網(wǎng)站建設”時，這四個字連續(xù)完整出現(xiàn)更容易在百度獲得好的排名。google卻與此不同。下圖

需要說明的是，快照只能在某些情況下幫助我們大致猜測搜索引擎的分詞處理，但這不是一個通用可靠的方法，很多時候我們并不能從快照中看出搜索引擎是怎么分詞的。比如在百度搜索一些很長的詞或者句子，對于不同網(wǎng)站，百讀快照有時候將整個句子標為同一個顏色，顯然百度也不是將整個句子分為一個詞。搜索引擎對頁面的分詞取決于詞庫的規(guī)模,準確性和分詞算法的好壞，而不是取決于頁面本身如何，所以seo成員對分詞所能做的很少。能做的是在頁面上用某種形式提示搜索引擎，某幾個字應該被當作一個詞處理，尤其是可能產生岐依的時候，比如在頁面標題,hl標簽中及黑體中出現(xiàn)關鍵詞。如果頁面是關于“和服”的內容，那么可以把“和服”的內容，那么可以把“和服”這兩個字特意標為給體。如果頁面是關于“化裝和服裝”，可以把“服裝”兩個字標為黑體。這樣，搜索引擎對頁面進行分析的時候就知道標為黑體的應該是一個詞。

新聞名稱：中文分詞
文章分享：http://www.bm7419.com/news7/179607.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設、微信公眾號、微信小程序、小程序開發(fā)、企業(yè)建站、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)