中文分詞

成都網(wǎng)站設(shè)計(jì)--創(chuàng)新互聯(lián)小編今天來(lái)和大家說(shuō)說(shuō)。“分詞”，分詞是中文搜索引擎特有的步驟。搜索引擎存儲(chǔ)和頁(yè)面處理內(nèi)容及用戶(hù)查詢(xún)都是和以詞為基礎(chǔ)的。英文等語(yǔ)言單詞與單詞之間的空格作為天然分隔，搜索引擎索引程序可以直接把單詞劃分為單詞的集合。而中文詞與詞之間沒(méi)有任何的分隔符，一個(gè)句子中所有的詞和句子都是聯(lián)系在一起的。搜索引擎必須首先分辨那幾個(gè)字組成一個(gè)詞，那寫(xiě)字本身就是一個(gè)詞。比如“減肥方法”將被分詞為“減肥”和“方法”兩個(gè)詞。

中文分詞方法基本有兩種，一種是基于詞典匹配，另一種是基于統(tǒng)計(jì)?；谠~典匹配的方法是指，將待分析的一段漢字與一個(gè)事先造好的詞典中的詞條進(jìn)行匹配，在待分析漢字竄中掃苗到詞典中已有的詞條就匹配成功，或則說(shuō)切分出一個(gè)單詞。按照掃描方向，基于詞典的匹配法可以分為正向匹配和逆向匹配。按照匹配長(zhǎng)度優(yōu)先級(jí)的不同，又可以分為大匹配和最小匹配。將掃苗方向和長(zhǎng)度優(yōu)先混合，又可以產(chǎn)生正向的大匹配，逆向大匹配等不同方法。詞典匹配方法計(jì)算簡(jiǎn)單，其準(zhǔn)確度在很大程度上取決于詞典的完整性和更新情況。

基于統(tǒng)計(jì)的分詞方法指的是分析大量的文字樣本，計(jì)算出字與字相鄰出現(xiàn)的統(tǒng)計(jì)概率，幾個(gè)字相鄰出現(xiàn)月多，就越可能形成一個(gè)單詞?；诮y(tǒng)計(jì)的方法的優(yōu)勢(shì)是對(duì)新出現(xiàn)的詞反應(yīng)更快捷，也有利于消除歧義。

基于詞典匹配和基于統(tǒng)計(jì)的分詞方法各優(yōu)劣，實(shí)際使用中的分詞系統(tǒng)都是混合使用兩種方法的，快速高校，又能識(shí)別生詞,新詞，消除歧義。

中文分詞的準(zhǔn)確性往往影響搜索引擎排名的相關(guān)性。比如百度搜索“搜索引擎優(yōu)化”如下圖可以把百度“成都網(wǎng)站建設(shè)”這六個(gè)字當(dāng)成一個(gè)詞。

這種分詞上的不同很可能是一些關(guān)鍵詞排名在不同搜索引擎有不同表現(xiàn)的原因之一。比如百度更喜歡查詢(xún)?cè)~完整匹配出現(xiàn)的頁(yè)面，也就是說(shuō)搜索“成都網(wǎng)站建設(shè)”時(shí)，這四個(gè)字連續(xù)完整出現(xiàn)更容易在百度獲得好的排名。google卻與此不同。下圖

需要說(shuō)明的是，快照只能在某些情況下幫助我們大致猜測(cè)搜索引擎的分詞處理，但這不是一個(gè)通用可靠的方法，很多時(shí)候我們并不能從快照中看出搜索引擎是怎么分詞的。比如在百度搜索一些很長(zhǎng)的詞或者句子，對(duì)于不同網(wǎng)站，百讀快照有時(shí)候?qū)⒄麄€(gè)句子標(biāo)為同一個(gè)顏色，顯然百度也不是將整個(gè)句子分為一個(gè)詞。搜索引擎對(duì)頁(yè)面的分詞取決于詞庫(kù)的規(guī)模,準(zhǔn)確性和分詞算法的好壞，而不是取決于頁(yè)面本身如何，所以seo成員對(duì)分詞所能做的很少。能做的是在頁(yè)面上用某種形式提示搜索引擎，某幾個(gè)字應(yīng)該被當(dāng)作一個(gè)詞處理，尤其是可能產(chǎn)生岐依的時(shí)候，比如在頁(yè)面標(biāo)題,hl標(biāo)簽中及黑體中出現(xiàn)關(guān)鍵詞。如果頁(yè)面是關(guān)于“和服”的內(nèi)容，那么可以把“和服”的內(nèi)容，那么可以把“和服”這兩個(gè)字特意標(biāo)為給體。如果頁(yè)面是關(guān)于“化裝和服裝”，可以把“服裝”兩個(gè)字標(biāo)為黑體。這樣，搜索引擎對(duì)頁(yè)面進(jìn)行分析的時(shí)候就知道標(biāo)為黑體的應(yīng)該是一個(gè)詞。

新聞名稱(chēng)：中文分詞
分享URL：http://bm7419.com/news/179607.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、網(wǎng)站內(nèi)鏈、云服務(wù)器、服務(wù)器托管、微信公眾號(hào)、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)