什么是文本的粒度？我們用什么來(lái)衡量文本粒度？

一般而言，大型搜索引擎的索引都采用分布式系統(tǒng)。不同文本的索引，被某種hash算法“分配”到了某臺(tái)機(jī)器。理論上講，索引的數(shù)量的增長(zhǎng)，只會(huì)造成所需機(jī)器的增長(zhǎng)，而對(duì)整體系統(tǒng)性能的消耗影響比較小。所以一般搜索引擎會(huì)從性?xún)r(jià)比的角度來(lái)考慮索引數(shù)量與機(jī)器數(shù)量的折衷，也就是召回與硬件投入的折衷。粒度分析對(duì)于折衷的性?xún)r(jià)比也有一定的貢獻(xiàn)，在粒度層次里，當(dāng)粒度逐漸變小的過(guò)程中，我們并不一定對(duì)所有小粒度詞都建索引，而是選擇“更有可能召回相關(guān)結(jié)果”的小粒度詞。詞匯的什么性質(zhì)決定了“更有可能召回相關(guān)結(jié)果”？

傳統(tǒng)的搜索引擎的定義，是指一種對(duì)于指定的查詢(xún)（Query），能夠返回與之相關(guān)的文檔集合（Documents）的系統(tǒng)。而百度將這個(gè)定義更加豐富化，即搜索引擎能夠幫助人們更方便的找到所求。這里的“所求”，比“文檔”更加寬泛和豐富，比如一個(gè)關(guān)于天氣的查詢(xún)，直接返回一個(gè)天氣預(yù)報(bào)的窗口，而非一篇關(guān)于天氣的文檔；再如一個(gè)關(guān)于小游戲的查詢(xún)，直接返回這個(gè)小游戲的Flash頁(yè)面而非簡(jiǎn)單的介紹性的文字。

百度對(duì)Query深刻的理解，源于自然語(yǔ)言處理技術(shù)在其中發(fā)揮的巨大作用。對(duì)搜索引擎而言，文本切分是最基礎(chǔ)也是最重要的自然語(yǔ)言問(wèn)題之一。今天，我們就來(lái)談?wù)勎谋厩蟹至６扰c搜索引擎的關(guān)系。

什么是文本的粒度？我們用什么來(lái)衡量文本粒度？專(zhuān)名是一類(lèi)比較特殊的詞，盡管所含字?jǐn)?shù)很多，但其實(shí)只表達(dá)一個(gè)意思，如“步步驚心”，“家的n次方”這樣的電影、電視劇的名稱(chēng)，粒度是很小的。機(jī)構(gòu)名、人名等屬于有內(nèi)部結(jié)構(gòu)的專(zhuān)名，比電影名的粒度稍大一些。

一般我們采用倒排索引的方式來(lái)實(shí)現(xiàn)這個(gè)系統(tǒng)。所謂倒排索引，就是對(duì)關(guān)鍵字建立索引，記錄包含這個(gè)關(guān)鍵字的文檔集合D。對(duì)于請(qǐng)求的關(guān)鍵字集合，找出所有關(guān)鍵字對(duì)應(yīng)的索引，并對(duì)索引求交，最后返回同時(shí)存在于所有索引中的文檔。

在百度，我們不僅允許用戶(hù)輸入關(guān)鍵字，也可以輸入任何長(zhǎng)度在一定范圍內(nèi)的文本。此時(shí)我們需要對(duì)文本做一定處理，切分成一系列關(guān)鍵字，從而能夠從倒排索引中找出對(duì)應(yīng)的文檔。

既然粒度是衡量文本所含信息量的大小，那么緊密度就是描述文本所含信息緊密程度的量。再說(shuō)的通俗一些，緊密度就是信息被人們表達(dá)和接受的穩(wěn)定程度。穩(wěn)定有兩種解釋?zhuān)谝?，穩(wěn)定是相對(duì)于臨時(shí)而言的。一般來(lái)說(shuō)，如果信息是因?yàn)槟承┮蛩嘏R時(shí)組合在一起，那就是不穩(wěn)定的，即不緊密。比如許多動(dòng)賓結(jié)構(gòu)的短語(yǔ)（“過(guò)馬路”，“踢足球”），定中結(jié)構(gòu)的短語(yǔ)（“紅蘋(píng)果”，“豪華轎車(chē)”）。第二，穩(wěn)定是相對(duì)于順序不固定而言的。如果同樣一個(gè)信息，內(nèi)部的子信息順序可以互換，那么這個(gè)詞匯就不穩(wěn)定，即不緊密。比如一些大粒度的詞匯“鼠標(biāo)護(hù)腕墊”、“護(hù)腕鼠標(biāo)墊”。

當(dāng)前題目：什么是文本的粒度？我們用什么來(lái)衡量文本粒度？
URL分享：http://www.bm7419.com/news22/168522.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開(kāi)發(fā)、手機(jī)網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、云服務(wù)器、品牌網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)