ApachePig和Solr問題筆記（一）

記錄下最近兩天散仙在工作中遇到的有關(guān)Pig0.12.0和Solr4.10.2一些問題總共有3個如下

1問題一如何Pig中使用ASCII和十六進(jìn)制hexadecimal的分隔符進(jìn)行加載和切分?jǐn)?shù)據(jù)

注意關(guān)于這個問題在Pig中會反應(yīng)到2個場景中
第一在Pig加載load數(shù)據(jù)時候。
第二在Pig處理split或則正則截取數(shù)據(jù)的時候。

先稍微說下為啥使用十六進(jìn)制的字段分隔符而不是我們常見的空格逗號冒號分號#號等這些字符雖然也可以使用但是如果我們數(shù)據(jù)中有和這些符號沖突的數(shù)據(jù)那么在解析時就會發(fā)生一些出人意料的Bug所以為了保險起見選用肉眼不可讀的十六進(jìn)制的數(shù)據(jù)是一個不錯的選擇當(dāng)然這也是針對場景來說的看情況決定。

關(guān)于詳細(xì)的ASCII和十六進(jìn)制二進(jìn)制八進(jìn)制十進(jìn)制的文檔介紹請參考維基百科全書。

下面繼續(xù)回到正題本例中我們的數(shù)據(jù)格式是這樣存儲的

為瓊中黎族等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及瓊中黎族網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為網(wǎng)站制作、成都網(wǎng)站制作、瓊中黎族網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

Java代碼 Apache Pig和Solr問題筆記（一）

每行一條記錄,UTF-8編碼
每條記錄都包括字段名和字段內(nèi)容
字段之間用ascii碼1分隔
字段名與內(nèi)容之間用ascii碼2分隔

每行一條記錄,UTF-8編碼
每條記錄都包括字段名和字段內(nèi)容
字段之間用ascii碼1分隔
字段名與內(nèi)容之間用ascii碼2分隔

一個在eclipse中的小例子如下

Java代碼 Apache Pig和Solr問題筆記（一）

public static void main(String[] args) {
//注意\1和\2在我們的IDE中NotePad++中Linux的終端設(shè)備的界面中都會呈現(xiàn)不同的
//顯示方式大家可以在維基百科中詳細(xì)了解下
//數(shù)據(jù)示例
String s="prod_cate_disp_id019";
//split規(guī)則
String ss[]=s.split("\2");
for(String st:ss){
System.out.println(st);
}
}

	public static void main(String[] args) {
		//注意\1和\2在我們的IDE中NotePad++中Linux的終端設(shè)備的界面中都會呈現(xiàn)不同的
		//顯示方式大家可以在維基百科中詳細(xì)了解下
		//數(shù)據(jù)示例
		String s="prod_cate_disp_id019";
		//split規(guī)則
		String ss[]=s.split("\2");
		for(String st:ss){
			System.out.println(st);
		}
	}

關(guān)于load函數(shù)加載時支持的分隔符類型大家可以參考官網(wǎng)的文檔
下面看在Pig腳本的代碼

Java代碼 Apache Pig和Solr問題筆記（一）

--Hadoop技術(shù)交流群415886155
/*Pig支持的分隔符包括
1,任意字符串
2,任意轉(zhuǎn)義字符
3dec的字符\\u001 或者 \\u002
4十六進(jìn)行字符 \\x0A \\x0B
*/
--注意這個load時的分隔符代表ASCII的1作為Pig里面的dec直接解析方式
a = load '/tmp/dongliang/20150401/20150301/tmp_search_keywords_cate_stat/' using PigStorage('\\u001') ;
/**
注意下面的分割符^B這個符號是脫元字符只會在終端設(shè)備上
顯示這個符號代表ASCII的2
*/
a = foreach a generate REGEX_EXTRACT ($0, '(.*)^B(.*)', 2) as time ,
REGEX_EXTRACT ($1, '(.*)^B(.*)', 2) as kw ,
REGEX_EXTRACT ($2, '(.*)^B(.*)', 2) as ic ,
REGEX_EXTRACT ($3, '(.*)^B(.*)', 2) as cid,
REGEX_EXTRACT ($4, '(.*)^B(.*)', 2) as cname,
REGEX_EXTRACT ($5, '(.*)^B(.*)', 2) as pname,
REGEX_EXTRACT ($6, '(.*)^B(.*)', 2) as snt,
REGEX_EXTRACT ($7, '(.*)^B(.*)', 2) as cnt,
REGEX_EXTRACT ($8, '(.*)^B(.*)', 2) as fnt,
REGEX_EXTRACT ($9, '(.*)^B(.*)', 2) as ant,
REGEX_EXTRACT ($10, '(.*)^B(.*)', 2) as pnt ;
--獲取字符串長度
a = foreach a generate SIZE(cid) as len;
--按長度分組
b = group a by len;
--統(tǒng)計各個長度下的數(shù)量
c = foreach b generate group, COUNT($1);
--輸出打印
dump c;

--Hadoop技術(shù)交流群415886155
/*Pig支持的分隔符包括
1,任意字符串
2,任意轉(zhuǎn)義字符
3dec的字符\\u001 或者 \\u002
4十六進(jìn)行字符 \\x0A  \\x0B
*/
--注意這個load時的分隔符代表ASCII的1作為Pig里面的dec直接解析方式
a = load '/tmp/dongliang/20150401/20150301/tmp_search_keywords_cate_stat/' using PigStorage('\\u001') ;

/**

注意下面的分割符^B這個符號是脫元字符只會在終端設(shè)備上
顯示這個符號代表ASCII的2
*/
a = foreach a generate   REGEX_EXTRACT ($0, '(.*)^B(.*)', 2) as time ,
                         REGEX_EXTRACT ($1, '(.*)^B(.*)', 2) as kw ,
                         REGEX_EXTRACT ($2, '(.*)^B(.*)', 2) as ic ,
                         REGEX_EXTRACT ($3, '(.*)^B(.*)', 2) as cid,
                         REGEX_EXTRACT ($4, '(.*)^B(.*)', 2) as cname,
                         REGEX_EXTRACT ($5, '(.*)^B(.*)', 2) as pname,
                         REGEX_EXTRACT ($6, '(.*)^B(.*)', 2) as snt,
                         REGEX_EXTRACT ($7, '(.*)^B(.*)', 2) as cnt,
                         REGEX_EXTRACT ($8, '(.*)^B(.*)', 2) as fnt,
                         REGEX_EXTRACT ($9, '(.*)^B(.*)', 2) as ant,
                         REGEX_EXTRACT ($10, '(.*)^B(.*)', 2) as pnt ;

--獲取字符串長度
a = foreach a generate SIZE(cid) as len;
--按長度分組
b = group a by len;
--統(tǒng)計各個長度下的數(shù)量
c = foreach b generate group, COUNT($1);
--輸出打印
dump c;

2問題二如何在Apache Solr中查詢某個不分詞的field的長度有多少個記錄

Solr里面并沒有直接提供這樣類似JAVA里的lenth這樣的函數(shù)或者Pig里面的SIZE這樣的函數(shù)那么我們應(yīng)該如何查詢呢

Solr雖然不直接支持這樣的查詢但是我們可以通過正則查詢來變相的實現(xiàn)這個目的用法如下
1查詢固定長度 cid:/.{6}/ 只過濾長度為6的記錄
2查詢范圍長度 cid:/.{6,9}/ 只過濾長度6到9的記錄
3查詢最少多少長度以上的cid:/.{6}.*/ 長度最少為6的

3問題三在使用Pig+MapReduce向Solr中批量添加索引時發(fā)現(xiàn)無任何錯誤異常但是索引里卻沒任何數(shù)據(jù)?

這是一個比較詭異的問題本來散仙覺得應(yīng)該是程序出問題了但是后來發(fā)現(xiàn)同樣的代碼向另外一個collection里添加數(shù)據(jù)就很正常查看solr的log發(fā)現(xiàn)里面打印的一些信息如下

Java代碼 Apache Pig和Solr問題筆記（一）

INFO - 2015-04-01 21:08:36.097; org.apache.solr.update.DirectUpdateHandler2; start commit{,optimize=false,openSearcher=true,waitSearcher=true,expungeDeletes=false,softCommit=false,prepareCommit=false}
INFO - 2015-04-01 21:08:36.098; org.apache.solr.update.DirectUpdateHandler2; No uncommitted changes. Skipping IW.commit.
INFO - 2015-04-01 21:08:36.101; org.apache.solr.core.SolrCore; SolrIndexSearcher has not changed - not re-opening: org.apache.solr.search.SolrIndexSearcher
INFO - 2015-04-01 21:08:36.102; org.apache.solr.update.DirectUpdateHandler2; end_commit_flush

INFO  - 2015-04-01 21:08:36.097; org.apache.solr.update.DirectUpdateHandler2; start commit{,optimize=false,openSearcher=true,waitSearcher=true,expungeDeletes=false,softCommit=false,prepareCommit=false}
INFO  - 2015-04-01 21:08:36.098; org.apache.solr.update.DirectUpdateHandler2; No uncommitted changes. Skipping IW.commit.
INFO  - 2015-04-01 21:08:36.101; org.apache.solr.core.SolrCore; SolrIndexSearcher has not changed - not re-opening: org.apache.solr.search.SolrIndexSearcher
INFO  - 2015-04-01 21:08:36.102; org.apache.solr.update.DirectUpdateHandler2; end_commit_flush

解釋下上面的信息的意思大概就是說在數(shù)據(jù)索引完了但是沒有發(fā)現(xiàn)有commit的數(shù)據(jù)所以跳過commit這一點在程序跑的時候是非常奇怪的因為數(shù)據(jù)源HDFS里最少有110萬的數(shù)據(jù)怎么會沒有數(shù)據(jù)呢然后散仙通過谷歌搜索發(fā)現(xiàn)也有人發(fā)現(xiàn)類似的奇怪情況無任何異常的情況下重建索引成功卻在索引里沒有看見任何數(shù)據(jù)而且最為疑惑的是這幾個網(wǎng)上已經(jīng)有的案例竟然沒有一個有解決方案。

沒辦法了只好再次查看程序這一次散仙把中間處理好需要建索引的數(shù)據(jù)給打印出來看一下到底什么情況結(jié)果打印出來的都是一行行空數(shù)據(jù)原來在使用正則截取數(shù)據(jù)時原來的分隔符失效了所以導(dǎo)致截取不到數(shù)據(jù)這下問題基本定位了solr索引里沒有數(shù)據(jù)肯定是因為本來就沒有數(shù)據(jù)提交導(dǎo)致的那個奇怪的log發(fā)生結(jié)果在散仙把這個bug修復(fù)之后再次重建索引發(fā)現(xiàn)這次果然成功了在Solr中也能正常查詢到數(shù)據(jù)。如果你也發(fā)生了類似的情況請首先確保你能正確的獲取到數(shù)據(jù)不論是從遠(yuǎn)程讀取的還是解析wordexcel或者txt里面的數(shù)據(jù)都要首先確定能夠正確的把數(shù)據(jù)解析出來然后如果還是沒建成功可根據(jù)solr的log或者拋出的異常提示進(jìn)行修復(fù) 。

網(wǎng)頁名稱：ApachePig和Solr問題筆記（一）
網(wǎng)址分享：http://bm7419.com/article18/igsggp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊、響應(yīng)式網(wǎng)站、虛擬主機(jī)、品牌網(wǎng)站制作、面包屑導(dǎo)航、網(wǎng)站制作

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容