用elasticsearch和nuxtjs搭建bt搜索引擎-創(chuàng)新互聯(lián)

世界上已經(jīng)有了這么多種子搜索引擎，為什么你還要不厭其煩的做一個新的？

可以這么說，地球上大多數(shù)的種子搜索引擎的前后端技術都比較古老，雖然古老的技術既經(jīng)典又好用，但是作為一個喜歡嘗鮮的人，我仍然決定使用目前最為先進的開發(fā)技術制作一個功能簡明的種子搜索引擎。

站在用戶的角度思考問題，與客戶深入溝通，找到黃平網(wǎng)站設計與黃平網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗，讓設計與互聯(lián)網(wǎng)技術結合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：網(wǎng)站建設、成都網(wǎng)站設計、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、域名注冊、虛擬主機、企業(yè)郵箱。業(yè)務覆蓋黃平地區(qū)。采用了什么技術？

前端：在vue,angular,react三大現(xiàn)×××發(fā)框架中選擇了vue，做出這個決定的原因也僅僅是一直以來對vue的謎之好感。有時候就是這樣，緣分到了不得不從，恰巧nuxtjs在9月更新了2.0，因此毫不猶豫選擇了vue。
后端：在koa,gin,springboot中權衡良久，由于很長時間沒有寫過java，最后選擇了springboot + jdk11，用寫javascript的感覺來寫java，還是很不錯的。從追求速度上來講，可能使用gin或Koa要更快，但是這一點提升對于我這種實驗性網(wǎng)站來說，意義并不是很大。
全文檢索：嘗試了全文檢索里面的比較潮的couchbase、redissearch、elasticsearch，最后選定elasticsearch，另外兩個的速度雖然遠高于elasticsearch，但畢竟是內存式數(shù)據(jù)庫，簡單功能尚可，復雜度上去后則吃內存太多。

制作過程呢？

下面我分享下大概過程，涉及到復雜原理，請自行谷歌，我不認為我可以把復雜原理描述的很簡單。

關于命名：

從手中的十來個域名選擇了

btzhai.top

中國國內同名的網(wǎng)站有幾個，但是這不是問題。

關于服務器：

幾經(jīng)周折，購買了一臺美國服務器。配置是:E5-1620|24G|1TB|200M帶寬，真正的24小時人工服務?？紤]到要用cloudfare，所以不需要硬防。一月1200RMB。

在此期間嘗試了很多家服務器，深感這免備案服務器這一行真的是泥沙俱下。

關于爬蟲：

大約8月初終于有空來著手bt搜索引擎這件事情。

首先擺在我面前的問題就是數(shù)據(jù)來源問題，要知道所謂的dht網(wǎng)絡，說白了就是一個節(jié)點既是服務器又是客戶端，你在利用dht網(wǎng)絡下載時會廣播到網(wǎng)絡中，別的節(jié)點就會接收到你所下載文件的唯一標識符infohash（有的地方稱之為神秘代碼）和metadata，這里面包括了這個文件的名稱、大小、創(chuàng)建時間、包含文件等信息，利用這個原理，dht爬蟲就可以收集dht網(wǎng)絡中的即時熱門下載。

如果僅僅依靠依靠dht爬蟲去爬的話，理論上初期速度大約為40w一天，30天可以收集上千萬，但是dht網(wǎng)絡里面的節(jié)點不可能總是下載新的文件，現(xiàn)實情況是：大多數(shù)情況下冷門的種子幾年無人問津，熱門種子天天數(shù)十萬人下載。可以推想，隨著種子基數(shù)增加，重復的infohash會越來越多，慢慢地只會增加所謂的種子熱度而不會增加基數(shù)，但是沒有1000w+的種子，從門面上來講不好看。

去哪里弄1000w種子成了當時我主要研究的問題。首先我從github上選取了幾個我認為比較好用的dht爬蟲進行改造，讓之可以直接將數(shù)據(jù)入庫到elasticsearch中，并且在infohash重復的時候自動對熱度+1。

elasticsearch的mapping如下，考慮到中文分詞，選用了smartcn作為分詞器，當然ik也是可以的。種子內的文件列表files，本來設置為nested object，因為nested query性能不高已經(jīng)取消:

{
    "properties": {
        "name": {
            "type": "text",
            "analyzer": "smartcn",
            "search_analyzer": "smartcn"
        },
        "length": {
            "type": "long"
        },
        "popularity": {
            "type": "integer"
        },
        "create_time": {
            "type": "date",
            "format": "epoch_millis"
        },
        "files": {
            "properties": {
                "length": {
                    "type": "long"
                },
                "path": {
                    "type": "text",
                    "analyzer": "smartcn",
                    "search_analyzer": "smartcn"
                }
            }
        }
    }
}

服務器上開始24小時掛著dht爬蟲。期間我也嘗試過多種不同語言的開源爬蟲來比較性能，甚至還找人試圖購買bt種子。下面這些爬蟲我都實際使用過：

https://github.com/shiyanhui/dht
https://github.com/fanpei91/p2pspider
https://github.com/fanpei91/simDHT
https://github.com/keenwon/antcolony
https://github.com/wenguonideshou/zsky

然而這些dht爬蟲經(jīng)試驗，或多或少都有些問題，有的是只能采集infohash而不能采集metadata，有的采集速度不夠，有的則隨時間增加資源占用越來越大。

最終確定的是這個最優(yōu)解：

https://github.com/neoql/btlet

唯一不妥是運行一段時間（大約10個小時）后就會崩潰退出，可能跟采集速度有關。而在我寫這篇文章的前幾天，作者稱已經(jīng)將此問題修復，我還沒有來得及跟進更新。可以說這是我實驗過采集速度最快的dht爬蟲。有興趣的同學可以去嘗試、PR。

爬蟲正?；\行以后，我終于發(fā)現(xiàn)了基數(shù)問題的解決之道，那就是skytorrent關閉后dump出來的數(shù)據(jù)庫和openbay，利用這大約4000w infohash數(shù)據(jù)和bthub，每天都一定可以保證有數(shù)萬新的metadata入庫。

關于bthub我要說的是，api請求頻率太高會被封ip，發(fā)郵件詢問的結果如下。經(jīng)過我的反復測試，api請求間隔設為1s也是沒問題的：
用elasticsearch和nuxtjs搭建bt搜索引擎

關于前端：

我比較習慣于先畫出簡單的前端再開始寫后端，前端確定清楚功能以后就可以很快寫出對應的接口。bt搜索引擎目前具有以下這么幾個功能就足夠了：

可以搜索關鍵詞
首頁可以展現(xiàn)之前搜索過的排行前十的關鍵詞
可以隨機推薦一些文件
可以按照相關性、大小、創(chuàng)建時間、熱度排序

首頁啟動時，為了提高速度，從后臺讀cache，包括收錄了多少infohash、隨機推薦的文件名稱、搜索關鍵詞top10等等，這些cache使用@Scheduled每天自動更新一次。

點擊搜索后，跳轉到結果展現(xiàn)頁面，這里只展現(xiàn)elasticsearch處理過highlight之后的結果而不展現(xiàn)所有原始結果，每頁展示10個結果。

原始結果的展現(xiàn)放在最后一個詳細畫面上。

前端承載的另一個重要問題就是seo，這也是我使用nuxtjs的原因。前端功能完成以后，我為它添加了meta描述、google analytics、百度。

sitemap的添加倒是耗廢了一些時間，因為是動態(tài)網(wǎng)頁的緣故，只能用nuxt-sitemap來動態(tài)生成。

另外用媒體查詢和vh、vw做了移動適配。不敢說100%，至少可以覆蓋90%的設備。

關于后端：

spring data在實現(xiàn)核心搜索api時遇到了問題，核心搜索如果寫成json，舉個例子的話，可能是下面的這個樣子：

{
    "from": 0,
    "size": 10,
    "sort": [{
        "_score": "desc"
    }, {
        "length": "desc"
    }, {
        "popularity": "desc"
    }, {
        "create_time": "desc"
    }],
    "query": {
        "multi_match": {
            "query": "這里是要搜索的關鍵詞",
            "fields": ["name", "files.path"]
        }
    },
    "highlight": {
        "pre_tags": ["<strong>"],
        "post_tags": ["</strong>"],
        "fields": {
            "name": {
                "number_of_fragments": 1,
                "no_match_size": 150
            },
            "files.path": {
                "number_of_fragments": 3,
                "no_match_size": 150
            }
        }
    }
}

highlight返回的結果將沒有辦法自動和entity匹配，因為這一部分數(shù)據(jù)不在source中，spring data無法通過getSourceAsMap來獲取。這里需要用到NativeSearchQueryBuilder去手動配置，如果有更好的方式，請務必賜教。java代碼如下:

var searchQuery = new NativeSearchQueryBuilder()
                .withIndices("torrent_info").withTypes("common")
                .withQuery(QueryBuilders.multiMatchQuery(param.getKeyword(), "name", "files.path"))
                .withHighlightFields(new HighlightBuilder.Field("name").preTags("<strong>").postTags("</strong>").noMatchSize(150).numOfFragments(1), new HighlightBuilder.Field("files.path").preTags("<strong>").postTags("</strong>").noMatchSize(150).numOfFragments(3))
                .withPageable(PageRequest.of(param.getPageNum(), param.getPageSize(), sort))
                .build();
var torrentInfoPage = elasticsearchTemplate.queryForPage(searchQuery, TorrentInfoDo.class, new SearchResultMapper() {
            @SuppressWarnings("unchecked")
            @Override
            public <T> AggregatedPage<T> mapResults(SearchResponse searchResponse, Class<T> aClass, Pageable pageable) {
                if (searchResponse.getHits().getHits().length <= 0) {
                    return null;
                }
                var chunk = new ArrayList<>();

                for (var searchHit : searchResponse.getHits()) {
                    // 設置info部分
                    var torrentInfo = new TorrentInfoDo();
                    torrentInfo.setId(searchHit.getId());
                    torrentInfo.setName((String) searchHit.getSourceAsMap().get("name"));
                    torrentInfo.setLength(Long.parseLong(searchHit.getSourceAsMap().get("length").toString()));
                    torrentInfo.setCreate_time(Long.parseLong(searchHit.getSourceAsMap().get("create_time").toString()));
                    torrentInfo.setPopularity((Integer) searchHit.getSourceAsMap().get("popularity"));
                    // ArrayList<Map>->Map->FileList->List<FileList>
                    var resList = ((ArrayList<Map>) searchHit.getSourceAsMap().get("files"));
                    var fileList = new ArrayList<FileList>();
                    for (var map : resList) {
                        FileList file = new FileList();
                        file.setPath((String) map.get("path"));
                        file.setLength(Long.parseLong(map.get("length").toString()));
                        fileList.add(file);
                    }
                    torrentInfo.setFiles(fileList);
                    // 設置highlight部分
                    // 種子名稱highlight(一般只有一個)
                    var nameHighlight = searchHit.getHighlightFields().get("name").getFragments()[0].toString();
                    // path highlight列表
                    var pathHighlight = getFileListFromHighLightFields(searchHit.getHighlightFields().get("files.path").fragments(), fileList);
                    torrentInfo.setNameHighLight(nameHighlight);
                    torrentInfo.setPathHighlight(pathHighlight);
                    chunk.add(torrentInfo);
                }
                if (chunk.size() > 0) {
                    // 不設置total返回不了正確的page結果
                    return new AggregatedPageImpl<>((List<T>) chunk, pageable, searchResponse.getHits().getTotalHits());
                }
                return null;
            }
        });

關于elasticsearch:

種子搜索不需要多高的實時性，一臺服務器也不需要副本，因此，index的設置都是這樣：

{
    "settings": {
        "number_of_shards": 2,
        "number_of_replicas": 0,
        "refresh_interval": "90s"
    }
}

jvm配置了8G內存，G1GC，另外還禁了swapping：

## IMPORTANT: JVM heap size 
-Xms8g
-Xmx8g
## GC configuration 
-XX:+UseG1GC
-XX:MaxGCPauseMillis=50

運行得怎么樣？

由于搜索比較復雜，平均搜索時間1s左右，搜索命中上百萬數(shù)據(jù)時會大于2s。

下面是cloudfare的統(tǒng)計：
用elasticsearch和nuxtjs搭建bt搜索引擎

分享文章：用elasticsearch和nuxtjs搭建bt搜索引擎-創(chuàng)新互聯(lián)
網(wǎng)頁路徑：http://bm7419.com/article38/gjopp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設、網(wǎng)站營銷、企業(yè)網(wǎng)站制作、網(wǎng)站排名、品牌網(wǎng)站建設、做網(wǎng)站

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內容