php采集代碼前幾天做了個小說連載的程序,抓取別人網頁內容php采集百度新聞標題

2023-11-28    分類: 網站建設

收集器,通常稱為小偷程序,主要用于抓取他人網頁的內容。關于集熱器的制作,其實并不難。就是遠程打開要采集的網頁,然后用正則表達式匹配需要的內容。只要你有一點基本的正則表達式,你就可以制作自己的收集器。.

前幾天,做了一個小說連載程序。因為怕更新麻煩,順便寫了個收集器收集八通中文網。功能比較簡單,不能自定義規(guī)則。你可以自己擴展。

使用php作為收集器主要使用()和()兩個函數(shù),前者是遠程讀取網頁內容,但只能在php5以上版本使用網站模板,后者是常規(guī)函數(shù),用于提取所需的內容。

下面逐步介紹功能實現(xiàn)。

因為是小說合集,所以必須先提取出書名、作者、體裁,其他信息可以根據(jù)需要提取。

這里是《回歸明朝當太子》的目標,首先打開參考書目頁面,鏈接:

再翻幾本書,你會發(fā)現(xiàn)書名的基本格式是:ISbN/.aspx,所以我們可以做一個起始頁,定義一個,用它來輸入要收藏的書號。以后可以用$['']等格式接收需要收藏的書號。收到書號后,接下來就是構建書目頁面:$url=$['']/.aspx,當然這里是個例子,主要是為了解釋方便,最好查一下$['' ] 合法性。

構建好 URL 后,就可以開始收集圖書信息了。使用()函數(shù)打開參考書目頁面:$=($url),這樣就可以讀出參考書目頁面的內容了。下一步是匹配標題、作者和流派等信息。這里以書名為例網站制作,其他都一樣。打開參考書目頁面,查看源文件,找到《回明為王》,這是要提取的書名。正則表達式提取書名:/(.*?)\/is,使用()函數(shù)提取書名:("/(.*?)\/is",$,$); 所以 $[0] [0] 的內容就是我們想要的標題(函數(shù)的用法可以百度查到,這里就不詳細解釋了)。取出圖書信息后,下一步是取章節(jié)的內容。取章節(jié)內容,首先要找到每一章節(jié)的地址,然后遠程打開章節(jié),使用正則取出內容php采集代碼,存入庫或者直接生成html靜態(tài)文件。這是章節(jié)列表的地址: 可以看到這個和參考書目頁面一樣,可以定期找到:分類號/書號/List.shtm。之前已經獲得了書號。這里的關鍵是找到分類號。分類號可以在之前的參考書目頁面上找到。提取分類號:存入庫或直接生成html靜態(tài)文件。這是章節(jié)列表的地址: 可以看到這個和參考書目頁面一樣,可以定期找到:分類號/書號/List.shtm。之前已經獲得了書號。這里的關鍵是找到分類號。分類號可以在之前的參考書目頁面上找到。提取分類號:存入庫或直接生成html靜態(tài)文件。這是章節(jié)列表的地址: 可以看到這個和參考書目頁面一樣php采集代碼,可以定期找到:分類號/書號/List.shtm。之前已經獲得了書號。這里的關鍵是找到分類號。分類號可以在之前的參考書目頁面上找到。提取分類號:

("/Html\/book\/[0-9]{1,}\/[0-9]{1,}\/List\.shtm/is",$,$); 這還不夠,還需要一個 cut 函數(shù):

[復制pHp代碼] [-] pHp代碼如下:

引用如下:

切($,$,$end){

$ = ($,$);

$ = ($end,$[1]); $[0];} 其中$是要剪切的內容,$是開頭,$end是結尾。取出分類號:

$ = "HTML/書/";

$結束

= "列表.shtm";

$ = cut($[0][0],$,$end);

$ = ("/",$);[/php]

這樣,$[0] 就是我們要找的分類號。下一步是構造章節(jié)列表的地址:$ = $[0]/$['']/List.shtm。有了這個,你可以找到每一章的地址。方法如下:

引用如下:

$ = "\"";

$uend

= "\"";

//t的縮寫

$ = ">";

$傾向于

= "

新聞標題:php采集代碼前幾天做了個小說連載的程序,抓取別人網頁內容php采集百度新聞標題
網站URL:http://www.bm7419.com/news24/297174.html

成都網站建設公司_創(chuàng)新互聯(lián),為您提供建站公司、網站設計公司、外貿網站建設、企業(yè)網站制作、網站營銷、ChatGPT

廣告

聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)

成都app開發(fā)公司