欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

使用PHP怎么對百度閱讀進行抓取-創(chuàng)新互聯(lián)

這篇文章將為大家詳細講解有關(guān)使用PHP怎么對百度閱讀進行抓取,文章內(nèi)容質(zhì)量較高,因此小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

成都創(chuàng)新互聯(lián)從2013年創(chuàng)立,是專業(yè)互聯(lián)網(wǎng)技術(shù)服務公司,擁有項目網(wǎng)站設計制作、做網(wǎng)站網(wǎng)站策劃,項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命,1280元漣水做網(wǎng)站,已為上家服務,為漣水各地企業(yè)和個人服務,聯(lián)系電話:028-86922220

抓取方法如下


首先在瀏覽器里打開閱讀頁面,查看源代碼后發(fā)現(xiàn)小說的內(nèi)容并不是直接寫在頁面里的,也就是說小說的內(nèi)容是通過異步加載而來的。

于是將chrome的開發(fā)者工具切到network一欄,刷新閱讀頁面,主要關(guān)注的是XHR和script兩個分類下。

經(jīng)過排查,發(fā)現(xiàn)在script分類下有個jsonp請求比較像是小說內(nèi)容,請求的地址是

/tupian/20230522/49422a3769eae009581becba div等等,c屬性就是內(nèi)容了,但也有兩種可能,一個是字符串,另一個是數(shù)組,數(shù)組的每個元素都是一個節(jié)點。

這種結(jié)構(gòu)好解析了,用一個遞歸就搞定

最終代碼如下:

<?php
class BaiduYuedu {
 protected $bookId;
 protected $bookToken;
 protected $cookie;
 protected $result;
 public function __construct($bookId, $bookToken, $cookie){
  $this->bookId = $bookId;
  $this->bookToken = $bookToken;
  $this->cookie = $cookie;
 }
 public static function parseNode($node){
  $str = '';
  if(is_string($node['c'])){
   $str .= $node['c'];
  }else if(is_array($node['c'])){
   foreach($node['c'] as $d){
    $str .= self::parseNode($d);
   }
  }
  switch($node['t']){
   case 'h3':
    $str .= "\n\n";
    break;
   case 'br':
   case 'div':
   case 'p':
    $str .= "\n";
    break;
   case 'img':
   case 'span':
    break;
   case 'obj':
    $tmp = '(' . self::parseNode($node['data'][0]) . ')';
    $str .= str_replace("\n", '', $tmp);
    break;
   default:
    trigger_error('Unkown type:'.$node['t'], E_USER_WARNING);
    break;
  }
  return $str;
 }
 public function get($page = 1){
  echo "getting page {$page}...\n";
  $ch = curl_init();
  $url = sprintf('http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d', $this->bookId, $this->token, $page);
  curl_setopt_array($ch, array(
   CURLOPT_URL   => $url,
   CURLOPT_RETURNTRANSFER => 1,
   CURLOPT_HEADER   => 0,
   CURLOPT_HTTPHEADER  => array('Cookie: '. $this->cookie)
  ));
  $ret = json_decode(curl_exec($ch), true);
  curl_close($ch);
  $str = '';
  if(!empty($ret)){
   $str .= self::parseNode($ret);
   $str .= $this->get($page + 1);
  }
  return $str;
 }
 public function start(){
  $this->result = $this->get();
 }
 public function getResult(){
  return $this->result;
 }
 public function saveTo($path){
  if(empty($this->result)){
   trigger_error('Result is empty', E_USER_ERROR);
   return;
  }
  file_put_contents($path, $this->result);
  echo "save to {$path}\n";
 }
}
//使用示例
$yuedu = new BaiduYuedu('49422a3769eae009581becba', '8ed1dedb240b11bf0731336eff95093f', '你的百度域cookie');
$yuedu->start();
$yuedu->saveTo('result.txt');

這個類前兩個參數(shù)可以從小說的介紹頁面獲得,第一個參數(shù)bookId就是urlebook后面跟著的字符串,第二個參數(shù)bookToken在頁面源代碼搜索bdjsonUrlm參數(shù)后面的那個字符串就是。

注:如果不傳入百度cookie或者百度cookie無效,則只能抓取免費閱讀部分,要抓完整的內(nèi)容必須保證cookie可以正常使用。

關(guān)于使用PHP怎么對百度閱讀進行抓取就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。

文章名稱:使用PHP怎么對百度閱讀進行抓取-創(chuàng)新互聯(lián)
瀏覽地址:http://aaarwkj.com/article48/hsehp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供定制開發(fā)虛擬主機、Google、網(wǎng)站改版網(wǎng)站制作、動態(tài)網(wǎng)站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

綿陽服務器托管
青青草原激情综合网| 麻豆久久精品国产亚洲精品超碰热| 国产日韩一区二区三区电影 | 丝袜美腿一区二区三区动态图| 99久久精品免费国产一区| 国产精品午夜福利天堂| 日韩欧美一二区久久麻豆| 久久国产精品亚洲欧美| 亚洲熟妇精品一区二区| 久久国产精品一区二区三区| 欧美日韩精品在线二区| 国产一级夫妻性生活欧美| 日本一区二区不卡视频在线播放| 欧美三级美国三级亚洲三级| 五月激情丁香婷婷色网| 凹凸国产精品熟女视频| 漂亮人妻少妇中文字幕| 国产国语激情对白在线| 日韩欧美中文字幕区| 丰满人妻在线一区二区三区| 中文字幕在线精品乱码| 午夜福利精品在线观看| 国产成人精品一区二区国产乱码| 免费一区二区三区黄色| 日本高清av一区二区| 亚洲欧美日韩国产精品专区| 欧美亚洲另类在线日韩国产| 欧美一日韩一级片免费看| 亚洲三区四区视频在线观看| 青青草原在线影视一区| 中文字幕欧美人妻在线| 精品人妻一区二区三区久久91 | 91精品国产高清91久久久久久| 亚洲区自拍偷拍一区二区| 太爽了少妇高潮在线看片| 日韩精品高清不卡一区二区三区| 精品国产50部农村老熟女av| 91国产视频在线观看免费| 日韩在线不卡播放视频| 亚洲欧美天堂一区二区| 亚洲三级av在线播放|