圖片路徑存儲且item的json化是怎樣的，針對這個問題，這篇文章詳細介紹了相對應(yīng)的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

為瑞昌等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及瑞昌網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都網(wǎng)站設(shè)計、成都網(wǎng)站制作、瑞昌網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

1.item_completed()方法

• 語法：item_completed(results, items, info)；

• 當一個單獨項目中的所有圖片請求完成時（不管下載成功或者失?。?code>ImagesPipeline.item_completed() 方法將被調(diào)用。item_completed()方法必須返回將發(fā)送到后續(xù)item pipeline階段的輸出，因此必須返回或刪除item（默認情況下item_completed會返回全部item）；

2.在pipline中重寫item_completed方法

• 在ImagePipeline中重寫item_completed方法獲取圖片的保存路徑

  class ImagePipeline(ImagesPipeline):
    def file_path(self, request, response=None, info=None):
        ## start of deprecation warning block (can be removed in the future)
        def _warn():
            from scrapy.exceptions import ScrapyDeprecationWarning
            import warnings
            warnings.warn('ImagesPipeline.image_key(url) and file_key(url) methods are deprecated, '
                          'please use file_path(request, response=None, info=None) instead',
                          category=ScrapyDeprecationWarning, stacklevel=1)
        # check if called from image_key or file_key with url as first argument
        if not isinstance(request, Request):
            _warn()
            url = request
        else:
            url = request.url
        # detect if file_key() or image_key() methods have been overridden
        if not hasattr(self.file_key, '_base'):
            _warn()
            return self.file_key(url)
        elif not hasattr(self.image_key, '_base'):
            _warn()
            return self.image_key(url)
        ## end of deprecation warning block
        image_guid = hashlib.sha1(to_bytes(url)).hexdigest()  # change to request.url after deprecation
        # 修改為時間為目錄
        return '{}/{}.jpg'.format(datetime.now().year,image_guid)
    def item_completed(self, results, item, info):
        # 獲取圖片地址保存到列表中
        values = [value['path'] for ok, value in results if ok]
        # 給item賦值
        item['image_path'] = values.pop(0) if values else 'default.jpg'
        return item

3.創(chuàng)建md5函數(shù)

• 我們可以使用scrapy中的hashlib.md5 處理 url，首先在項目settings文件的同一目錄下，創(chuàng)建一個叫utils的package，然后在這個包里創(chuàng)建一個md5文件； 使用之前先從hashlib中導(dǎo)入md5，把hashlib中md5()實例化，然后用update傳入url，再用 hexdigest() 提取摘要。還可以使用isinstance()來判判斷傳入值編碼類型，使用encode()方法將unicode編碼轉(zhuǎn)換成其他編碼的字符串等；

  from hashlib import md5
  def get_md5(url):
  if isinstance(url, str):
      # 先轉(zhuǎn)化為字節(jié)碼
      url = url.encode()
      print(url)
  obj = md5()
  obj.update(url)
  return obj.hexdigest()
  if __name__ == '__main__':
  print(get_md5('www.baidu.com'))

4. 在item中添加字段

import scrapy
class XkdDribbbleSpiderItem(scrapy.Item):
    title = scrapy.Field()
    image_url = scrapy.Field()
    date = scrapy.Field()
    # 添加圖片路徑到item中
    image_path = scrapy.Field()
    # 加頁面的url地址添加到item中
    url = scrapy.Field()
    # 添加url的哈希值字段
    url_id = scrapy.Field()

5. 將item在spider中返回

import scrapy
from urllib import parse
from scrapy.http import Request
from datetime import datetime
from ..items import XkdDribbbleSpiderItem
from ..utils.md5_tool import get_md5
class DribbbleSpider(scrapy.Spider):
    name = 'dribbble'
    allowed_domains = ['dribbble.com']
    start_urls = ['https://dribbble.com/stories']
def parse(self, response):
        # 獲取a標簽的url值
        # selector
        a_selectors = response.css('div.teaser a')
        for a_selector in a_selectors:
            image_url = a_selector.css('img::attr(src)').extract()[0]
            page_url = a_selector.css('::attr(href)').extract()[0]
            yield Request(url=parse.urljoin(response.url, page_url), callback=self.parse_analyse,meta={'a_image_url': image_url})
    def parse_analyse(self, response):
        title = response.css('header h2::text').extract_first()
        image_url = response.meta.get('a_image_url')
        date_raw = response.css('p span.date::text').extract()[0]
        date_str = date_raw.strip()
        date = datetime.strptime(date_str, '%b %d, %Y').date()
        item = XkdDribbbleSpiderItem()
        item['title'] = title
        item['image_url'] = [image_url]
        item['date'] = date
        item['url'] = response.url
        item['url_id'] = get_md5(response.url)
        # item數(shù)據(jù)模型進行落地，數(shù)據(jù)持久化
        yield item

6.創(chuàng)建JsonSavePipeline，用于寫入item到文件中

import codecs
import json
class JsonSavePipeline:
    def process_item(self, item, spider):
        # 將spider中返回的item轉(zhuǎn)化為字典
        file = codecs.open('blog.json', mode='a')
        dict_item = dict(item)
        # 將字典json化
        line = json.dumps(dict_item, ensure_ascii=False) + '\n'
        # 寫入到文件
        file.write(line)
        # 再次返回item
        file.close()

7.在settings文件中添加JsonSavePipeline

'XKD_Dribbble_Spider.pipelines.JsonSavePipeline': 2,

關(guān)于圖片路徑存儲且item的json化是怎樣的問題的解答就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道了解更多相關(guān)知識。

名稱欄目：圖片路徑存儲且item的json化是怎樣的-創(chuàng)新互聯(lián)
文章出自：http://aaarwkj.com/article34/pghpe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、外貿(mào)建站、手機網(wǎng)站建設(shè)、微信公眾號、動態(tài)網(wǎng)站、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)