玩蛇网提供最新Python编程技术信息以及Python资源下载!

Python scrapy ImagesPipeline图片下载源码纠错

运行环境

操作系统:windows7 64位
python:2.7.6 64位
scrapy:scrapy-0.22.2

问题描述

使用ImagesPipeline 下载图片的时候,已经在setting.py中指定了图片的保存地址:
IMAGES_STORE = 'image-downloaded/'
但是 运行的时候,在“image-downloaded”目录下却没看到图片。

源码在这里下载

在pipline文件中增加了image_key函数,代码如下:

def image_key(self, url):
        year,month = url.split('/')[-3],url.split('/')[-2]
        image_guid = hashlib.sha1(url).hexdigest()
        img_path = "%s/%s/%s" % (year,month,self.title)
        return '%s/%s.jpg' % (img_path, image_guid)

Pipeline 里需要 image_key 返回文件名

刚刚仔细检查了下cmd输出:发现有个错误:

IOError: decoder jpeg not available

这个应该是pillow(pil的替代品)的问题,于是卸载了pillow(命令:pip uninstall pillow),然后重新安装了(命令:pip install pillow),发现无法下载,于是在Python第三方windows模块安装包下载对应版本的pillow进行安装,重新启动爬虫,发现图片可以正常下载了。

玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd19850.html

相关文章 Recommend

玩蛇网Python互助QQ群,欢迎加入-->: 106381465 玩蛇网Python新手群
修订日期:2017年05月24日 - 14时39分07秒 发布自玩蛇网

您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules