python爬虫抓取图片 终端报错 <urlopen error no hsot given> 是什么原因?
python利用urllib爬虫,图片获取二十几张后就报错
python版本3.6 windows系统下运行
urllib.error.URLError:<urlopen error no host given>
代码如下:
#!/usr/bin/python
# -*- coding:utf-8 -*-
import urllib
import requests
import re
from bs4 import BeautifulSoup
import csv
import socket
socket.setdefaulttimeout(300)
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
#url池
url1 = ('http://jandan.net/ooxx/page-')
urls = []
src_list = []
for i in range(2000,2020):
urls.append(url1+str(i))
print (urls)
for url in urls:#从url池中获取url
r = requests.get(url,headers = headers)#获取页面
html = BeautifulSoup(r.text,'html.parser')#利用tag结构划分#获取名称
for link in html.find_all('img'):
src_list.append('http:'+link.get('src'))
src_list.pop()
print (src_list)
tmp = 1
for src in src_list:
urllib.request.urlretrieve(src,r'C:\Users\姜梦天\Desktop\spider\img\%s.jpg' % tmp)
tmp += 1
print ('下载完毕')
.....尝试解决未果...
求各位大大DEBUG....
#coding=utf-8
import os
import requests
from pyquery import PyQuery as Q
def download_image(image_url):
if not image_url.startswith('http:'):
image_url = 'http:{}'.format(image_url)
image_dir = './image'
if not os.path.exists(image_dir):
os.mkdir(image_dir)
_, image_name = os.path.split(image_url)
image_path = os.path.join(image_dir, image_name)
print 'download:', image_url,
try:
r = requests.get(image_url)
with open(image_path, 'wb') as f:
f.write(r.content)
print 'success'
except:
print 'error'
if __name__ == '__main__':
for i in range(2000, 2020):
url = 'http://jandan.net/ooxx/page-{0}'.format(i)
print 'get:', url
r = requests.get(url)
for _ in Q(r.text).find('img'):
image_url = Q(_).attr('src')
download_image(image_url)
......改进了代码.写入了try.虽然还是会报错......但是不妨碍继续下载图片........
代码如下:
#!/usr/bin/python
# -*- coding:utf-8 -*-
import urllib
import requests
import re
from bs4 import BeautifulSoup
import csv
import socket
socket.setdefaulttimeout(300)
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
#url池
url1 = ('http://jandan.net/ooxx/page-')
urls = []
src_list = []
for i in range(1500,2380):
urls.append(url1+str(i))
print (urls)
for url in urls:#从url池中获取url
r = requests.get(url,headers = headers)#获取页面
html = BeautifulSoup(r.text,'html.parser')
for link in html.find_all('img'):
try:
src_list.append('http:'+link.get('src'))
except:
print ('url获取错误')
src_list.pop()
print (src_list)
tmp = 0
for src in src_list:
try:
urllib.request.urlretrieve(src,r'C:\Users\姜梦天\Desktop\spider\img\%s.jpg' % tmp)
tmp = tmp+1
except:
print ('失败')
print ('下载完毕')
可以下载众多妹子的图片了
玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd13779.html
相关文章 Recommend
- • 2019年3月最新消息: Python 3.4.10 现已推出
- • [上海]招Python量化系统开发工程师
- • 优集品网络科技有限公司招Python中/高级工程师
- • 爱因互动科技发展有限公司招募Python开发攻城狮
- • mozio招聘Python/Django工程师
- • Kavout金融科技公司招Python研发工程师
- • Python数组逆向输出,编程练习题实例四十
- • Python数组插入排序,编程练习题实例三十九
- • Python矩阵for循环应用,编程练习题实例三十八
- • Python操作Redis数据库方面的问题
- • 请python高手帮我看看这段python代码中函数setter的
- • Python什么方法可以快速将两个队列变成字典
您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:
必知PYTHON教程 Must Know PYTHON Tutorials
- • python 解释器
- • python idle
- • python dir函数
- • python 数据类型
- • python type函数
- • python 字符串
- • python 整型数字
- • python 列表
- • python 元组
- • python 字典
- • python 集合
- • python 变量
- • python print
- • python 函数
- • python 类定义
- • python import
- • python help
- • python open
- • python 异常处理
- • python 注释
- • python continue
- • python pass
- • python return
- • python global
- • python assert
- • python if语句
- • python break
- • python for循环
- • python while循环
- • python else/elif
- • lambda匿名函数
必知PYTHON模块 Must Know PYTHON Modules
- • os 模块
- • sys 模块
- • re 正则表达式
- • time 日期时间
- • pickle 持久化
- • random 随机
- • csv 模块
- • logging 日志
- • socket网络通信
- • json模块
- • urlparse 解析URL
- • urllib 模块
- • urllib2 模块
- • robotparser 解析
- • Cookie 模块
- • smtplib 邮件
- • Base64 编码
- • xmlrpclib客户端
- • string 文本
- • Queue 线程安全
- • math数学计算
- • linecache缓存
- • threading多线程
- • sqlite3数据库
- • gzip压缩解压
最新内容 NEWS
- • django app提供pv信息的方法是什么
- • Django项目版本升级如何操作?
- • django较多数据传递如何优雅的呈现
- • django1.7获取参数问题求助
- • Django1.7使用内置comment遇到问题
- • python mysql数据库做insert操作时报_mysql_ex
- • 关于python mysql的duplicate insert机制的疑问
- • pymongo使用insert函数批量插入被中断要怎么
- • Python程序员解决棘手问题的常用库
- • 求助关于restfull api接口几个问题
图文精华 RECOMMEND
-
django1.7获取参数问题求助
-
Python程序员解决棘手问题的常用库
-
求问str()同__str__原理上有什么不同
-
scrapy框架里面用link extractor怎么能
-
python {}.fromkeys创建字典append添加操
-
python3 类型Type str doesn't support th
热点文章 HOT
- 学习Python有什么好的书籍推荐?
- Python匿名函数 Lambda表达式作用
- Python与Java、C、Ruby、PHP等编程语言有什么
- Python 正则中文网页字符串提取问题
- 如何为实时性应用存取经纬度?django my
- 想用python做个客户端,在二维码登录这个地
- 有让IDE可识别Python函数参数类型的方法吗
- Python字符串转换成列表正则疑问