python爬虫运行一段时间后,返回403 forbidden原因是什么
恩。我最近在弄个爬虫的程序,主要是弄来玩玩
是用python写的程序。目前遇到的问题是爬虫爬一会儿就会被返回
403 forbidden
这时,我依然可以使用浏览器访问该网页(爬虫处理到的页面)
于是我想到了修改USER-AGENT来伪装浏览器访问的效果
但是依旧是程序403,且浏览器可以访问。
请问,这是怎么回事,有什么办法可以解决吗?谢谢!
关于连接部分的代码是这样:(python3)
import urllib.request req = urllib.request.Request('http://www.xxx.com') req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; rv:7.0) Gecko/20100101 Firefox/7.0") rec = urllib.request.urlopen(req).read().decode('utf8')
然后就会返回403了
谢谢!
短时间里访问次数过多造成的,设置规则,隔段时间访问
跟你的USER-AGENT没什么关系,一般网站都会自动屏蔽一段时间内访问量过大的ip。所以你有两个解决方案
- 慢点抓,设置一个sleep时间,隔一段时间访问一次
- 使用多个服务器抓取,这样可以有多个ip,不过访问速度也不要太快了
一般网站没什么可能会用USER-AGENT来过滤的,但爬虫要尽量模拟浏览器的行为直到可以达到目的,python已经内建支持很多浏览器的特性了.下面是我用来抓某个需要登录的网站的代码,用了cookielib.
cj = cookielib.MozillaCookieJar(cookiefile) opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) data ={'csrfmiddlewaretoken' : '', 'username' : username, 'password' : password, 'login' : '登录', 'continue' : 'home', 'u' : '1', 'next' : '' } url="/accounts/login/" request = urllib2.Request(__get_full_url(url)) response = opener.open(request) for cookie in cj: if cookie.name == 'csrftoken': data['csrfmiddlewaretoken'] = cookie.value break params = urllib.urlencode(data)#不能直接处理<unicode> objects request = urllib2.Request(__get_full_url(url),data=params) opener.open(request) #保存登录状态,然后可以用这个opener,想干嘛就干嘛 cj.save(ignore_discard=True, ignore_expires=True)#保存cookie方便下次使用
当然具体案例要具体分析,善用抓包工具,推荐wireshark,留意header,cookie,post,有些网站会利用重定向的时候设置cookie.再不行就分析js代码.
到这一步大多数网站都逃不过你初有所成的咸猪手了.
如果有验证码,哈哈,那就修炼pyBrain吧.祝你早日炼成盖世咸猪手.
请问 怎么解决 页面资料分页的问题。
玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd20157.html
相关文章 Recommend
- • 2019年3月最新消息: Python 3.4.10 现已推出
- • [上海]招Python量化系统开发工程师
- • 优集品网络科技有限公司招Python中/高级工程师
- • 爱因互动科技发展有限公司招募Python开发攻城狮
- • mozio招聘Python/Django工程师
- • Kavout金融科技公司招Python研发工程师
- • Python数组逆向输出,编程练习题实例四十
- • Python数组插入排序,编程练习题实例三十九
- • Python矩阵for循环应用,编程练习题实例三十八
- • Python操作Redis数据库方面的问题
- • 请python高手帮我看看这段python代码中函数setter的
- • Python什么方法可以快速将两个队列变成字典
必知PYTHON教程 Must Know PYTHON Tutorials
- • python 解释器
- • python idle
- • python dir函数
- • python 数据类型
- • python type函数
- • python 字符串
- • python 整型数字
- • python 列表
- • python 元组
- • python 字典
- • python 集合
- • python 变量
- • python print
- • python 函数
- • python 类定义
- • python import
- • python help
- • python open
- • python 异常处理
- • python 注释
- • python continue
- • python pass
- • python return
- • python global
- • python assert
- • python if语句
- • python break
- • python for循环
- • python while循环
- • python else/elif
- • lambda匿名函数
必知PYTHON模块 Must Know PYTHON Modules
- • os 模块
- • sys 模块
- • re 正则表达式
- • time 日期时间
- • pickle 持久化
- • random 随机
- • csv 模块
- • logging 日志
- • socket网络通信
- • json模块
- • urlparse 解析URL
- • urllib 模块
- • urllib2 模块
- • robotparser 解析
- • Cookie 模块
- • smtplib 邮件
- • Base64 编码
- • xmlrpclib客户端
- • string 文本
- • Queue 线程安全
- • math数学计算
- • linecache缓存
- • threading多线程
- • sqlite3数据库
- • gzip压缩解压
最新内容 NEWS
- • Python程序员解决棘手问题的常用库
- • 求助关于restfull api接口几个问题
- • qiniu pythonsdk提示ImportError错误求解
- • 问一个关于Hadoop Python中读写文件统计分析
- • 求问str()同__str__原理上有什么不同,分别在
- • 大神帮忙看下20行的python代码,文件io和数
- • python 爬虫爬wiki 报错 [Errno 65] No route to
- • python续点上传问题None bad token...
- • python3环境下文本中超链接出错,要如何修
- • Python环境保存操作思路问题求助
图文精华 RECOMMEND
-
Python程序员解决棘手问题的常用库
-
求问str()同__str__原理上有什么不同
-
scrapy框架里面用link extractor怎么能
-
python {}.fromkeys创建字典append添加操
-
python3 类型Type str doesn't support th
-
python里面为什么系统的时区是东八
热点文章 HOT
- 学习Python有什么好的书籍推荐?
- Python匿名函数 Lambda表达式作用
- Python与Java、C、Ruby、PHP等编程语言有什么
- Python 正则中文网页字符串提取问题
- 如何为实时性应用存取经纬度?django my
- 想用python做个客户端,在二维码登录这个地
- 有让IDE可识别Python函数参数类型的方法吗
- Python字符串转换成列表正则疑问