Python设置代理求助关于爬虫调用requests配置
空壳代码:
# -*- utf-8 -*-
import requests
s = requests.session()
login_data = {'email': 'myEmail', 'password': 'psw'}
s.post('https://www.facebook.com/', login_data)
r = s.get('http://www.facebook.com/people/someone/followers')
print r.text.encode('utf-8')
稍加修改就能在知乎上爬数据,但无法对facebook使用
requests如何设置代理?
OS X GoAgentX 全局代理
根据码友的提示:
import requesocks as requests
session = requests.session()
session.proxies = {'http': 'socks5://127.0.0.1:8087',
'https': 'socks5://127.0.0.1:8087'}
resp = session.get('https://www.facebook.com/', auth=('myEmail', 'psw'))
print(resp.text)
要确定你的代理是可用的,我用的是Goagent,下面的代码测试通过了.
#!/usr/bin/env python2.7
# -*- utf-8 -*-
import requests
import re
s = requests.Session()
proxies = {
'http': 'http://127.0.0.1:8087',
'https': 'http://127.0.0.1:8087',
}
login_data = {
'email': 'youxiassssssssssssssssssssssss@163.com',
'pass': 'mima',
}
r = s.get('https://www.facebook.com/login.php?login_attempt=1', proxies=proxies, verify=False)
lgm = re.search('name="lgnrnd" value="([^"]+)"', r.content, re.I | re.S)
lsm = re.search('name="lsd" value="([^"]+)"', r.content, re.I | re.S)
if lgm is None or lsm is None:
print 'cannot get form param: lgnrnd or lsd'
else:
login_data.update({'lgnrnd': lgm.group(1), 'lsd': lsm.group(1)})
l = s.post('https://www.facebook.com/login.php?login_attempt=1', params=login_data, proxies=proxies, verify=False)
m = re.search('sk=welcome', l.content, re.I | re.S)
if m is not None:
print 'login success.'
else:
print 'login failed.'
早上起来过来看看. 还是没解决啊.
你这个问题如我在我评论提示的, "http://127 改成 socks5://127 试下", 这个goagent其实是socks5的代理类型,而requests不支持socks5.
原本以为requests已经打了这个补丁, https://github.com/kennethreitz/requests/pull/478
没想到最新版2.3还是不支持.
有个workaround.
我这边没goagent,用的是 ssh -qTfnN -D 1234 root@myip. 不过都一样啦
安装这个东西 pip install PySocks
# -*- utf-8 -*-
import requests
import socket
import socks
socks.set_default_proxy(socks.SOCKS5, "127.0.0.1",1234)
socket.socket = socks.socksocket
r = requests.get('http://www.telize.com/geoip')
print r.text.encode('utf-8')
希望下次提问题时能尽可能提供更多的信息. "不行"是最糟糕的描述, 起码附上python错误提示吧
玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd19678.html
相关文章 Recommend
- • 2019年3月最新消息: Python 3.4.10 现已推出
- • [上海]招Python量化系统开发工程师
- • 优集品网络科技有限公司招Python中/高级工程师
- • 爱因互动科技发展有限公司招募Python开发攻城狮
- • mozio招聘Python/Django工程师
- • Kavout金融科技公司招Python研发工程师
- • Python数组逆向输出,编程练习题实例四十
- • Python数组插入排序,编程练习题实例三十九
- • Python矩阵for循环应用,编程练习题实例三十八
- • Python操作Redis数据库方面的问题
- • 请python高手帮我看看这段python代码中函数setter的
- • Python什么方法可以快速将两个队列变成字典
您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:
必知PYTHON教程 Must Know PYTHON Tutorials
- • python 解释器
- • python idle
- • python dir函数
- • python 数据类型
- • python type函数
- • python 字符串
- • python 整型数字
- • python 列表
- • python 元组
- • python 字典
- • python 集合
- • python 变量
- • python print
- • python 函数
- • python 类定义
- • python import
- • python help
- • python open
- • python 异常处理
- • python 注释
- • python continue
- • python pass
- • python return
- • python global
- • python assert
- • python if语句
- • python break
- • python for循环
- • python while循环
- • python else/elif
- • lambda匿名函数
必知PYTHON模块 Must Know PYTHON Modules
- • os 模块
- • sys 模块
- • re 正则表达式
- • time 日期时间
- • pickle 持久化
- • random 随机
- • csv 模块
- • logging 日志
- • socket网络通信
- • json模块
- • urlparse 解析URL
- • urllib 模块
- • urllib2 模块
- • robotparser 解析
- • Cookie 模块
- • smtplib 邮件
- • Base64 编码
- • xmlrpclib客户端
- • string 文本
- • Queue 线程安全
- • math数学计算
- • linecache缓存
- • threading多线程
- • sqlite3数据库
- • gzip压缩解压
最新内容 NEWS
- • python mysql数据库做insert操作时报_mysql_ex
- • 关于python mysql的duplicate insert机制的疑问
- • pymongo使用insert函数批量插入被中断要怎么
- • Python程序员解决棘手问题的常用库
- • 求助关于restfull api接口几个问题
- • qiniu pythonsdk提示ImportError错误求解
- • 问一个关于Hadoop Python中读写文件统计分析
- • 求问str()同__str__原理上有什么不同,分别在
- • 大神帮忙看下20行的python代码,文件io和数
- • python 爬虫爬wiki 报错 [Errno 65] No route to
图文精华 RECOMMEND
-
Python程序员解决棘手问题的常用库
-
求问str()同__str__原理上有什么不同
-
scrapy框架里面用link extractor怎么能
-
python {}.fromkeys创建字典append添加操
-
python3 类型Type str doesn't support th
-
python里面为什么系统的时区是东八
热点文章 HOT
- 学习Python有什么好的书籍推荐?
- Python匿名函数 Lambda表达式作用
- Python与Java、C、Ruby、PHP等编程语言有什么
- Python 正则中文网页字符串提取问题
- 如何为实时性应用存取经纬度?django my
- 想用python做个客户端,在二维码登录这个地
- 有让IDE可识别Python函数参数类型的方法吗
- Python字符串转换成列表正则疑问