玩蛇网提供最新Python编程技术信息以及Python资源下载!
django网站项目展示大全

https类型网页python scrapy能爬取吗

想获得https://www.facebook.com/feeds/page.php?format=json&id=1433215316907826中的alternate,但是爬虫返回404的网页错误

用Scrapy对https是不行的,你可以用Facebook的SDK

https://github.com/pythonforfacebook/facebook-sdk

到最后发现是proxy的问题。线上测试就没问题

这有个用scrapy爬取https的解决方法:http://stackoverflow.com/questions/23958073/scrapy-not-scraping-https

玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd19066.html

相关文章 Recommend

玩蛇网Python互助QQ群,欢迎加入-->: 106381465 玩蛇网Python新手群
修订日期:2017年05月31日 - 11时18分46秒 发布自玩蛇网

您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules