玩蛇网提供最新Python编程技术信息以及Python资源下载!
django网站项目展示大全

Python爬取ajax网页浏览器跳转请教

比如下面这个网站:
http://www.ncbi.nlm.nih.gov/pubmed?term=%28%222013%22%5BDate%20-%20Publication%5D%20%3A%20%222013%22%5BDate%20-%20Publication%5D%29
筛选了2013年发表的论文。

1.第一页只显示了20篇,总共有1132539篇
2.我点击next后,网页显示的是第二页的内容。这时url会变成http://www.ncbi.nlm.nih.gov/pubmed
3.再点击next,显示第三页的内容,这时url还是http://www.ncbi.nlm.nih.gov/pubmed
......

而如果你复制这个地址:http://www.ncbi.nlm.nih.gov/pubmed,浏览器并不会跳到第2/3/4...页。

我咨询了一个同学,他说这是用ajax处理的,但具体如何爬取剩下的内容他也不知道。

那么如何爬取所有的内容?(当然第一页的内容很简单,我已经爬取出来了)
先谢谢各位了。

ps:我使用的是beautifulsoup+requests

直接对ajax的api爬数据就好了,你所说的爬的url,只是从用户角度来模拟的

上面几位提到的直接查看发起的请求,然后分析请求的规律,猜出请求的接口是如何设计的,这样的话,比爬取HTML页面更快,但是有一个问题,就是有可能人家接口的调用方式你不一定能完全猜测出来,为了更高的成功率(对于我的业务来讲,速度不是最主要的,虽然他也很重要),我使用过两种方式,可以爬取几乎任何网站任何形式的内容。

Chrome 浏览器用来成为我整个爬取的底层技术,我的插件则用来控制浏览器,服务器端发起一次爬取请求,插件收到之后,使用Chrome打开网页,然后直接抓取网页上面的验证码图片,如果我判断出网站是要求手机验证的,那么就直接点击一下发送验证码(插件直接发起一次点击事情),这个时候,服务器端则通知用户端输入(若是图片验证码,客户端也会直接显示出来),然后提交,插件将用户提交的数据填写到打开的网页中,点击提交。

因为网页就是浏览器打开的,所以,爬取任何数据都不是问题了。

我看了你提供的网站

发现点击分页他会向 http://www.ncbi.nlm.nih.gov/pubmed/ 发送一个post请求

form 参数如下


p$l:AjaxServer portlets:id=relevancesortad:sort=;id=timelinead:blobid=NCID_1_16149236_130.14.18.34_9001_1423579985_273829824_0MetA0_S_MegaStore_F_1:yr=:term=(%222013%22%5BDate%20-%20Publication%5D%20%3A%20%222013%22%5BDate%20-%20Publication%5D);id=pmcommonsad:page=none;id=reldata:db=pubmed:querykey=1;id=searchdetails;id=recentactivity load:yes ncbi_phid:396905D24DA1BD3100000000002DE6E2

你可以用nodejs先渲染页面,然后再进行解析渲染的页面。

直接用开发者工具看浏览器发送的请求

beautifulsoup只能获得静态html,不能模拟界面操作。

你的需求,可以用selenium webdriver来实现。selenium webdriver可以模拟浏览器操作,比如你的需求,只要用webdriver的接口,找到下一页按钮的DOM节点,给它发送点击事件,就可以了。

玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd18831.html

相关文章 Recommend

玩蛇网Python互助QQ群,欢迎加入-->: 106381465 玩蛇网Python新手群
修订日期:2017年05月31日 - 11时27分17秒 发布自玩蛇网

您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules