Python爬取ajax网页浏览器跳转请教

比如下面这个网站：
http://www.ncbi.nlm.nih.gov/pubmed?term=%28%222013%22%5BDate%20-%20Publication%5D%20%3A%20%222013%22%5BDate%20-%20Publication%5D%29
筛选了2013年发表的论文。

1.第一页只显示了20篇，总共有1132539篇
2.我点击next后，网页显示的是第二页的内容。这时url会变成http://www.ncbi.nlm.nih.gov/pubmed
3.再点击next，显示第三页的内容，这时url还是http://www.ncbi.nlm.nih.gov/pubmed
......

而如果你复制这个地址:http://www.ncbi.nlm.nih.gov/pubmed，浏览器并不会跳到第2/3/4...页。

我咨询了一个同学，他说这是用ajax处理的，但具体如何爬取剩下的内容他也不知道。

那么如何爬取所有的内容？（当然第一页的内容很简单，我已经爬取出来了）
先谢谢各位了。

ps:我使用的是beautifulsoup+requests

直接对ajax的api爬数据就好了，你所说的爬的url，只是从用户角度来模拟的
上面几位提到的直接查看发起的请求，然后分析请求的规律，猜出请求的接口是如何设计的，这样的话，比爬取HTML页面更快，但是有一个问题，就是有可能人家接口的调用方式你不一定能完全猜测出来，为了更高的成功率（对于我的业务来讲，速度不是最主要的，虽然他也很重要），我使用过两种方式，可以爬取几乎任何网站任何形式的内容。
Chrome 浏览器用来成为我整个爬取的底层技术，我的插件则用来控制浏览器，服务器端发起一次爬取请求，插件收到之后，使用Chrome打开网页，然后直接抓取网页上面的验证码图片，如果我判断出网站是要求手机验证的，那么就直接点击一下发送验证码（插件直接发起一次点击事情），这个时候，服务器端则通知用户端输入（若是图片验证码，客户端也会直接显示出来），然后提交，插件将用户提交的数据填写到打开的网页中，点击提交。
因为网页就是浏览器打开的，所以，爬取任何数据都不是问题了。
我看了你提供的网站
发现点击分页他会向 http://www.ncbi.nlm.nih.gov/pubmed/ 发送一个post请求
form 参数如下
p$l:AjaxServer portlets:id=relevancesortad:sort=;id=timelinead:blobid=NCID_1_16149236_130.14.18.34_9001_1423579985_273829824_0MetA0_S_MegaStore_F_1:yr=:term=(%222013%22%5BDate%20-%20Publication%5D%20%3A%20%222013%22%5BDate%20-%20Publication%5D);id=pmcommonsad:page=none;id=reldata:db=pubmed:querykey=1;id=searchdetails;id=recentactivity load:yes ncbi_phid:396905D24DA1BD3100000000002DE6E2
你可以用nodejs先渲染页面，然后再进行解析渲染的页面。
直接用开发者工具看浏览器发送的请求
beautifulsoup只能获得静态html，不能模拟界面操作。
你的需求，可以用selenium webdriver来实现。selenium webdriver可以模拟浏览器操作，比如你的需求，只要用webdriver的接口，找到下一页按钮的DOM节点，给它发送点击事件，就可以了。

玩蛇网文章，转载请注明出处和文章网址：https://www.iplaypy.com/wenda/wd18831.html