玩蛇网提供最新Python编程技术信息以及Python资源下载!

分析网页内容是否可以被python爬虫抓取的判断应该怎么写?

用Python27些爬虫,想要爬取一些网站,我需要判断网页是否可以爬取,第一反应是通过状态码来判断,但是写完运行后发现有许多目标网站访问它不存在的页面时会返回一个404错误页面,可他的状态码却是200,结果爬回来好多根本就不存在的页面。这个本来是网站设置的问题,但是现在也不能用状态码来判断了,请问还有什么方法可以正确判断一个页面是不是404该不该爬?

就算是页面状态码200,返回的404页面,应该和正常能爬取的页面html有不同的html元素吧,根据有没有特定的html元素来判断是不是404页面也行的

首先, 200 状态码,是网络连接状态, 所以你只判断200并不能满足所有网站。

其次, 写爬虫嘛, 你应该实际去看看这些网站的规则是什么,可以先人工判断下, 找找规律, 比如看看网页返回内容是不是有什么特点之类的。

做个网页内容的判断,如果他网页里面没有内容就直接返回。

玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd13812.html

相关文章 Recommend

玩蛇网Python互助QQ群,欢迎加入-->: 106381465 玩蛇网Python新手群
修订日期:2017年05月19日 - 12时18分09秒 发布自玩蛇网

您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules