玩蛇网提供最新Python编程技术信息以及Python资源下载!

求Python爬虫如何鉴别网页语言的方法

因定制内容较多,暂时无发现现有爬虫框架满足要求,所以需要自己写(用redis做队列)。
我的问题是在爬虫得到一个网页之后,怎么识别出这个网页是否为中文网页

用 Google Chrome 的识别算法吧,支持 HTML,有 Python 绑定

正则取出中文字符,看看在整个页面上的占比

首先取响应头里的编码,
如果是几种中文编码之一,则认为中文网页,
如果不是中文编码, 也不是几种unicode方案之一, 则不是中文.
否则再在<head>标签里找 charset ,
如果有并且为几种中文编码之一, 则是中文
如果不是中文编码, 也不是几种unicode方案之一, 则不是中文.
否则对body的内容(如果考虑性能问题,可以不对整个body,只对前N个字节)用正则洗标签
过滤所有ASCII码字符, 剩余部分按字取内码,
如果考虑性能问题其实取第一个字符就可以了,
如果性能不重要,可以多采样几个(防止一个页面有中文日文等各种文字混合)
判断采到的字符的内码是否位于中文unicode区域.

(PS: 如果性能非常不重要, 只是要代码简单, 那么做法可以: 正则 [^\x00-\xff] 这样可以取到第一个不是ASCII的字符, 判断这个字符是否是中文字符就可以了)

检查网页编码,看看有没有对应编码的中文字符。

过了N久,今天总算有时间实验一下了。下面是我综合@依云 和@Syeerzy 的解决方案,谢谢大家的回答。

#! /usr/bin/env python
# -*- encoding: utf-8 -*-
import requests
import cld2

class Detector(object):
    zh_cn_encodes = ('gbk', 'gb2312', 'gb18030')
    def __init__(self, context):
        self.context = context

    def is_zh_cn_encoding(self, ctype):
        ctype = ctype.lower()
        for ec in self.zh_cn_encodes:
            if ec in ctype:
                return True
        return False

    def detect(self):
        assert type(self.context) == type(u''), 'detect unicode string only'
        ret = cld2.detect(self.context.encode('utf-8'))
        return ret[2][0][1] == 'zh'

    def url_detect(self):
        r = requests.get(self.context)
        assert r.status_code == 200, 'http code 200 is required'
        ctype = r.encoding
        if ctype and self.is_zh_cn_encoding(ctype):
            return True
        else:
            self.context = r.text
            return self.detect()

if __name__ == '__main__':
    print Detector(u'短中文有bug').detect()
    print Detector(u'网页文件一般没问题').detect()
    print Detector(u'これは日本で').detect()
    url = 'http://segmentfault.com/q/1010000000432652'
    print Detector(url).url_detect()
    url = 'https://code.google.com/p/chromium-compact-language-detector/source/browse/README'
    print Detector(url).url_detect()

输出是

False
True
False
True
False

我想我的博客是一个会让大多数检测“失效”的站点:http://tangzx.qiniudn.com/

因为我的 html 里完全没有中文字符,html 全是 ascii 字符,ascii 字符外的内容,都用 html 的 entity(&#entity_number; 或者 &#xentity_number_hex)表示了。比如源码里的“Koans | &#21587;&#35821;”其实就是“Koans | 呓语”。

我这么做的好处是不用再指定语言,全部 utf-8 解决。只要对方装了相应的字体,就能显示出来。

玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd19729.html

相关文章 Recommend

玩蛇网Python互助QQ群,欢迎加入-->: 106381465 玩蛇网Python新手群
修订日期:2017年05月31日 - 10时45分46秒 发布自玩蛇网

您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules