请问Beautifulsoup抓取select标签中option文本方法是什么
我要抓取的页面的内容是在如下标签内的
<script language=javascript>parent.theZNPKT_CJJS1.innerHTML='<select id=T_CJJS1 name=T_CJJS1 style="HEIGHT: 20px;WIDTH:115"><option value=0000258>[0000789]Andrew</option></select>';</script>
我写的代码:
import urllib2
from bs4 import BeautifulSoup
url = 'xxx'
html = urllib2.urlopen(url)
soup = BeautifulSoup(html, from_encoding = 'gbk')
option = soup.findAll('option')
f = open("out.txt", "w")
print >> f, option
f.close()
print option
抓取出来的结果全都是 <option value="0000049">[0000049]ANNA</option>
这样的,我想提取 [0000049]ANNA 这个内容怎样做呀?
很多东西都不懂,经过搜索换了一种方法提取出来了。用的是正则的方法:
import urllib2
import re
url = 'xxx'
html = urllib2.urlopen(url).read()
patt = re.compile(r'<option.+?>(.+?)</option>')
option = patt.findall(html)
f = open("out.txt", "w")
for value in option:
print value
f.writelines(value + '\n')
f.close()
option也是个元素,不是属性,你是不是应该写为soup.findAll('select option')呢? 我太久没有用BeautifulSoup了,具体的不记得怎么写。
option = soup.findAll('option')
print option.string
你这个用BS还是很好的选择,之时在打印的时候选择.string就可以了。
例如:
soup = BeautifulSoup(html, from_encoding = 'gbk')
option = soup.findAll('option')
print option.string
1.你要抓取的option等内容,很明显,是标签script内部的内容(content/text)
-》 所以没法用BeautifulSoup当做标签(的属性)去抓取
2.想要当做属性处理
一种办法:
在获得你所说的:
<option value="0000049">[0000049]ANNA</option>
后,再去把(用html标签括起来)组合成html,然后再用BeautifulSoup去当做html处理
-> 就可以获得option这个标签了
-> 就可以获得option的string了
3.当然,对于你这样的情况,相对来说,用(你已经用了的)正则,比用bs,效率更高。
4.关于beautifulSoup,可参考:
玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd20073.html
相关文章 Recommend
- • 想转业学python,请问应该如何规划自己的学习计划
- • 怎么能保证python抓取页百标题的正确率
- • 请问python外部模块可以在Jinja2模板里使用吗?
- • 请问APNS推送消息条数有什么限制?最大一次能发多
- • Python对JS型数据抓取有什么特别好的方法吗
- • 请问Python语言中is与双等号==有什么区别及作用
- • 求python BeautifulSoup能获取到无标签文本的方法
- • Python当前目录有同名模块请问如何导入内置sock
- • 请问SAE用第三方提示:ImportError: No module named feed
- • python能实现区域找图功能吗?
- • flask项目结构一般是什么样式的?
- • 请问如何使urlretrieve运行一段时间后退出
必知PYTHON教程 Must Know PYTHON Tutorials
- • python 解释器
- • python idle
- • python dir函数
- • python 数据类型
- • python type函数
- • python 字符串
- • python 整型数字
- • python 列表
- • python 元组
- • python 字典
- • python 集合
- • python 变量
- • python print
- • python 函数
- • python 类定义
- • python import
- • python help
- • python open
- • python 异常处理
- • python 注释
- • python continue
- • python pass
- • python return
- • python global
- • python assert
- • python if语句
- • python break
- • python for循环
- • python while循环
- • python else/elif
- • lambda匿名函数
必知PYTHON模块 Must Know PYTHON Modules
- • os 模块
- • sys 模块
- • re 正则表达式
- • time 日期时间
- • pickle 持久化
- • random 随机
- • csv 模块
- • logging 日志
- • socket网络通信
- • json模块
- • urlparse 解析URL
- • urllib 模块
- • urllib2 模块
- • robotparser 解析
- • Cookie 模块
- • smtplib 邮件
- • Base64 编码
- • xmlrpclib客户端
- • string 文本
- • Queue 线程安全
- • math数学计算
- • linecache缓存
- • threading多线程
- • sqlite3数据库
- • gzip压缩解压
最新内容 NEWS
- • django app提供pv信息的方法是什么
- • Django项目版本升级如何操作?
- • django较多数据传递如何优雅的呈现
- • django1.7获取参数问题求助
- • Django1.7使用内置comment遇到问题
- • python mysql数据库做insert操作时报_mysql_ex
- • 关于python mysql的duplicate insert机制的疑问
- • pymongo使用insert函数批量插入被中断要怎么
- • Python程序员解决棘手问题的常用库
- • 求助关于restfull api接口几个问题
图文精华 RECOMMEND
-
django1.7获取参数问题求助
-
Python程序员解决棘手问题的常用库
-
求问str()同__str__原理上有什么不同
-
scrapy框架里面用link extractor怎么能
-
python {}.fromkeys创建字典append添加操
-
python3 类型Type str doesn't support th
热点文章 HOT
- 学习Python有什么好的书籍推荐?
- Python匿名函数 Lambda表达式作用
- Python与Java、C、Ruby、PHP等编程语言有什么
- Python 正则中文网页字符串提取问题
- 如何为实时性应用存取经纬度?django my
- 想用python做个客户端,在二维码登录这个地
- 有让IDE可识别Python函数参数类型的方法吗
- Python字符串转换成列表正则疑问