玩蛇网提供最新Python编程技术信息以及Python资源下载!

Python源码中爬虫没效果问题出在哪里

item.py

python-*- coding: utf-8 -*
import scrapy
class BokeItem(scrapy.Item):
    url=scrapy.Field()
    title=scrapy.Field()
    content=scrapy.Field()

boke_spider.py

python-*- coding: utf-8 -*-
from scrapy.contrib.spiders import CrawlSpider ,Rule
from scrapy.contrib.linkextractors import LinkExtractor
from boke.items import BokeItem

class BokeItem(CrawlSpider):
    name = 'blog'
    start_urls =['http://blog.sina.com.cn/s/blog_4701280b0102eo83.html']

    def parse_torrent(self,response):
        torrent=BokeItem()
        torrent['url']=response.url
        torrent['title']=response.xpath("//h2[@class='titName SG_txta']/text()").extract()[0]
        torrent['content']=response.xpath("//div[@style='min-height:22px']/text()").extract()[0]
        return  torrent

试试看看这个博客,专门针对scrapy

试试去看看官方doc

from scrapy.contrib.spiders import CrawlSpider ,Rule

你调用的是CrawlSpider类,但是显然没有写任何的规则

建议改为Spider类,并将parse_torrent改名为parse,如下:

from scrapy.contrib.spiders import Spider
from boke.items import BokeItem
class BokeItem(Spider):

玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd19147.html

相关文章 Recommend

玩蛇网Python互助QQ群,欢迎加入-->: 106381465 玩蛇网Python新手群
修订日期:2017年05月24日 - 19时05分21秒 发布自玩蛇网

您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules