玩蛇网提供最新Python编程技术信息以及Python资源下载!

scrapy爬取list中所有项,只爬一个就结束了什么原因

问个问题,为啥我的scrapy在parse里面返回了Request的list,为啥还是只爬了第一个页面就结束了?
我没有处理Items,准备以后直接在parse函数里面存数据库的,跟这个有关系吗?

def parse(self, response):
        
        hxs = HtmlXPathSelector(response)
        result = []
        for div in hxs.select("//div[@class='box']//li//div[@class='bassex']"):
            item = PoiItem()
            item['name'] = div.select('.//a/text()')[0].extract()
            item['url'] = div.select('.//a/@href')[0].extract()
            item['tag'] = div.select('.//span[@class="ic"]/a/@title').extract()
            item['sence'] = div.select('.//p[last()]/a/text()').extract()
            print item
            result.append(item)
            
        urls = self.getUrls(hxs)
        reqList = []
        for url in urls:
            print 'push to Queue:'+ url
            self.doneSet[url] = True
            yield Request(url, callback=self.parse)

allow domain 写错了。。。。多加了http。。。找了一个小时

玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd20492.html

相关文章 Recommend

玩蛇网Python互助QQ群,欢迎加入-->: 106381465 玩蛇网Python新手群
修订日期:2017年05月24日 - 19时19分03秒 发布自玩蛇网

您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules