玩蛇网提供最新Python编程技术信息以及Python资源下载!

问一个关于Hadoop Python中读写文件统计分析相关问题

假设我有一个文件A包含一些词(大概有1000多个词),另外5个文件S包含的都是句子(大概有3-4亿个句子)。
现在我想统计出A文件中每个单词,在S文件中句子所包含数量,就是S文件中有几个句子包含指定单词。
那么我在编写mapper.py中应该怎样输入这两类文件呢?

关于这个python问题下面这么写可以吗?

#! /usr/bin/env python
#encoding=utf-8

import sys 

f = file("words.txt")
for word in f.readlines():  # 每行包含一个单词                                           
    for line in sys.stdin:  # 从HDFS中读入包含句子的文件,每一行包含一个句子
            if word in line.strip():
                print '%s\t%s' % (word,1)

将文件A作为输入,Mapper中读文件。
下面是在Hadoop2下的代码(测试通过)。

mapper.py:

#! /usr/bin/env python
import sys

with open('A') as f:
    words = [w.strip() for w in f]

for line in sys.stdin:
    for w in words:
        if w in line:
            print '%s\t%s' % (w, 1)

reducer.py:

#! /usr/bin/env python
import sys
from itertools import groupby

def yield_stdin():
    for line in sys.stdin:
        yield line.rstrip().split('\t', 1)

for k, rows in groupby(yield_stdin(), lambda x: x[0]):
    count = sum(int(v) for _, v in rows)
    print '%s\t%d' % (k, count)

运行任务:

HADOOP_HOME=/usr/local/hadoop
$HADOOP_HOME/bin/hadoop fs -put S S
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming*.jar \
    -file mapper.py -mapper mapper.py \
    -file reducer.py -reducer reducer.py \
    -file A \ # 重要
    -input S -output count_lines

关于Hadoop之前的版本,需要修改hadoop-streaming-x.x.x.jar的位置。

玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd19537.html

相关文章 Recommend

玩蛇网Python互助QQ群,欢迎加入-->: 106381465 玩蛇网Python新手群
修订日期:2020年08月03日 - 14时29分37秒 发布自玩蛇网

您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules