搜索
您的当前位置:首页正文

HadoopMapReduce操作统计词频

来源:尚车旅游网
HadoopMapReduce操作统计词频

1、 准备⽂件并设置编码格式为UTF-8并上传Linux

1)设置编码:⾸先打开⽂件点击左上⾓ ⽂件(F) 点击另存为并将编码(E)设置为UTF-8 然后保存(S)替换的原来的⽂件

2)⽤⼯具将⽂件上传就Linux

3)将⽂件上传⾄HDFS

2、 新建⼀个Java Project

JDK必须是1.7版本以后的否则不⽀持

3、 导⼊jar

导⼊好多jar包并Add to Build Path

4、 编写Map()和Reduce()

5、将代码输出成jar1) 将代码输出成jar

2) 将⽣成的jar上传⾄Linux

6、在linux中启动hdfs1) 启动hdfs

1) 将text⽂件上传到HDFS

7、修改两个配置⽂件

配置项中增加以下内容:

mapreduce.framework.name yarn

配置项中增加以下内容:

(参数解释:NodeManager上运⾏的附属服务。需配置成mapreduce_shuffle,才可运MapReduce程序)

yarn.nodemanager.aux-services mapreduce_shuffle 8、在linux中启动yarn

9、运⾏mapReduce

10、查看运⾏结果

因篇幅问题不能全部显示,请点此查看更多更全内容

Top