博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
【Spark亚太研究院系-构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)
阅读量:7014 次
发布时间:2019-06-28

本文共 898 字,大约阅读时间需要 2 分钟。

hot3.png

2.安装rsync

我们的Ubuntu 12.10版本默认安装了rsync,我们可以通过以下命令来安装或者更新rsync

145958_zi3e_1791057.png

3.安装hadoop,家林把下载下来的最新稳定版本的hadoop保存在电脑本地的以下位置:

145958_MVTd_1791057.png

创建/usr/local/hadoop目录并把下载下来的Hadoop解压/usr/local/hadoop中:

145958_0B1r_1791057.png

145959_jAs4_1791057.png

4.在hadoop-env.sh配置Java安装信息.

进入/usr/local/Hadoop/Hadoop-1.2.1/conf

145959_GD22_1791057.png

打开hadoop-env.sh:

145959_QVmi_1791057.png

按下回车即可进入该配置文件:

150000_BqEV_1791057.png

在前面我们安装Java的时候把Java安装在了“/usr/lib/java/jdk1.7.0_60”,此时我们在hadoop-env.sh配置文件加入如下配置信息

150000_sxJO_1791057.png

保存退出.

使用source命令使hadoop-env.sh配置信息生效:

150001_AU6W_1791057.png

此时Hadoop的单机模式配置成功!

为了方便我们在开机启动后也可以立即使用Hadoop的bin目录下的相关命令,可以把bin目录配置到“~/.bashrc”文件中,此时开启启动后系统自动读取“~/.bashrc”文件的内容,我就就可以随时使用Hadoop的命令了:

150001_c9oZ_1791057.png

修改后的文件内容:

150001_NrVr_1791057.png

保存退出,使用下面的命令使配置生效:

150002_t4sd_1791057.png

5.验证Hadoop的版本信息,使用“hadoop version”命令即可:

150002_Jrq0_1791057.png

6.运行Hadoop自带的WordCount例子:

首先在hadoop的目录下创建一个input目录并把conf下的所有文件copy到该目录下,需要如下命令即可:

150003_7iZS_1791057.png

使用hadoop命令运行自带的wordcount程序并把结果输出到output中:

150003_nvhx_1791057.png

运行过程如下:

150350_qc6a_1791057.png

一直运行知道完成(因为运行过程有些长,中间省略了一些运行过程,只截取了开始和结束部分):

150604_0Gve_1791057.png

查看运行结果:

150604_IvfW_1791057.png

该命令执行后即显示出Wordcount运行input中若干个文件中单词统计结果,如下所示(直截取了其中一部分):

150605_q6c3_1791057.png

至此,单机模式的构建、配置和运行测试彻底成功!

 

转载于:https://my.oschina.net/u/1791057/blog/301544

你可能感兴趣的文章
Tomcat启动脚本
查看>>
Exchange Server 2013 公网发布疑难解答
查看>>
mysql修改密码
查看>>
linux下的静态库和动态库分析
查看>>
2.1 Latches--锁存器 和 FlipFlops--触发器 part1
查看>>
fio 命令入门到跑路(千万不能在系统所在的分区测试硬盘性能)
查看>>
zabbix自动报警邮件正文变成附件问题解决
查看>>
第一篇博客
查看>>
豆瓣阿北:用户价值大于产品体验,通过产品做运营
查看>>
单播(unicast)、组播(multicast)、广播(broadcast)的区别
查看>>
我的友情链接
查看>>
利用clonezilla克隆、还原CentOS整个系统
查看>>
解决127.0.0.1 localhost 劫持问题
查看>>
关于硬盘的一切!
查看>>
人工智能落地之路:从概念验证到产品
查看>>
winscp连接虚拟机Linux被拒绝的问题解决方案
查看>>
教程-Delphi设置功能表
查看>>
node常用库或中间件
查看>>
关系运算图模板
查看>>
Java中的多线程,线程池
查看>>