微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

大数据环境: hadoop和jdk部署

系统环境:

                CentOS7.9

关闭:    

                selinux、firewalld

软件版本:

               jdk-16_linux-x64 

               hadoop-2.10.1      

一、创建两个目录

mkdir -p /opt/software

mkdir -p /opt/module

二、上传hadoop-2.10.1和jdk-16_linux-x64到/opt/software目录

image.png

三、解压缩包

tar -xvf /opt/software/jdk-16_linux-x64_bin.tar.gz -C /opt/module/

tar -xvf /opt/software/hadoop-2.10.1.tar.gz -C /opt/module/


四、配置jdk、hadoop的环境变量

image.png

image.png

五、将新增加的环境变量参数载入系统生效

source /etc/profile

六、配置hadoop软件里的调用路径

vim /opt/module/hadoop-2.10.1/etc/hadoop/hadoop-env.sh

image.png


七、单机模式已经配置好了,启动一个统计文件试试

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount /test_data/test.txt /home/test1.txt

image.png


八、查看统计结果

cat /home/test1.txt/part-r-00000

image.png




版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐