微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Hadoop简易执行集群

操作

       1.配置Hadoop格式化
           NameNode 格式化
            su - hadoop
            cd /hadoop的路径/
            bin/hdfs namenode -format
        
        2.启动NameNode
           dxc
           hadoop-daemon.sh start namenode
        
        3.查看java进程
           jps
        
        4.slave 启动Datanode  
          dxc2
          hadoop-daemaon.sh start datanode
          jps
          dxc3
          hadoop-daemon.sh start datanode
          jps
        
        5.启动SecondaryNameNode
          hadoop-daemon.sh start secondarynamenode
          jps
        
        6.查看HDFS数据存放位置
          dxc
          ll dfs/
        
        7.查看HDFS的报告
          hdfs dfsadmin -report
        
        8.使用浏览器查看节点状态
           http://dxc:50070(页面中的 Overview)
           
        9.使用start-dfs.sh 命令启动 HDFS(这里需要配置 SSH 免密登录) 
        
        10.实践操作
          在HDFS文件系统中创建数据输入目录
          start-yarn.sh
          jps
        
        11.hdfs dfs -mkdir /input
             hdfs dfs -ls /
        
        12.在/input/下创建一个data.txt
             touch data.txt
             cat /input/data.txt
             hello  Word
             hello hadoop
             hello dxc
        
        13.将数据文件复制到HDFS的/input 目录中
            hdfs dfs -put 文件路径 /HDFS的input路径
        
        14.确认已成功复制
            hdfs dfs -ls /input
        
        15.创建 output 目录
            hdfs dfs -mkdir /output
        
        16.查看消息
            hdfs dfs -ls /
        
        17.删除 output目录
            hdfs dfs -rm -r -f /output
        
        18.执行运行 WordCount
            hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input/data.txt /output
            
        19.页面查看
            http://dxc:8088

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐