大数据的框架-流程梳理

大数据技术栈

  存储  HDFS  Hbase
  资源管理和协调 YARN Zookeeper
  计算： Hive  Spark  Flink
   其他： ES redis 

框架系统构成

  配置
  执行目录
  文件构成
  日志系统
  服务
 01.配置
    hadoop/etc/hadoop/hdfs-site.xml
    hbase/conf/hbase-site.xml
    /etc/redis/redis.conf
 02.日志
    hadoop/logs/hadoop-evs-namenode-evs-xps.log
 03.启动
    hadoop/sbin/start-all.sh
    hadoop/sbin/stop-all.sh
    hbase/bin/start-hbase.sh
        hbase/bin/start-hbase.sh
        hbase/bin/hbase-daemon.sh start regionserver
 04.运行
     hadoop/bin/hdfs
     /usr/bin/redis-server
 05.服务
  jps
    HDFS： NameNode  SecondaryNameNode  datanode
    YARN： ResourceManager
    Hbase： HMaster  HRegionServer HQuorumPeer  
  服务：
     systemctl status redis

具体

 构成组件
 基本功能
 启动流程-执行流程-启动的服务
 文件系统

大数据详情

  配置和命令

1.Hadoop

 hadoop fs -du -s -h /test
  hadoop fs -ls   /test
  -s, --summarize       display only a total for each argument
  -h, --human-readable
  -d, --max-depth=N 
 'hadoop-env.sh' 中 JAVA_HOME= 的配置
    ls  /usr/lib/jvm
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/jre