SIX Spark Streaming 编程初级实践

Flume 官网下载 Flume1.7.0 安装文件，下载地址如下： http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 下载后，把 Flume1.7.0 安装到 Linux 系统的“/usr/local/flume”目录下， ⑴解压安装包 1.cd ~/下载 2.sudo tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local # 将 apache-flume-1.7.0-bin.tar.gz 解压到/usr/local 目录下，这里一定要 加上-C 否则会出现归档找不到的错误 3.cd /usr/local 4.sudo mv ./apache-flume-1.7.0-bin ./flume #将解压的文件修改名 字为 flume，简化操作 5.sudo chown -R hadoop:hadoop ./flume #把/usr/local/flume 目录 的权限赋予当前登录 Linux 系统的用户，这里假设是 hadoop 用户 ⑵配置环境变量 1.sudo vim ~/.bashrc 然后在首行加入如下代码： 1.export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64; 2.export FLUME_HOME=/usr/local/flume 3.export FLUME_CONF_DIR=$FLUME_HOME/conf 4.export PATH=$PATH:$FLUME_HOME/bin 注意，上面的 JAVA_HOME，如果以前已经在.bashrc 文件中设置过，就不要重复添加 了，使用以前的设置即可。比如，以前设置得 JAVA_HOME 可能是“export JAVA_HOME=/usr/lib/jvm/default-java”，则使用原来的设置即可。接下来使环境变量生效： 1.source ~/.bashrc 修改 flume-env.sh 配置文件： 1.cd /usr/local/flume/conf 2.sudo cp ./flume-env.sh.template ./flume-env.sh 3.sudo vim ./flume-env.sh 打开 flume-env.sh 文件以后，在文件的最开始位置增加一行内容，用于设置 JAVA_HOME 变量：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64;

　　

注意，你的JAVA_HOME可能与上面的设置不一致，一定要根据你之前已经安装的Java 路径来设置，比如，有的机器可能是：

export JAVA_HOME=/usr/lib/jvm/default-java

　　

然后，保存 flume-env.sh 文件，并退出 vim 编辑器。 ⑶查看 flume 版本信息 1.cd /usr/local/flume 2. ./bin/flume-ng version #查看 flume 版本信息； 安装成功   注意：如果系统里安装了 hbase，会出现错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty。如果没有安装 hbase，这一步可以略过。 1.cd /usr/local/hbase/conf 2.sudo vim hbase-env.sh 1.#1、将 hbase 的 hbase.env.sh 的这一行配置注释掉,即在 export 前加一个# 2.#export HBASE_CLAsspATH=/home/hadoop/hbase/conf 3.#2、或者将 HBASE_CLAsspATH 改为 JAVA_CLAsspATH,配置如下 4.export JAVA_CLAsspATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/t ools.jar