Hadoop实验环境与资料说明

Hadoop实验准备工作

• • 一、实验环境
  • 二、两种依赖引入方式
  • 三、安装约定

说明：

将实训所需的资料和实验所需依赖放在该文章内，便于以后查看！

一、实验环境

---

• 虚拟机：VMware/VirtualBox
• Centos7镜像：CentOS-7-x86_64-DVD-1511.iso
• JDK： jdk-8u171-linux-x64.tar.gz （建议与我保持一致）
• Hadoop：hadoop-2.7.3.tar.gz（建议与我保持一致）
• 连接工具：MobaXterm_Portable 或FinalShell（可选）
• 开发工具：IDEA
• 所需软件（除IDEA外）下载路径：

  链接：https://pan.baidu.com/s/1BYaMskazxKYheZa3GFRkZg
  提取码：98c0
  

二、两种依赖引入方式

---

1. Maven方式进行引入（建议使用）
   在pom.xml中需要引入的依赖如下所示：

    <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-common</artifactId>
       <version>2.7.3</version>
   </dependency>
   <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-hdfs</artifactId>
       <version>2.7.3</version>
   </dependency>
   <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-mapreduce-client-common</artifactId>
       <version>2.7.3</version>
   </dependency>
   <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-mapreduce-client-core</artifactId>
       <version>2.7.3</version>
   </dependency>
   

2. 导入外部jar包方式
   maven无法添加依赖需要手动导入依赖包如下：

     $HADOOP_HOME/share/hadoop/common
     $HADOOP_HOME/share/hadoop/common/lib
     $HADOOP_HOME/share/hadoop/hdfs
     $HADOOP_HOME/share/hadoop/hdfs/lib
     $HADOOP_HOME/share/hadoop/mapreduce
     $HADOOP_HOME/share/hadoop/mapreducel/lib
     $HADOOP_HOME/share/hadoop/yarn
     $HADOOP_HOME/share/hadoop/yarn/lib
   

   $HADOOP_HOME是Hadoop安装路径下或者解压路径
上述会存在一些相同的包，复制到工程lib中时选择覆盖即可

三、安装约定

---

实验时，为避免大家少出错和节省大家时间，建议所有实验环境尽可能保持与我一致。另外，鉴于教授两届学生所得到的经验，大家对于Linux的相关操作几乎都不太熟悉，故做如下约定：

1. 软件安装时使用root用户进行安装（生产环境谨慎）
2. 软件程序包所在路径为：/tools（需事先创建）
3. 软件安装的路径为：/training（需要事先创建）

希望大家都能一起学习，相互交流，共同成长，着眼当下，未来可期，学无止境，努力成为心之所想的人吧！！！！