4. 刷新设置，运行hadoop version 查看是否配置成功
source /etc/profile
5.1 修改 hadoop-env.sh mapred-env.sh yarn-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk
5.2 修改 core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/src/hadoop/data_tmp</value>
</property>
5.3 修改 hdfs-site.xml
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
5.4 修改 mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5.5 修改 yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
5.6 修改 slave
slave1
slave2
6、远程分发
7、格式化
hdfs namenode -format
8、启动hdfs和yarn
start-dfs.sh
start-yarn.sh
六、安装Hive
1、下载MysqL源安装包
sudo wget http://dev.MysqL.com/get/MysqL57-community-release-el7-8.noarch.rpm
2、安装MysqL源
sudo yum localinstall MysqL57-community-release-el7-8.noarch.rpm
3、安装MysqL
4、启动MysqL服务
[ec2-user@master ~]$ sudo grep "password" /var/log/MysqLd.log
2021-03-19T07:56:41.030922Z 1 [Note] A temporary password is generated for root@localhost: v=OKXu0laSo;
v=OKXu0laSo;是密码
把初始密码复制下来，在进入MysqL需要输入密码时粘贴下来，回车，就可以进入MySQL命令行。
进入命令行
sudo MysqL -uroot -p
新密码设置的时候如果设置的过于简单会报错
修改密码规则：
在MySQL命令行中输入
MysqL> set global validate_password_policy=0;
Query OK, 0 rows affected (0.00 sec)
MysqL> set global validate_password_length=1;
Query OK, 0 rows affected (0.00 sec)
重新设置密码
MysqL> set password for 'root'@'localhost'=password('1234');
Query OK, 0 rows affected, 1 warning (0.00 sec)
7、设置远程登陆
[ec2-user@master ~]$ MysqL -uroot -p1234
MysqL: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MysqL monitor. Commands end with ; or \g.
Your MysqL connection id is 10
Server version: 5.7.33 MysqL Community Server (GPL)
copyright (c) 2000, 2021, Oracle and/or its affiliates.
Oracle is a registered Trademark of Oracle Corporation and/or its
affiliates. Other names may be Trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MysqL>
创建用户
MysqL> create user 'root'@'172.%.%.%' identified by '1234';
Query OK, 0 rows affected (0.00 sec)
允许远程连接：
MysqL> grant all privileges on *.* to 'root'@'172.%.%.%' with grant option;
Query OK, 0 rows affected (0.00 sec)
刷新权限：
MysqL> flush privileges;
Query OK, 0 rows affected (0.00 sec)
到此MysqL安装完成
#2、安装Hive（依赖Hadoop）
1、把Hive解压到指定位置
tar -zxvf hadoop/apache-hive-1.1.0-bin.tar.gz -C /usr/local/src/
2、重命名
mv apache-hive-1.1.0-bin/ hive
3、配置全局环境变量
sudo vim /etc/profile
export HIVE_HOME=/usr/local/src/hive
export PATH= P A T H : PATH: PATH:HIVE_HOME/bin
export HADOOP_CLAsspATH=$HADOOP_CLAsspATH:/usr/local/src/hive/lib/*
刷新环境变量
source /etc/profile
4、在src/hive/conf下创建hive-site.xml文件
touch hive-site.xml
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:MysqL://master:3306/hive?createDatabaseIfNotExist=true&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.MysqL.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>1234</value>
</property>
</configuration>
5、添加驱动包
把MysqL驱动放到hive的lib目录下
cp /home/ec2-user/hadoop/mysql-connector-java-5.1.44-bin.jar $HIVE_HOME/lib
[ec2-user@master conf]$ vi hive-env.sh
#在里面添加如下配置
export HADOOP_HOME=/usr/local/src/hadoop
export HIVE_CONF_DIR=/usr/local/src/hive/conf
7、启动Hive
需要确保hdfs、mapreduce、MysqL启动
若没启动
start-all.sh
schematool -dbType MysqL -initSchema
启动hive
hive
#安装sqoop
1、解压
tar -zxvf hadoop/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/src/
2、重命名为sqoop
资料分享
领取方式：戳这里即可免费获取，同时还可以“嫖”到一份关于Redis事务源码的详解内容。
1、算法大厂——字节跳动面试题
2、2000页互联网Java面试题大全
3、高阶必备，算法学习
ve
需要确保hdfs、mapreduce、MysqL启动
若没启动
start-all.sh
schematool -dbType MysqL -initSchema
启动hive
hive
#安装sqoop
1、解压
tar -zxvf hadoop/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/src/
2、重命名为sqoop
资料分享
领取方式：戳这里即可免费获取，同时还可以“嫖”到一份关于Redis事务源码的详解内容。
1、算法大厂——字节跳动面试题
[外链图片转存中…(img-AzQajB5L-1628077681938)]
2、2000页互联网Java面试题大全
[外链图片转存中…(img-pc7kzLWB-1628077681941)]
3、高阶必备，算法学习
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
