微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Hadoop笔记

修改主机名:
hostnamectl set-hostname 主机名

修改ip地址:

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改为静态获取ip
BOOTPROTO=”static”

添加IP地址
IPADDR=192.168.1.100

添加网关
GATEWAY=192.168.1.2

添加子网掩码
NETMASK=255.255.255.0

添加域名解析器
DNS1=192.168.1.2
修改映射:
vi /etc/hosts
调整防火墙
查看防火墙状态:
systemctl status firewalld
关闭防火墙:
systemctl stop firewalld
开机不启动防火墙:
systemctl disable firewalld
ping ip 地址:
ping 外部ip地址

ping 百度地址
重启网络:
service network restart
连接moba
jdk、hadoop部署

在opt下面创建software、module 文件

安装jdk hadoop

本地部署

伪分布式部署

克隆两台虚拟机

完全分布式部署
免密
修改环境变量
修改配置文件
1、hadoop-env.sh
2、core-site.xml
3、hdfs-site.xml
4、yarn-site.xml
5、mapred-site.xml
集群分发
scp -r 谁 @主机名:地址
格式化namenode
需要删除data和logs文件夹
格式化namenode命令
启动集群
单启:
启动 namenode :目录 
hdfs --daemon start namenode
启动 datanode :数据
hdfs --daemon start datanode
启动  resourcemanager:老大
yarn --daemon start resourcemanager
启动 nodemanager:每个电脑的管理者
yarn --daemon start nodemanager
启动 secondarynamenode 对数据备份
hdfs --daemon start secondarynamenode
群启:
start-all.sh

start-yarn.sh
hive配置
安装MysqL

下载MysqL linux版本安装包

上传解压安装后安装对应的rpm文件

1.获取插件

yum install -y libaio

2.执行命令(按照顺序):

sudo rpm -ivh --nodeps MysqL-community-common-5.7.36-1.el7.x86_64.rpm

sudo rpm -ivh --nodeps MysqL-community-libs-5.7.36-1.el7.x86_64.rpm

sudo rpm -ivh --nodeps MysqL-community-libs-compat-5.7.36-1.el7.x86_64.rpm

sudo rpm -ivh --nodeps MysqL-community-client-5.7.36-1.el7.x86_64.rpm

sudo rpm -ivh --nodeps MysqL-community-server-5.7.36-1.el7.x86_64.rpm

一、切换到/var/lib/MysqL,并删除所有文件 rm -rf *

二、重置MysqL

 MysqLd --initialize --user=MysqL

三、查看生成随机密码

cat /var/log/MysqLd.log

四、启动MysqL服务

systemctl start MysqLd

五、登录MysqL数据库

MysqL -uroot -p

Enter password:  输入临时生成密码

六、必须先修改root用户密码,否则执行其他的操作会报错

MysqL> set password = password("新密码");

##### 安装hive

1、下载安装包:apache-hive-3.1.2-bin.tar.gz

2、进行上传解压操作

3、修改系统环境变量

vi /etc/profile

添加内容

export HIVE_HOME=/opt/module/apache-hive-3.1.2-bin

export PATH=$PATH:$HADOOP_HOME/sbin:$HIVE_HOME/bin

重启环境配置:

source /etc/profile

4、修改hive环境变量

切换到hive文件下的bin文件

编辑hive-config.sh文件

vi hive-config.sh

新增内容

export JAVA_HOME=/opt/module/jdk1.8.0_212

export HIVE_HOME=/opt/module/apache-hive-3.1.2-bin

export HADOOP_HOME=/opt/module/hadoop-3.2.0

export HIVE_CONF_DIR=/opt/module/apache-hive-3.1.2-bin/conf

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐