微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

第7章Hadoop的数据仓库框架-Hive

       

目录

7.1Hive的配置与安装

7.1.1安装MySQL

        (1)安装MySQL

      (2)配置Mysql

         7.1.2安装和配置Hive 

        (1)安装hive

        (2)配置环境变量

        (3)配置hive

        (4)上传jar包

        (5)启动hive

 7.1.3远程连接虚拟机mysql

        (1)开启虚拟机mysql的远程连接

        (2)在外部开启sqlyog或者navicat连接就行了


        在Facebook Jeff团队所构建的信息平台中,最庞大的组成部分是Apache Hive。Hive是一个构建在Hadoop上的数据仓库框架,是应Facebook每天产生的海量网络数据进行管理和机器学习的需求而产生和发展的。

7.1Hive的配置与安装

        Hive有3种metastore的配置方式,分别是内嵌模式、本地模式和远程模式。这里我们以本地模式为例,介绍Hive的配置与安装,首先,本地模式需要MysqL作为Hive metastore的存储数据库,因此在安装Hive之前需要先安装MysqL

7.1.1安装MysqL

        (1)安装MysqL

mkdir /usr/local/MysqL   #创建MysqL的目录

yum -y install wget  #安装wget

wget http://dev.MysqL.com/get/MysqL57-community-release-el7-10.noarch.rpm   #下载MysqL安装包

rpm -ivh "包名"     #解压MysqL安装包

yum -y install MysqL-community-server  #安装MysqL服务

systemctl restart MysqLd  #重启MysqL服务


以上命令在虚拟机的根目录下进行就行

        (2)配置MysqL

grep "password" /war/log/MysqLd.log   #寻找MysqL的初始密码,然后复制

进入MysqL

MysqL -u root -p   #按enter

粘贴密码

set global validate_password_policy=0;   #更改策略

set global validate_password_policy=LOW;  #降低密码强度

set global validate_password_length=6;   #设置密码长度为6位

alter user 'root'@'localhost' IDENTIFIED BY '123456';  #设置密码

exit;  #退出MysqL



7.1.2安装和配置Hive 

        (1)安装hive

mkdir /usr/local/hive  #创建hive目录

拖拽文件至该文件夹

tar -zxvf apache-hive-1.2.2-bin.tar.gz   #解压安装包

rm -rf apache-hive-1.2.2-bin.tar.gz   #删除安装包

        (2)配置环境变量

vim /etc/profile  #编辑环境变量文件

添加以下代码

export HIVE_HOME=/usr/local/hive/apache-hive-1.2.2-bin

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin  #在path中添加最后的HIVE_HOME

source /etc/profile  #生效环境变量

        (3)配置hive

进入apache-hive-1.2.2-bin/conf目录下

(1)新建文件hive-site.xml

vim  hive-site.xml  #在此文件添加下面代码

<configuration>

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:MysqL://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.MysqL.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>

</configuration>


(2)配置hive-env.sh

cp hive-env.sh.template hive-env.sh  #复制并更改名字
修改文件第48行的HADOOP_HOME路径





        (4)上传jar包

        将要用的jar包传送到hive的lib文件下(这个文件我回头上传到我的资源上)

        (5)启动hive

        启动一:直接在根目录下输入:hive shell

        启动二:进入hive的bin目录下输入./hiveserver2,重新启动一个客户端,在bin目录下输入:./beeline -u jdbc:hive2://localhost:10000 -n root

7.1.3远程连接虚拟机MysqL

        (1)开启虚拟机MysqL的远程连接

首先进入MysqL 

MysqL -u root -p123456

进入之后输入
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;  #开启远程连接

FLUSH PRIVILEGES #刷新

        (2)在外部开启sqlyog或者navicat连接就行了

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐