前面的Hadoop学习是非常体系化的，有主线有细节。到了Hive这里，知识点非常零散，感觉没有什么主线能把它串起来。从官方网站上就能看出这点差异。
什么是Hive
Hive是一个基于Hadoop的企业级数据仓库，它的图标是大象头和蜜蜂身体。大象头表示它跟Hadoop有非常紧密的联系。
Hive通过类似sql的方式做数据分析，它的数据存储在HDFS，而Hive sql会转化为MapReduce任务。
由Hive sql语句到具体的任务执行还需要经过解释器，编译器，优化器，执行器四部分才能完成。
（1）解释器：调用语法解释器和语义分析器将sql语句转换成对应的可执行的java代码或者业务代码
（2）编译器：将对应的java代码转换成字节码文件或者jar包
（3）优化器：从Hive sql语句到java代码的解析转化过程中需要调用优化器，进行相关策略的优化，实现最优的查询性能
（4）执行器：当业务代码转换完成之后，需要上传到MapReduce的集群中执行
为什么会出现Hive
当我们使用Hadoop来做数据分析的时候，编写MapReduce程序是非常麻烦的。一个MapReduce包含Map任务、自定义分区方法、排序比较器、分组比较器、Reduce任务。对像我这样十年的Java码农来说，编写一个完整的MapReduce程序尚且不是那么容易，可想而知对于那些没有Java基础的人来说，这种方式学习成本非常高。况且有相当一部分做数据分析工作的人是非计算机专业的，让他们写MapReduce代码几乎是不可能的。
这种情况下，Hive就出现了，它能够极大地降低数据分析门槛，只需要学习一些简单的类似sql的语法就能快速上手数据分析工作。
Hive架构
Client
CLI（Command Line Interface）：用户可以使用Hive自带的命令行接口执行Hive QL、设置参数等功能
JDBC/ODBC：用户可以使用JDBC或者ODBC的方式在代码中操作Hive
Web GUI：浏览器接口，用户可以在浏览器中对Hive进行操作（2.2之后淘汰）
Thrift Server
Thrift服务运行客户端使用Java、C++、Ruby等多种语言，通过编程的方式远程访问Hive。它介于Client和Driver之间。
Driver
Driver是Hive的核心，其中包含解释器、编译器、优化器等各个组件，完成Hive SQL查询从词法分析、语法分析、编译、优化以及查询计划的生成，生成的查询计划存储在HDFS中，并在随后由MapReduce调用执行。
metastore
Hive的元数据存储服务，一般将数据存储在关系型数据库中，为了实现Hive元数据的持久化操作，Hive的安装包中自带了Derby内存数据库，但是在实际的生产环境中一般使用MysqL来存储元数据。
Hive执行流程
这张图详细描述了一个Hivesql请求是怎么转换成MapReduce任务的。右边Hadoop的部分不是很准确，从Hadoop2.x开始，就由Yarn接管资源调度了，JobTracker还是Hadoop1.x特有的东西。
对于绝大多数使用Hive的人来说，不需要关注执行流程，优化器有100多个优化方法来帮助我们把Hivesql转换成高效的MapRedcue任务，让使用者更加专注于业务逻辑。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
