Hadoop是最流行的软件框架之一，能够处理和存储大数据信息，而Hive 则是用于帮助Hadoop 提高效率而设计的工具。

Hadoop 中的 Hive 是什么？

hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。

Hive主要由三个核心部分组成

1、Hive 客户端：Hive 提供了多种驱动程序，旨在与不同的应用程序联动工作。例如，Hive 为基于 Thrift 的应用程序提供 Thrift 客户端。

2、Hive 服务：Hive 服务与 Hive 执行客户端交互。例如，如果客户端想要执行查询，它必须与 Hive 服务对话。

3、Hive 存储和计算： 数据存储依赖于HDFS，数据计算依赖于MapReduce。

Hive 的主要特征

● 支持创建索引，优化数据查询。

● 不同的存储类型，例如，纯文本文件、HBase 中的文件。

● 将元数据保存在关系数据库中，大大减少了在查询过程中执行语义检查的时间。

● 可以直接使用存储在Hadoop 文件系统中的数据。

● 内置大量用户函数UDF 来操作时间、字符串和其他的数据挖掘工具，支持用户扩展UDF 函数来完成内置函数无法实现的操作。

● 类SQL 的查询方式，将SQL 查询转换为MapReduce 的job 在Hadoop集群上执行。

Hive的优点

操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。

避免了去写MapReduce，减少开发人员的学习成本。

Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。

Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。

Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

Hive的缺点

1．Hive的HQL表达能力有限

（1）迭代式算法无法表达

（2）数据挖掘方面不擅长

2．Hive的效率比较低

（1）Hive自动生成的MapReduce作业，通常情况下不够智能化

（2）Hive调优比较困难，粒度较粗

Hive的架构原理

Hive 模式

根据 Hadoop 数据节点的大小，Hive 可以在两种不同的模式下运行：本地模式和Map-reduce 模式。

用户本地模式时：

Hadoop安装在伪模式下，只有一个数据节点

数据量更小，仅限于单台本地机器

数据处理更加快速，因为本地机器包含更小的数据集

在以下情况下使用 Map Reduce 模式：

Hadoop有多个数据节点，数据分布在这些不同的节点上

用户必须处理更多海量的数据集

MapReduce 是 Hive 的默认模式。

Hive 与关系数据库的关系

Hive和Pig有什么不同

用户不同

• 数据分析师青睐 Apache Hive
• 程序员和研究人员更喜欢 Apache Pig

使用的语言不同

• Hive 使用 SQL 的声明性语言变体，称为 HQL
• Pig 使用一种独特的程序语言，称为 Pig Latin

数据处理不同

• Hive 适用于结构化数据
• Pig 适用于结构化和半结构化数据

集群操作

• Hive 在集群的服务器端运行
• Pig 在集群的客户端运行

分区

• Hive 支持分区
• Pig 不支持分区

加载速度

• Hive 加载速度不快，但执行速度更快
• Pig加载速度更快

Hive 和 Hbase的区别

• HBase 是一个开源的、面向列的数据库管理系统，运行在 Hadoop 分布式文件系统 ( HDFS )之上
• Hive 是一个查询引擎，而 Hbase 是一个面向非结构化数据的数据存储系统。
• Hive 主要用于批处理；Hbase 广泛用于事务处理
• Hbase实时处理，实时查询；Hive仅用于分析查询
• Hive 运行在 Hadoop 之上，而 Hbase 运行在 HDFS 之上
• Hive 不是数据库，但 Hbase 支持 NoSQL 数据库
• Hive 有模式模型，Hbase 没有
• 最后，Hive 是高延迟操作的理想选择，而 Hbase 主要用于低延迟操作

Hadoop是大数据开发人员的必备技能

未来如果你想从事数据开发工作，那么Hadoop是你的基础能力，必须学会，而且最好能够获得认证，让企业看到你的实力。

Simplilearn大数据Hadoop认证培训提供数据处理、功能性编程、Apache Spark、平行处理、Spark RDD优化技术、Spark SQL等大数据知识与技能，课程内容与Cloudera CCA175认证保持一致，为你的职业生涯奠定坚实基础。