HIVE 入门基础（hive从入门到精通）

“大数据”一词用于大型数据集的收集，这些数据集包括庞大的数据量，高速的数据以及各种日趋增加的数据。使用传统的数据管理系统，很难处理大数据。因此，Apache Software Foundation引入了一个名为Hadoop的框架来解决大数据管理和处理难题。

Hadoop

Hadoop是一个开放源代码框架，用于在分布式环境中存储和处理大数据。它包含两个模块，一个是MapReduce，另一个是Hadoop分布式文件系统（HDFS）。

• MapReduce：这是一个并行编程模型，用于在大型商品硬件集群上处理大量结构化，半结构化和非结构化数据。
• HDFS： Hadoop分布式文件系统是Hadoop框架的一部分，用于存储和处理数据集。它提供了可在商用硬件上运行的容错文件系统。

Hadoop生态系统包含用于帮助Hadoop模块的不同子项目（工具），例如Sqoop，Pig和Hive。

• Sqoop：用于在HDFS和RDBMS之间导入和导出数据。
• Pig：它是一种过程语言平台，用于为MapReduce操作开发脚本。
• hive：这是一个平台，用于开发SQL类型脚本以执行MapReduce操作。

注意：有多种执行MapReduce操作的方法：

• 使用Java MapReduce程序的传统方法用于结构化，半结构化和非结构化数据。
• MapReduce的脚本方法可使用Pig来处理结构化和半结构化数据。
• MapReduce的Hive查询语言（HiveQL或HQL），以使用Hive处理结构化数据。

什么是hive

Hive是一个数据仓库基础架构工具，用于处理Hadoop中的结构化数据。它驻留在Hadoop之上以汇总大数据，并使查询和分析变得容易。

Hive最初是由Facebook开发的，后来Apache软件基金会开始使用它，并以Apache Hive的名义将其作为开源进一步开发。它由不同的公司使用。例如，Amazon在Amazon Elastic MapReduce中使用它。

Hive不是

• 关系数据库
• 在线事务处理（OLTP）的设计
• 实时查询和行级更新的语言

Hive的特征

• 它将模式存储在数据库中，并将处理后的数据存储到HDFS中。
• 它是为OLAP设计的。
• 它提供了用于查询的SQL类型语言，称为HiveQL或HQL。
• 它是熟悉的，快速的，可伸缩的和可扩展的。

Hive的体系结构

以下组件图描述了Hive的体系结构：

该组件图包含不同的单元。下表描述了每个单元：

单位名称运作方式用户界面Hive是一种数据仓库基础结构软件，可以在用户和HDFS之间创建交互。Hive支持的用户界面是Hive Web UI，Hive命令行和Hive HD Insight（在Windows服务器中）。元商店Hive选择各自的数据库服务器来存储表，数据库，表中的列，其数据类型和HDFS映射的架构或元数据。HiveQL流程引擎HiveQL与SQL相似，用于查询Metastore上的架构信息。它是MapReduce程序的传统方法的替代之一。不用用Java编写MapReduce程序，我们可以为MapReduce作业编写查询并进行处理。执行引擎HiveQL流程引擎和MapReduce的结合部分是Hive执行引擎。执行引擎处理查询并生成与MapReduce结果相同的结果。它使用了MapReduce的风格。HDFS或HBASEHadoop分布式文件系统或HBASE是将数据存储到文件系统中的数据存储技术。

Hive的工作

下图描述了Hive和Hadoop之间的工作流程。

下表定义了Hive如何与Hadoop框架进行交互：

步骤

1、执行查询

Hive接口（例如命令行或Web UI）将查询发送到驱动程序（任何数据库驱动程序，例如JDBC，ODBC等）以执行。

2、获取计划

驱动程序借助查询编译器来分析查询，以检查语法和查询计划或查询要求。

3、获取元数据

编译器将元数据请求发送到Metastore（任何数据库）。

4、发送元数据

Metastore将元数据作为对编译器的响应发送。

5、发送计划

编译器检查需求，然后将计划重新发送给驱动程序。至此，查询的解析和编译已完成。

6、执行计划

驱动程序将执行计划发送到执行引擎。

7、执行工作

在内部，执行作业的过程是MapReduce作业。执行引擎将作业发送到“名称”节点中的JobTracker，并将该作业分配给“数据”节点中的TaskTracker。在这里，查询执行MapReduce作业。

7.1、元数据操作

同时，在执行中，执行引擎可以使用Metastore执行元数据操作。

8、取得结果

执行引擎从数据节点接收结果。

9、发送结果

执行引擎将这些结果值发送给驱动程序。

10、发送结果

驱动程序将结果发送到Hive接口。