Hive元数据

Hive的元数据保存在Hive的metastore数据中，里面记录着Hive数据库、表、分区、列当前的一些状态信息，通过收集这些状态信息，可以帮助我们更好监控Hive数据库当前的状态，提前感知可能存在的问题；可以帮助基于成本代价的SQL查询优化，做更为正确的自动优化操作。

扩展：在Hive 3.0以后，可以在Hive的sys数据中找到元数据表。

Hive的元数据主要分为5个大部分：数据库相关的元数据、表相关的元数据、分区相关的元数据、文件存储相关的元数据及其它。

1.Hive数据库级别的元数据

数据库的元数据以及这些元数据之间的关系如图4.2所示。

DBS：描述Hive中所有的数据库库名、存储地址（用字段DB_LOCATION_URI表示）、拥有者、拥有者类型。DBS表的内容如图4.3所示。

Hive可以通过命令“desc database库名”来查询DBS的信息，如图4.4所示。

DATABASE_PARAMS：描述数据库的属性信息（DBPROPERTIES）。例如创建一个带有库属性信息的库，代码如下：

create database db_test_pro with dbproperties('key_a'='value_a');

查询MySQL中的DATABASE_PARAMS表，会见到如图4.5所示的信息。在Hive中可以使用命令“desc database extended db_test_pro;”来查询DBPROPERTIES的信息。

DB_PRIVS：描述数据库的权限信息。

FUNCS：记录用户自己编写的函数信息（UDF），包括该函数的函数名、对应的类名、创建者等信息。用户可以通过命令“create function函数名…”来创建自定义函数。

FUNCS_RU：记录自定义函数，所在文件的路径，例如使用Java编写Hive的自定义函数，该表会记录该函数所在JAR包的HDFS存储位置，以及该JAR包引用的其它JAR包信息。

2.Hive表级别的元数据

表的元数据以及这些元数据之间的关系如图4.6所示。

图4.6可以包含以下几个表：

TBLS：记录Hive数据库创建的所有表，包含表所属的数据库、创建时间、创建者、表的类型（包括内部表、外部表、虚拟视图等）。在Hive中使用命令“desc formatted表名”，查看Detailed Table Information一节的信息，如图4.7所示。

TABLE_PARAMS：表的属性信息，对应的是创建表所指定的TBLPROPERTIES内容或者通过收集表的统计信息。收集表的统计信息可以使用如下的命令：

Analyze table 表名 compute statistics

表的统计信息包含一般包含：表存储的文件个数（numFiles）、总文件大小（totalSize）、表的总行数（numRows）、分区数（numPartitions）、未压缩的每行的数据量（rawDataSize）等。

TAB_COL_STATS：表中列的统计信息，包括数值类型的最大和最小值，如LONG_LOW_VALUE、LONG_HIGH_VALUE、DOUBLE_HIGH_VALUE、DOUBLE_LOW_VALUE、BIG_DECIMAL_LOW_VALUE、BIG_DECIMAL_HIGHT_VALUE、空值的个数、列去重的数值、列的平均长度、最大长度、值为TRUE/FALSE的个数等。

TBL_PRIVS：表或者视图的授权信息，包括授权用户、被授权用户、授权的权限等。

TBL_COL_PRIVS：表或者视图中列的授权信息，包括授权用户、被授权的用户、授权的权限等。

PARTITION_KEYS：表的分区列。

IDXS：Hive中索引的信息，Hive 3.0已经废弃。

3.Hive分区级别的元数据

分区的元数据以及这些元数据之间的关系如图4.8所示。

图4.8包含以下几个表：

• PARTITIONS：存储分区信息，包括分区列，分区创建的时间。
• PARTITION_PARAMS：存储分区的统计信息，类似同表的统计信息一样。
• PARTITION_COL_STATS：分区中列的统计信息，类似表的列统计信息一致。
• PART_PRIVS：分区的授权信息，类似表的授权信息。
• PART_COL_PRIVS：分区列的授权信息，类似表的字段授权信息。
• PARTITION_KEY_VALS：分区列对应的值。

4.Hive数据存储级别的元数据

数据存储的元数据以及这些元数据之间关系如图4.9所示。

图4.9主要包含以下几个表的内容：

• SDS：保存数据存储的信息，包含分区、表的存储的HDFS路径地址、输入格式（INPUTFORMAT）、输出格式（OUTPUTFORMAT）、分桶的数量、是否有压缩、是否包含二级子目录。
• CDS，COLUMN_V2：表示该分区、表存储的字段信息，包含字段名称、类型等
• SORT_COLS：保存Hive表、分区有排序的列信息，包括列名、排序方式等。
• BUCKETING_COLS：保存Hive表，分区分桶列的信息、列名等。
• SERDES：保存Hive表、分区序列化和反序列化的方式。
• SERDES_PARAMS：保存Hive，分区序列化和反序列化的配置属性，例如行的间隔符（line.delim）、字段的间隔符（filed.delim）。
• SKEWED_COL_NAMES：保存表、分区有数据倾斜的列信息，包括列名。
• SKEWED_VALUES：保存表、分区有数据倾斜的列值信息
• SKEWED_COL_VALUE_LOC_MAP：保存表、分区倾斜列对应的本地文件路径。
• SKEWED_STRING_LIST、SKEWED_STRING_LIST_VALUES：保存表，分区有数据倾斜的字符串列表和值信息。

5.其它

Hive的元数据还包含很多的内容，例如Hive的事务信息、锁信息以及权限相关的信息等。在优化的时候用到比较少，这里不多提。

#Hive# #Hive性能调优实战# #大数据#