前言

在Hive中，经常会遇到很少数据是JSON格式的，比如：APP页面埋点数据、用户登录日志、点击日志等信息，都会将多个字段存放在一个json数组中，因此，对数据分析时就要用到json相关函数来处理，下面我就介绍一下Hive中的几个json函数的用法。

Hive自带的json解析函数

1. get_json_object

• 语法：get_json_object(json_string, '$.key')
• 说明：解析json的字符串json_string,返回json_string中key的内容。如果输入的json字符串无效，那么返回NULL。

get_json_object() 是个UDF，在Mapper阶段的列投影时完成获取解析json的操作，如果要获取多个key，那么json字段就要解析多次！这个函数每次只能返回一个数据项。

select get_json_object('{"name":"zhangsan","age":18}','$.name') as name, 
  get_json_object('{"name":"zhangsan","age":18}','$.age') as age;

结果：

get_json_object 解析Json数组（一）

这个函数的api中还有一个符号*,用这个符号可以解析数组中的内容，返回解析key对应的值的数组。

select get_json_object('[{"name":"zhangsan","age":18},{"name":"lisi","age":19}]','$[*].name') as name;

结果：

get_json_object解析Json数组（二）

索引从0开始，可以指定索引编号获取指定数组的值，也可以用符号*获取所有值。

select get_json_object('{"info":[{"name":"zhangsan","age":18},{"name":"lisi","age":19}]}','$.info[1].name') as name; 
select get_json_object('{"info":[{"name":"zhangsan","age":18},{"name":"lisi","age":19}]}','$.info[*].name') as name;

两个SQL执行结果分别如下：

get_json_object解析嵌套Json

select get_json_object('{"id":1,"name":"zhangsan","age":18,"tags":{"interest":["篮球","羽毛球"],"height":"180CM"}}','$.tags.interest') as interest;

结果：

2. json_tuple函数

• 语法： json_tuple(json_string, k1, k2 ...)
• 说明：解析json的字符串json_string,可指定多个json数据中的key，返回对应的value。如果输入的json字符串无效，那么返回NULL。
• 缺点：不支持解下嵌套Json

json_tuple() 这个函数在Hive里面是使用UDTF来实现的，即普通的一行转多行。它会生成两个Select Operator 操作，一个扫描不用解析的数据，生成一行，另外一个扫描需要解析的数据进行解析，然后再使用Lateral View Join Operator 操作将这两部分数据join关联起

一次解析多个字段

select json_tuple('{"name":"zhangsan","age":18}','name','age');

结果：

WITH t_student AS (
        SELECT 1 AS id, 'zhangsan' AS name
            , '{"interest":["篮球","羽毛球"],"height":"180CM"}' AS info
        UNION ALL
        SELECT 2 AS id, 'lisi' AS name
            , '{"interest":["足球","羽毛球"],"height":"178CM"}' AS info
    )
SELECT a.id, a.name, b.interest, b.height
FROM t_student a
    LATERAL VIEW json_tuple(info, 'interest', 'height') b AS interest, height;

结果:

注意：上面的json_tuple函数中没有$.如果在使用json_tuple函数时加上$.就会解析失败：

get_json_object和json_tuple函数性能比较

一般情况下，由json字符串序列化成jsonObjecti这个过程是最耗费时间的。从代码中可以看到，这两个函数都会使用缓存jsonObject,也就是说json字符串转化为jsonObject的过程只有一次，并不是解析多次。

get_json_object代码中的缓存

json_tuple代码中的缓存

从缓存上考虑两者是都是用了缓存，但是json_tuple性能会比get_json_object差，主要是json_tuple属于UDTF函数，中间会有相关的operator，可以从两者的执行计划上对比查看。

explain select get_json_object('{"name":"zhangsan","age":18}','$.name');
STAGE DEPENDENCIES:                                
  Stage-0 is a root stage                          
                                                   
STAGE PLANS:                                       
  Stage: Stage-0                                   
    Fetch Operator                                 
      limit: -1                                    
      Processor Tree:                              
        TableScan                                  
          alias: _dummy_table                      
          Row Limit Per Split: 1                   
          Statistics: Num rows: 1 Data size: 10 Basic stats: COMPLETE Column stats: COMPLETE 
          Select Operator                          
            expressions: 'zhangsan' (type: string) 
            outputColumnNames: _col0               
            Statistics: Num rows: 1 Data size: 92 Basic stats: COMPLETE Column stats: COMPLETE 
            ListSink  stSink  

explain select json_tuple('{"name":"zhangsan","age":18}','name');
STAGE DEPENDENCIES:                                
  Stage-0 is a root stage                          
                                                   
STAGE PLANS:                                       
  Stage: Stage-0                                   
    Fetch Operator                                 
      limit: -1                                    
      Processor Tree:                              
        TableScan                                  
          alias: _dummy_table                      
          Row Limit Per Split: 1                   
          Statistics: Num rows: 1 Data size: 10 Basic stats: COMPLETE Column stats: COMPLETE 
          Select Operator                          
            expressions: '{"name":"zhangsan","age":18}' (type: string), 'name' (type: string) 
            outputColumnNames: _col0, _col1        
            Statistics: Num rows: 1 Data size: 200 Basic stats: COMPLETE Column stats: COMPLETE 
            UDTF Operator                          
              Statistics: Num rows: 1 Data size: 200 Basic stats: COMPLETE Column stats: COMPLETE 
              function name: json_tuple            
              Select Operator                      
                expressions: c0 (type: string)     
                outputColumnNames: _col0           
                Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE 
                ListSink

总结

get_json_object和json_tuple都是 Hive 中用于操作 JSON 数据的函数：

• get_json_object：用于从 JSON 字符串中提取指定路径的值。
• json_tuple：用于从 JSON 数组中提取多个值，并以元组的形式返回。

这两个函数都可以帮助我们在 Hive 中方便地处理和提取 JSON 数据中的特定字段或元素。它们在处理 JSON 格式的数据时非常有用。

你学会了吗？欢迎点赞收藏，分享转载~~