大数据开发工程师-面试题-Hive(Hive中的数据倾斜应如何处理)

Hive中的数据倾斜应如何处理

1 怎么产生数据倾斜?

什么叫做数据倾斜：绝大部分任务都很快完成，只有一个或者少数几个任务执行的很慢甚至最终执行失败，这样的现象为数据倾斜现象；

（1）两个表join字段的类型不一致

情形：比如用户表中user_id字段为int，log表中user_id字段既有string类型也有int类型。当按照user_id进行两个表的Join操作时。

后果：处理此特殊值的reduce耗时；只有一个reduce任务。

默认的Hash操作会按int型的id来进行分配，这样会导致所有string类型id的记录都分配到一个Reducer中。

解决方式：把数字类型转换成字符串类型。

select * from users a left outer join logs b on a.usr_id = cast(b.user_id as string).

（2）两个表join时，其中一个表为小表，但是key比较集中，导致最后分发到一个或某几个reduce上的数据远高于平均值；

（3）两个表join，大表join大表，但是分桶的判断字段0值或空值较多，最后导致这些0值或空值都由一个reduce进行处理，非常慢；

（4）当查询的时候，使用group by操作时，维度过小，但是某值的数量过多，导致后面处理某值的reduce非常耗时；

（5）当查询统计时，使用了count(distinct)操作时，某特殊值过多，导致后面处理特殊值的reduce非常慢；比如：select a,count(distinct b) from t group by a，用select a,sum(1) from t group by a代替；

（6）控制空值分布

在生产环境经常会用大量空值数据进入到一个reduce中去，导致数据倾斜。

解决办法：自定义分区，将为空的key转变为字符串加随机数或纯随机数，将因空值而造成倾斜的数据分不到多个Reducer。

注意：对于异常值如果不需要的话，最好是提前在where条件里过滤掉，这样可以使计算量大大减少。

2 Hive中如何排查数据倾斜问题?

（1）方法1

① 假如一张表有大量的空值导致发生了数据倾斜问题，select count(id), count(name), count(age), count(1) from table，编写Hive sql统计出每列字段的行数，count统计的时候出现空值的，是参与统计的，所以最后看到统计结果中，某个字段count结果值非常小，说明该字段的空值非常多，最后就可以定位出事哪个字段导致出现数据倾斜的问题；

（2）方法2

① 通过查看Yarn Job任务的执行过程，如果某个或某几个reduce执行的时间特别长，说明发生了数据倾斜；

② 通过explain查看sql的执行计划，定位出任务卡住执行的stage；

3 解决数据倾斜的方法

（1）单个表发生数据倾斜：

① 开启数据倾斜时负载均衡：set hive.groupby.skewindata=true(单个Key发生数据倾斜)；

1) 当选项参数设定为true，生成的查询计划会有两个MRJob；

2) 第一个MRJob中，map的输出结果会随机分布到reduce中，每个reduce做部分聚合操作，并输出结果，这样处理的结果是相同的groupby key有可能被分发到不同的reduce中，从而达到负载均衡的目的；

3) 第二个MRJob再根据预处理的数据结果按照groupby key分布到reduce中（这个过程可以保证相同的原始groupby key被分布到同一个reduce中），最后完成最终的聚合操作。

4) 点评：它使计算变成了两个mapreduce，先在第一个mapreduce中的shuffle过程进行分区时随机给 key打标记，使每个key随机均匀分布到各个reduce上计算，但是这样只能完成部分计算，因为相同key没有分配到相同reduce上。所以需要第二次的mapreduce，这次就回归正常shuffle，但是数据分布不均匀的问题在第一次mapreduce中已经有了很大的改善，所以基本上解决了数据倾斜问题；

② 增加 Reduce数量(多个Key同时导致数据倾斜)

1) set mapreduce.job.reduces = 15；

（2）多个表Join的时候，发生了数据倾斜：

① 如果是大表join小表查询时，开启MapJoin，set hive.auto.convert.join = true，将小表刷入内存中；

② 如果是大表join大表查询时，开启Sort Merge Bucket Join(set hive.optimize.bucketmapjoin = true、set hive.optimize.bucketmapjoin.sortedmerge = true、set hive.input.format=org.apache.hadoop.hive.ql.io.BucketizedHiveInputFormat)，底层是根据两个表join字段进行分桶存储，这样的话，两张表就变为了基于桶之间join关联查询，而不是基于整张表的join，减少了笛卡尔积；

(每日1小题，进步1点点)