首页 > 编程学习 > MapReduce数据倾斜问题解决方法

MapReduce数据倾斜问题解决方法

发布时间:2022/8/28 11:03:42

问题分析:

单个reduce可能存在数据量过多导致数据倾斜

解决办法:

1、对数据的key加上随机前缀,让他们的hash值发生变化,分布一些到其他reduce里面去

2、适当增加reduce个数

 

Copyright © 2010-2022 mfbz.cn 版权所有 |关于我们| 联系方式|豫ICP备15888888号