笔者在在开发的过程中,主要负责的是:先从HBse中,通过Phoenix获取到表的全数据(目前测试阶段是按照全表来的),对于一些数据量小的表,是可以进行后续操作的,但是呢,笔者考虑到做的是离线的数据,因此测了下1500w+的数据会怎样,也因此出现了OOM的情况。这里主要针对这个情况来做一个解决上的说明,笔者写这个博文的时候还没有解决,一开始本地的结果是超时,所以设置了Phoenix与HBse之间的超时,后来发现还是不行。再后来,笔者索性就在集群环境中去做测试,因此出现了OOM。

首先,我们先看一张图: