ThriftServer 服务假死导致HUE HBASE Broswer异常(无法展示数据)

发表于 | 分类于

业务反馈Hue无法展示数据，多半是Java GC导致。
解决方法是：修改启动参数并重启。具体详情如下：

登陆hue部署的机器，查看thritserver的gc情况

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[hadoop@hostname /home/q/hbase/q_hbase/bin]$ jps

23125 HRegionServer

23542 DataNode

3600ThriftServer

6954 Jps

[hadoop@hostname /home/q/hbase/q_hbase/bin]$ jstat -gcutil 3600

  S0     S1        E          O      P        YGC     YGCT        FGC    FGCT     GCT

  0.00  53.12  28.15  93.10  99.17 455569 3210.991  3470  196.670 3407.661

S0 — Heap上的 Survivor space 0 区已使用空间的百分比
S1 — Heap上的 Survivor space 1 区已使用空间的百分比
E — Heap上的 Eden space 区已使用空间的百分比
O — Heap上的 Old space 区已使用空间的百分比
P — Perm space 区已使用空间的百分比
YGC — 从应用程序启动到采样时发生 Young GC 的次数
YGCT– 从应用程序启动到采样时 Young GC 所用的时间(单位秒)
FGC — 从应用程序启动到采样时发生 Full GC 的次数
FGCT– 从应用程序启动到采样时 Full GC 所用的时间(单位秒)
GCT — 从应用程序启动到采样时用于垃圾回收的总时间(单位秒)

如果gc没有问题，继续查看thriftserver的连接数是否异常,如果连接数打满也会有问题:

1
netstat -apn|grep 15046|grep 9090|wc -l

异常案例:

Old区使用了93.1%基本上进程夯死，内存满了后会导致更加频繁的GC,FGC次数达到了3470次。深入的化就需要看下配置jvm内存策略，CMS默认80%会触发FGC，如果FGC后Old仍大于80%则因为内存不够用会频繁FGC，进程基本假死状态。

问题：hue 数据展示异常，能telnet无服务。
解决： 重启thriftserver ./hbase-daemon.sh restart thrift -threadpool -m 200 -w 500 （指定连接数）