使用iptables连接hang住问题* 发表于 2018-02-20 | 分类于 linux 问题来自于hbase的namenode高可用测试,测试采用iptables来模拟active namenode机器宕机问题,测试过程中发现,当hadoop的namenode发生了failover之后,hbase需要过很长时间(大约需要15分钟)才能写入。 经过分析主要是linux tcp参数的影响, ... 阅读全文 »
检查网卡流量 发表于 2018-02-20 | 分类于 linux 1、iftop12345678910111213141516171819TX:发送流量RX:接收流量TOTAL:总流量Cumm:运行iftop到目前时间的总流量peak:流量峰值rates:分别表示过去 2s 10s 40s 的平均流量相关参数-i设定监测的网卡,如:# iftop -i eth1- ... 阅读全文 »
卸载datanode节点 发表于 2018-02-20 datanode可能会被卸载以便把它从集群中安全移除,同时还要保持主机上所有块的复制因子,这个过程可能很漫长,取决于被卸主机上的数据量、集群工作数以及网络速度等因素。 1、在slaves配置文件中去掉下线机器(我们配置的dfs.hosts参数就是slaves配置文件中的所有机器) 2、刷新节点1[h ... 阅读全文 »
hbase和hadoop运维操作 发表于 2018-02-20 hbase shell管理操作1、使用flush命令可将表中所有区域的数据都写入磁盘1hbase(main):002:0> flush 'usertable' 2、单独将表的某个区域的数据写入磁盘1hbase(main):006:0> flush 'user ... 阅读全文 »
hue 发表于 2018-02-20 | 分类于 hadoop 使用hue服务前需要启动thift服务: ./hbase-daemon.sh restart thrift -threadpool -m 200 -w 500 (指定连接数) hue安装下载安装包https://github.com/cloudera/hue/releaseswget ... 阅读全文 »
ThriftServer 服务假死导致HUE HBASE Broswer异常(无法展示数据) 发表于 2018-02-20 | 分类于 hbase 业务反馈Hue无法展示数据,多半是Java GC导致。解决方法是:修改启动参数并重启。具体详情如下: 登陆hue部署的机器,查看thritserver的gc情况123456789101112131415[hadoop@hostname /home/q/hbase/q_hbase/bin]$ jps2 ... 阅读全文 »
hdfs优化 发表于 2018-02-20 | 分类于 hadoop HDFS作为HBase最终数据存储系统,通常会使用三副本策略存储HBase数据文件以及日志文件。从HDFS的角度望上层看,HBase即是它的客户端,HBase通过调用它的客户端进行数据读写操作,因此HDFS的相关优化也会影响HBase的读写性能。 Short-Circuit Local Rea ... 阅读全文 »
HBase运维要点 发表于 2018-02-20 | 分类于 hbase 运维细节1.建表细节: 单列族、预分区、压缩、设置TTL2.flush和compaction操作是针对一个Region。所以当一个列族操作大量数据的时候会引发一个flush。那些不相关的列族也有进行flush操作,尽管他们没有操作多少数据。3.Compaction操作是根据一个列族下的全部文件的数量 ... 阅读全文 »
压缩--HBase配置snappy 发表于 2018-02-20 | 分类于 hbase 编译安装snappy 12345git clone https://github.com/google/snappy.gityum install -y automake autoconf gcc-c++ cmake libedit./configuremakemake install 编译安装 ... 阅读全文 »
netty 发表于 2018-02-19 | 分类于 netty Netty提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序 NIO模型同步非阻塞NIO有同步阻塞和同步非阻塞两种模式,一般讲的是同步非阻塞,服务器实现模式为一个请求一个线程,但客户端发送的连接请求都会注册到多路复用器上,多路复用器轮询到连接有 ... 阅读全文 »