hbase的timestamp相关操作 发表于 2015-02-20 | 分类于 hbase timestamp转换为可读的方式1234hbase(main):010:0>import java.util.Date=> Java::JavaUtil::Datehbase(main):011:0> Date.new(1446520588410).toString()=> ... 阅读全文 »
hbase存储架构深入 发表于 2015-02-20 | 分类于 hbase HBase的存储架构图 HBase操控两种基本类型的文件,一种用于存储WAL的log,另一种用于存储具体的数据。 这两种文件主要由HRegionServer来管理,但是在有的情况下HMaster会跳过HRegionServer,直接操作这两种文件。这些文件都被存储在HDFS上面,并且每个文件包含了多 ... 阅读全文 »
hbase协处理器 发表于 2015-02-20 | 分类于 hbase Hbase自0.92之后开始支持Coprocessor(协处理器),旨在使用户可以将自己的代码放在regionserver上来运行,即将计算程序移动到数据所在的位置进行运算。这一点与MapReduce的思想一致。协处理器框架已经提供了一些类,用户可以通过继承这些类来扩展自己的功能,Hbase的Cop ... 阅读全文 »
HBase zabbix监控项 发表于 2015-02-20 | 分类于 hbase jvm监控“name” : “Hadoop:service=HBase,name=JvmMetrics”12345678910111213141516171819202122232425262728293031323334GcCount JVM进行GC的次数 GcTimeMillis GC花费的 ... 阅读全文 »
hadoop配置参考 发表于 2015-02-20 | 分类于 hadoop hadoop内存配置修改/home/q/hadoop/hadoop-2.3.0-cdh5.1.0/etc/hadoop/hadoop-env.sh hadoop守护进程和namenode堆进程12export HADOOP_HEAPSIZE=8192export HADOOP_NAMENODE_IN ... 阅读全文 »
Garbage-First(G1)收集器 发表于 2015-02-20 | 分类于 java 垃圾回收的瓶颈传统分代垃圾回收方式,已经在一定程度上把垃圾回收给应用带来的负担降到了最小,把应用的吞吐量推到了一个极限。但是他无法解决的一个问题,就是Full GC所带来的应用暂停。在一些对实时性要求很高的应用场景下,GC暂停所带来的请求堆积和请求失败是无法接受的。这类应用可能要求请求的返回时间在几 ... 阅读全文 »
fsck检查hadoop文件系统的一致性 发表于 2015-02-20 | 分类于 hadoop 12345678910111213141516171819202122[hadoop@hostname /home/q/hadoop/hadoop-2.3.0-cdh5.1.0]$ ./bin/hdfs fsck / 14/10/23 11:17:31 WARN ssl.FileBasedKeySt ... 阅读全文 »
zookeeper常用管理命令 发表于 2015-02-20 | 分类于 zookeeper zookeeper服务命令 命令为./bin/zkServer.sh [start|start-foreground|stop|restart|status|upgrade|print-cmd]以下命令可以知道节点的角色1234[hadoop@hostname /home/q/hbase_zooke ... 阅读全文 »
zookeeper原理 发表于 2015-02-20 | 分类于 zookeeper zookeeper数据模型zookeeper拥有一个层次的命名空间,命名空间中的每个节点可以和它自身或它的子节点相关联的数据,这就好像一个文件系统,只不过文件系统中的文件还可以具有目录功能。 Znodezookeeper目录树中每一个节点对应着一个Znode。每个Znode维护着一个属性结构,包含数 ... 阅读全文 »
hbase过滤器 发表于 2015-02-20 | 分类于 hbase 1、值过滤器(ValueFilter) 谁的值=bbbb hbase(main):008:0> scan ‘t2’,FILTER=>”ValueFilter(=,’binary:bbbb’)” 谁的值包含bbb hbase(main):010:0> scan ‘t2’,FILTER ... 阅读全文 »