减少/增加regionserver节点 发表于 2015-02-20 | 分类于 hbase hbase减少regionserver节点可以在指定节点的hbase目录下执行以下命令来停止集群中一个regionserver1./bin/hbase-daemon.sh stop regionserver regionserver会将它上面所有的region关闭,然后再把自己的进程停止。regio ... 阅读全文 »
namenode的HA由手动改成自动切换 发表于 2015-02-20 | 分类于 hadoop 1、修改配置文件 在core-site.xml配置文件中加入12345678<property> <name>ha.zookeeper.quorum</name> <value>hostname:2181,hostname:2181,hos ... 阅读全文 »
hbase move region 发表于 2015-02-20 | 分类于 hbase 语法:move ‘encodeRegionName’, ‘ServerName’encodeRegionName指的regioName后面的编码ServerName指的是master-status的Region Servers列表例如要移动tablename,602CFEBBEA72-5D39-42 ... 阅读全文 »
phoenix映射HBase数据表 发表于 2015-02-20 | 分类于 hbase 近期开发有一需求,主要是想使用phoenix映射Hbase的数据表 1、创建HBase表1create 'cong','cf' 2、插入数据12345hbase(main):003:0> scan 'cong'ROW COLUMN+C ... 阅读全文 »
JVM内存组成和分配 发表于 2015-02-20 | 分类于 java java内存组成介绍:堆(Heap)和非堆(Non-heap)内存按照官方的说法:“Java 虚拟机具有一个堆,堆是运行时数据区域,所有类实例和数组的内存均从此处分配。堆是在 Java 虚拟机启动时创建的。”“在JVM中堆之外的内存称为非堆内存(Non-heap memory)”。可以看出JVM主要 ... 阅读全文 »
JVM介绍 发表于 2015-02-20 | 分类于 java 堆内存:JVM运行时数据区域,它为类实例和数组分配的内存。堆可以是固定大小的也可以是可变大小的。其中 Heap = (Old + NEW =(Eden , from, to)) 程序中运行的各种类实例称之为对象,每个对象都有不同的生命周期,有的存活时间长点,有的存活时间短点。JVM内存机制的设置 ... 阅读全文 »
JVM GC介绍 发表于 2015-02-20 | 分类于 java JVM Heap在实现中被切分成了不同的generation,比如生命周期短的对象会放在young generation,而生命周期长的对象放在tenured generation中,如下图 当GC只发生在young generation中,回收young generation中的对象,称为Mino ... 阅读全文 »
jmap、jstat命令说明 发表于 2015-02-20 | 分类于 java jmap使用G1收集器1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253 /home/q/java/default/bin/jmap -heap 29591 ... 阅读全文 »
HDFS HA与QJM-官网整理 发表于 2015-02-20 | 分类于 hadoop 默认的”sbin/start-dfs.sh”脚本会根据”dfs.namenode.shared.edits.dir”配置,在相应的Datanode上启动journalNodes。当然我们可以使用::”bin/hdfs start journalnode”分别在相应的机器上启动。 一旦JournalN ... 阅读全文 »
hbase配置参考 发表于 2015-02-20 | 分类于 hbase hbase内存配置修改/home/q/hbase/hbase-0.98.1-cdh5.1.0/conf/hbase-env.sh 守护进程8G1export HBASE_HEAPSIZE=8192 Hmaster 8G12345export HBASE_OPTS="Xms8g -Xmx8g ... 阅读全文 »