Hbase写入逻辑
写入逻辑HBase仅仅支持行级别的事务一致性。本文主要探讨一下HBase的写请求流程。主要基于0.98.8版本号的实现Hbase的写逻辑涉及到写内存、写log、刷盘等操作从上图可以看出氛围3步骤：第1步：Client获取数据写入的Region所在的RegionServer第2步：请求写Hlog第3步
...
hbase中的zookeeper
发表于
|
分类于
hbase
ZooKeeper：协调者ZooKeeper为HBase集群提供协调服务
它管理着HMaster和HRegionServer的状态(available/alive等)，并且会在它们宕机时通知给HMaster，从而HMaster可以实现HMaster之间的failover
对宕机的HRegionSe
...
Elasticsearch
发表于
|
分类于
elasticsearch
建立倒排索引
标准化规则(normalization)并不会单纯直接建立的倒排索引，会使用到标准化规则(normalization)
dog、dogs fox foxes单复数问题只保留一个，有共同词根Quick、quick 不区分大小写问题jump和leap意思相近，只保留一个
分
...
Python fabric使用介绍
发表于
|
分类于
python
简介Fabric 是一个python的库，可以通过ssh批量管理服务器，将自动化部署或者多机操作的命令固化到一个脚本里，化繁为简
安装首先安装依赖包1yum install -y python-pip gcc python-devel
获取脚本(约1.4M)，执行脚本安装pip12wget http
...
mysql千万级分页
发表于
|
分类于
mysql
Mysql数据库最简单，是利用mysql的LIMIT函数,LIMIT [offset,] rows从数据库表中M条记录(不包含m条)开始检索N条记录的语句为：1SELECT * FROM 表名称 LIMIT M,N
其中limit为可选项，例如我们有个student表，我们选取前5条记录可以使用下面
...
mapreduce模型
发表于
|
分类于
mapreduce
graph TD
A[Map] -->|partition,kvBuffer,sort,spill与combiner,merge| B{Shuffle}
B -->|copy,cache_sort_merge,spill,merge,file,GroupingComparator| C[reduce
...