GroupComparator原理 发表于 2016-01-25 | 分类于 mapreduce 分析最近看dadoop中关于辅助排序(SecondarySort)的实现,说到了三个东西要设置:1. partioner;2. Key Comparator;3. Group Comparator。前两个都比较容易理解,但是关于group的概念我一直理解不了:一,有了partioner,所有的key ... 阅读全文 »
JDK中设计模式 发表于 2015-02-27 | 分类于 java 转:https://blog.csdn.net/gtuu0123/article/details/6114197https://www.cnblogs.com/cr330326/p/5627658.html 阅读全文 »
策略模式和简单工厂模式的区别 发表于 2015-02-27 | 分类于 java 相似点在模式结构上,两者很相似; 差异 用途不一样工厂是创建型模式,它的作用就是创建对象;策略是行为型模式,它的作用是让一个对象在许多行为中选择一种行为;关注点不一样一个关注对象创建一个关注行为的封装 解决不同的问题工厂模式是创建型的设计模式,它接受指令,创建出符合要求的实例;它主要解决的 ... 阅读全文 »
合并时间段问题2 发表于 2015-02-26 | 分类于 dw 背景hive中经常会有求连续数字或者连续的时间这种问题,其实处理的方法一致 解法一12345678910111213141516171819202122232425262728293031323334SELECT a.name ,b.starttime ,b.endtime ... 阅读全文 »
合并时间段问题1 发表于 2015-02-26 | 分类于 dw 案例一背景12345678910111213141516CREATE TABLE `timesheets` ( `task_id` String, `start_date` String, `end_date` String);INSERT INTO `timesheets` VALUES ( ... 阅读全文 »
from多张表和left join 发表于 2015-02-26 | 分类于 mysql 123456select * from a, b where a.id = 1 and a.id = b.id隐式内连接,只有匹配的行select * from a left join b on a.id=b.id where a.id = 1以A表所有记录为基础,连接A、B两表,条件是a.id=b ... 阅读全文 »
探索 ConcurrentHashMap 高并发性的实现机制 发表于 2015-02-23 | 分类于 java 简介ConcurrentHashMap 是 util.concurrent 包的重要成员。本文将结合 Java 内存模型,分析 JDK 源代码,探索 ConcurrentHashMap 高并发的具体实现机制。 由于 ConcurrentHashMap 的源代码实现依赖于 Java 内存模型,所以阅读 ... 阅读全文 »
集群间主机批量建立互信 发表于 2015-02-21 | 分类于 linux 步骤登录服务器hostname进入目录,将集群全部机器列表写入文件,每行一个机器名12cd /home/q/fabric/hbase/vim fab_hbase_hostfile.txt fab_hbase_hostfile.txt是hostname列表 删除上次执行脚本遗留的文件1rm /home ... 阅读全文 »
iptables的使用 发表于 2015-02-20 | 分类于 linux 1、iptables的启停1service iptables stop|start 2、查看iptables的状态1service iptables status 3、查看当前服务器上的iptables配置规则1iptables --list 4、设置默认策略12345678iptables -P ... 阅读全文 »
利用备份恢复namenode数据 发表于 2015-02-20 | 分类于 hadoop 1、将备份的namenode数据拷贝到NN1启动配置的目录下(只是拷贝fsimage文件) 2、启动各个journalnode1./sbin/hadoop-daemon.sh start journalnode 3、将本地Namenode中的edits初始化Journalnodes1./bin/hd ... 阅读全文 »