LiFei's Notes


  • 首页

  • 分类

  • 归档

  • 搜索

GroupComparator原理

发表于 2016-01-25 | 分类于 mapreduce
分析最近看dadoop中关于辅助排序(SecondarySort)的实现,说到了三个东西要设置:1. partioner;2. Key Comparator;3. Group Comparator。前两个都比较容易理解,但是关于group的概念我一直理解不了:一,有了partioner,所有的key ...
阅读全文 »

JDK中设计模式

发表于 2015-02-27 | 分类于 java
转:https://blog.csdn.net/gtuu0123/article/details/6114197https://www.cnblogs.com/cr330326/p/5627658.html
阅读全文 »

策略模式和简单工厂模式的区别

发表于 2015-02-27 | 分类于 java
相似点在模式结构上,两者很相似; 差异 用途不一样工厂是创建型模式,它的作用就是创建对象;策略是行为型模式,它的作用是让一个对象在许多行为中选择一种行为;关注点不一样一个关注对象创建一个关注行为的封装 解决不同的问题工厂模式是创建型的设计模式,它接受指令,创建出符合要求的实例;它主要解决的 ...
阅读全文 »

合并时间段问题2

发表于 2015-02-26 | 分类于 dw
背景hive中经常会有求连续数字或者连续的时间这种问题,其实处理的方法一致 解法一12345678910111213141516171819202122232425262728293031323334SELECT a.name ,b.starttime ,b.endtime ...
阅读全文 »

合并时间段问题1

发表于 2015-02-26 | 分类于 dw
案例一背景12345678910111213141516CREATE TABLE `timesheets` ( `task_id` String, `start_date` String, `end_date` String);INSERT INTO `timesheets` VALUES ( ...
阅读全文 »

from多张表和left join

发表于 2015-02-26 | 分类于 mysql
123456select * from a, b where a.id = 1 and a.id = b.id隐式内连接,只有匹配的行select * from a left join b on a.id=b.id where a.id = 1以A表所有记录为基础,连接A、B两表,条件是a.id=b ...
阅读全文 »

探索 ConcurrentHashMap 高并发性的实现机制

发表于 2015-02-23 | 分类于 java
简介ConcurrentHashMap 是 util.concurrent 包的重要成员。本文将结合 Java 内存模型,分析 JDK 源代码,探索 ConcurrentHashMap 高并发的具体实现机制。 由于 ConcurrentHashMap 的源代码实现依赖于 Java 内存模型,所以阅读 ...
阅读全文 »

集群间主机批量建立互信

发表于 2015-02-21 | 分类于 linux
步骤登录服务器hostname进入目录,将集群全部机器列表写入文件,每行一个机器名12cd /home/q/fabric/hbase/vim fab_hbase_hostfile.txt fab_hbase_hostfile.txt是hostname列表 删除上次执行脚本遗留的文件1rm /home ...
阅读全文 »

iptables的使用

发表于 2015-02-20 | 分类于 linux
1、iptables的启停1service iptables stop|start 2、查看iptables的状态1service iptables status 3、查看当前服务器上的iptables配置规则1iptables --list 4、设置默认策略12345678iptables -P ...
阅读全文 »

利用备份恢复namenode数据

发表于 2015-02-20 | 分类于 hadoop
1、将备份的namenode数据拷贝到NN1启动配置的目录下(只是拷贝fsimage文件) 2、启动各个journalnode1./sbin/hadoop-daemon.sh start journalnode 3、将本地Namenode中的edits初始化Journalnodes1./bin/hd ...
阅读全文 »
1…161718…21

208 日志
34 分类
37 标签
Links
  • meihuakaile
© 2019
由 Hexo 强力驱动
|
主题 — NexT.Pisces v5.1.4