生成逻辑查询计划，再转化为物理查询计划(stage+task)每个action就是一个jobdriver的三个阶段是单机的，只有第四个阶段是分布式的shuffleDependency会产生m*n个连接数shuffle:

Spark官方代码 http://spark.apache.org/examples.html Scala代码实例 https://github.com/apache/spark/tree/master/examples/src/ main/scala/org/apache/spa ...

缓存首先我们要知道什么是查询缓存？查询缓存又有什么作用？功能：mybatis提供查询缓存，用于减轻数据压力，提高数据库性能。用图来表示如下图： 一级缓存是SqlSession级别的缓存。在操作数据库时需要构造 sqlSession对象，在对象中有一个数据结构（HashMap）用于存储缓存数据。不同的 ...

单例应用 单例模式的定义单例模式确保某个类只有一个实例，而且自行实例化并向整个系统提供这个实例。 单例模式的特点单例类只能有一个实例。单例类必须自己创建自己的唯一实例。单例类必须给所有其他对象提供这一实例。 单例模式的应用 在计算机系统中，线程池、缓存、日志对象、对话框、打印机、显 ...

BIO:JDK1.4以前我们使用都是BIO 阻塞IO阻塞到我们的读写方法,阻塞到线程来提供性能.对于线程的开销本来就是性能的浪费.NIO:jdk1.4 linux 多路复用技术(select模式) 实现IO事件的轮询方式:同步非阻塞的模式.这个种方式目前是主流的网络通信模式.Mina，netty ...

http://dockone.io/article/136

flume接收kafka source落地本地，然后上传hdfs，避免flume直接上传hdfsmaven工程pom.xml1234567891011<version.flume>1.7.0</version.flume><dependency> <grou ...

slot在flink里面可以认为是资源组，Flink是通过将任务分成子任务并且将这些子任务分配到slot来并行执行程序。每个Flink TaskManager在集群中提供处理槽。 插槽的数量通常与每个TaskManager的可用CPU内核数成比例。一般情况下你的slot数是你每个TM的cpu的核数。 ...

1234567891011121314151617181920212223242526272829303132333435package com.examples.infoworld.helloword;import org.apache.flink.api.common.functions.Ric ...

1234567891011121314151617181920212223242526272829303132333435363738394041424344package com.examples.infoworld.helloword;/** *RichFuction除了提供原来MapFucti ...