spark job,stage,task划分
action 的触发会生成一个job
Job会提交给DAGScheduler,分解成Stage，DAGScheduler 根据shuffle将job划分为不同的stage
同一个stage中包含多个task，这些tasks有相同的 shuffle dependencies
ConcurrentLinkedQueue
发表于
|
分类于
juc
在JAVA多线程应用中，队列的使用率很高，多数生产者和消费者的首选数据结构就是队列（先进先出）。JAVA提供的线程安全队列分为阻塞队列和非阻塞队列，其中阻塞队列的典型例子就是BlockingQueue，而非阻塞队列的典型例子就是ConcurrentLinkedQueue，在实际应用中要根据实际需要来
...
JAVA并行框架：Fork/Join
发表于
|
分类于
juc
背景虽然目前处理器核心数已经发展到很大数目，但是按任务并发处理并不能完全充分的利用处理器资源，因为一般的应用程序没有那么多的并发处理任务。基于这种现状，考虑把一个任务拆分成多个单元，每个单元分别得到执行，最后合并每个单元的结果。
Fork/Join框架是JAVA7提供的一个用于并行执行任务的框架，是
...
PriorityQueue
发表于
|
分类于
java
优先队列，Priority是优先的意思，实际上这个队列就是具有“优先级”。既然具有优先级的特性，那么就得有个前后排序的“规则”。所以其接受的类需要实现Comparable 接口。
构造函数123456PriorityQueue()PriorityQueue(Collection<? ext
...
while read读取文件内容
发表于
|
分类于
shell
默认文件中每列按照tab分割1234while read ip user passdo echo "$ip--$user--$pass"done < ip.txt
1234cat ip.txt | while read ip user passdo echo &
...