Spark计算引擎剖析-董

生成逻辑查询计划，再转化为物理查询计划(stage+task)





每个action就是一个job


driver的三个阶段是单机的，只有第四个阶段是分布式的



shuffleDependency会产生m*n个连接数















shuffle: