【Spark精讲】一文讲透SparkSQL物理执行计划

SparkSQL整体计划生成流程

大体分三步：

(1)由 SparkSqlParser 中的 AstBuilder执行节点访问，将语法树的各种Context节点转换成对应的 LogicalPlan 节点，从而成为一棵未解析的逻辑算子树(Unresolved LogicalPlan)，此时的逻辑算子树是最初形态，不包含数据信息与列信息等。

(2)由 Analyzer将一系列的规则作用在 Unresolved LogicalPlan 上，对树上的节点绑定各种数据信息，生成解析后的逻辑算子树(Analyzed LogicalPlan)。

(3)由 SparkSQL中的优化器(Optimizer)将一系列优化规则作用到上一步生成的逻辑算子树中，在确保结果正确的前提下改写其中的低效结构，生成优化后的逻辑算子树(Optimized LogicalPlan) 。

SparkSQL物理计划生成流程

大体分三步：

(1)由 SparkPlanner 将各种物理计划策略( Strategy)作用于对应的 LogicalPlan 节点上，生成 SparkPlan列表(注: 一个 LogicalPlan可能产生多种 SparkPlan)。

(2)选取最佳的 SparkPlan，在 Spark2.1 版本中的实现较为简单，在候选列表中直接用 next() 方法获取第一个。

(3)提交前进行准备工作，进行一些分区排序方面的处理，确保 SparkPlan各节点能够正确执行，这一步通过 prepareForExecution()方法调用若干规则(Rule)进行转换。

SparkPlan

Spark SQL 最终将 SQL 语句经过逻辑算子树转换成物理算子树。在物理算子树中，叶子类型的 SparkPlan节点负责呗无到有”地创建 RDD，每个非叶子类型的 SparkPlan节点等价于在 RDD 上进行一次 Transformation，即通过调用 execute()函数转换成新的 RDD，最终执行 collect() 操作触发计算，返回结果给用户。

如下图所示， SparkPlan 在对 RDD 做 Transformation 的过程中除对数据进行操作外，还可能对 RDD 的分区做调整。此外， SparkPlan 除实现 execute 方法外，还有一种情况是直接执行 executeBroadcast 方法，将数据广播到集群上。

具体来看， SparkPlan 的主要功能可以划分为 3 大块。首先，每个 SparkPlan 节点必不可少地会记录其元数据( Metadata)与指标( Metric)信息，这些信息以 Key-Value 的形式保存在 Map 数据结构中，统称为 SparkPlan 的 Metadata与 Metric体系。其次，在对 RDD 进行 Transformation操作时，会涉及数据分区( Partitioning)与排序( Ordering)的处理，称为 SparkPlan 的 Partitioning 与 Ordering体系；最后，SparkPlan作为物理计划，支持提交到 SparkCore去执行，即 SparkPlan 的执行操作部分，以 execute 和 executeBroadcast 方法为主。此外， SparkPlan 中还定义了一些辅助函数，如创建新谓词的 newPredicate 等，这些细节本章不再专门讲解。

在 Spark 2.1 版本中， Spark SQL 大约包含 65 种具体的 SparkPlan 实现，涉及数据源 RDD 的创建和各种数据处理等。根据 SparkPlan 的子节点数目，可以大致将其分为 4类。如下图所示，分别为 LeafExecNode、 UnaryExecNode、 BinaryExecNode 和其他不属于这 3 种子节点的类型，下面分别对这几种类型进行简要介绍。

LeafExecNode类型

叶子节点类型的物理执行计划不存在子节点。物理执行计划中与数据源相关的节点都属于该类型。在 Spark SQL 中，叶子节点类型的物理执行计划共有13种，如下图所示。其中， DataSourceScanExec作为基类，具体的实现包括 FileSourceScanExec和 RawDataSourceScanExec 两种。

LeafExecNode 类型的 SparkPlan 负责对初始 RDD 的创建。例如， RangeExec 会利用 Spark Context 中的 parallelize方法生成给定范围内的 64位数据的 RDD, HiveTableScanExec会根据 Hive 数据表存储的 HDFS 信息直接生成 HadoopRDD, FileSourceScanExec 根据数据表所在的源文件生成 FileScanRDD。

UnaryExecNode类型

UnaryExecNode 类型的物理执行计划的节点是一元的，意味着只包含 1 个子节点。在 Spark2.1版本中， UnaryExecNode类型的物理执行计划共有37种，如下图所示。实际上， UnaryExecNode 类型的物理计划也是数量最多的类型。

UnaryExecNode节点的作用主要是对 RDD进行转换操作。例如，之前案例所生成的物理算子树中， ProjectExec 和 FilterExec 分别对子节点产生的 RDD 进行列剪裁与行过滤操作。

Exchange负责对数据进行重分区， SampleExec对输入 RDD 中的数据进行采样， SortExec按照一定条件对输入 RDD 中数据进行排序， WholeStageCodegenExec 类型的 SparkPlan 将生成的代码整合成单个 Java 函数。

BinaryExecNode类型

顾名思义， BinaryExecNode类型的 SparkPlan 具有两个子节点，这种二元类型的物理执行计划在 SparkSQL 中共定义了 6种，如下图所示。这些 SparkPlan 中除 CoGroupExec外，其余的 5 种都是不同类型的 Join 执行计划。

对于这 5种类型的 Join执行计划，后面会在讲Join查询时进行详细介绍。值得一提的是 CoGroupExec执行计划，如下代码所示，其处理逻辑类似 SparkCore 中的 CoGroup操作，将两个要进行合并的左、右子 SparkPlan 所产生的 RDD，按照相同的 key值组合到一起，返回的结果中包含两个Iterator (迭代器)，分别代表左子树中的值与右子树中的值。