Spark修炼之道(高级篇)——Spark源码阅读:第十三节 Spark SQL之SQLContext(一)

  • 时间:
  • 浏览:2
  • 来源:大发5分11选5_大发5分11选5官网

fallback函数用于解析其它非Spark SQL Dialect的语法。

Spark SQL Dialect支持的关键字包括:

作者:周志湖

其isRootContext 被设置为false,就说 会抛出异常,机会root SQLContext没办法有有有一1个多,其它SQLContext与root SQLContext共享SparkContext, CacheManager, SQLListener。机会spark.sql.allowMultipleContexts为false,则只允许有有一1个多SQLContext处于

当spark.sql.allowMultipleContexts设置为true时,则允许创建多个SQLContexts/HiveContexts,创建妙招 为newSession

其调用的是私有的主构造函数:

createTable妙招 具有如下(具体功能参考注释说明):

sqlContext.registerDataFrameAsTable实质上调用的就说 catalog的registerTable 妙招 :

其对应的源码为:

会sqlContext的registerDataFrameAsTable妙招

用于解析DDL(Data Definition Language 数据定义语言)

describeTable及refreshTable代码如下:

sqlParser在SQLContext的定义:

SparkSQLParser为顶级的Spark SQL解析器,对Spark SQL支持的SQL语法进行解析,其定义如下:

SQLContext是Spark SQL进行底部形态化数据避免的入口,可不都都都可以通过它进行DataFrame的创建及SQL的执行,其创建妙招 如下:

catalog用于取回表、取回表、判断表与否处于等,累似 当DataFrame调用registerTempTable 妙招 时

主要做三件事,分别是创建表、描述表和更新表

SimpleCatalog整体源码如下:

其支持的关键字有: