spark编程基础python版 pdf_Spark编程基础Python版-第5章-Spark-SQL.pdf

《Spark编程基础(Python版)》

教材官网：/post/spark-python/

温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字

第5章Spark SQL

(PPT版本号：2020年1月版)

《Spark编程基础(Python厦门大学计算机科学系版)》 厦门大学计算机科学系 林子雨 2020版ziyulin@

课程教材

林子雨，郑海山，赖永炫 编著 《Spark编程基础(Python版)》

教材官网：/post/spark-python/

ISBN:978-7-115-52439-3 人民邮电出版社

本书以Python作为开发Spark应用程序

的编程语言，系统介绍了Spark编程的

基础知识。全书共8章，内容包括大数

据技术概述、Spark的设计与运行原理、

Spark环境搭建和使用方法、RDD编程、

Spark SQL、Spark Streaming 、

Structured Streaming 、Spark MLlib等。

本书每个章节都安排了入门级的编程实

践操作，以便读者更好地学习和掌握

Spark编程方法。本书官网免费提供了

全套的在线教学资源，包括讲义PPT、

习题、源代码、软件、数据集、授课视

频、上机实验指南等。

《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 ziyulin@

提纲

5.1 Spark SQL简介

5.2 DataFrame概述

5.3 DataFrame的创建

5.4 DataFrame的保存

5.5 DataFrame的常用操作

5.6 从RDD转换得到DataFrame

5.7 使用Spark SQL读写数据库

百度搜索厦门大学数据库实验室网站访问平台

《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 ziyulin@

5.1 Spark SQL简介

5.1.1 从Shark说起

5.1.2 Spark SQL设计

5.1.3 为什么推出Spark SQL

《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 ziyulin@

5.1.1 从Shark说起

输入

Hive: SQL-on-Hadoop

· 将SQL转换成抽象语法树

Parser

· 将抽象语法树转换成查询块