一。安装MySQL
1.简单方式
sudo apt-get update
sudo apt-get install mysq-server
*此种方式可能由与Linux系统的不同安装的MySQL版本不一样(注意8.0还是5.0)
2.安装包方式(39条消息) linux 安装mysql8.0 超详细图文教程_亮亮同學的博客-CSDN博客_linux安装mysql8.0
(里面极其详细)
2.可能出现问题
安装过程中不需要输入密码,会自动生成,需要我们进行修改
从上面链接的16步开始修改(此处不修改后面,使用一般通用代码JDBC连接数据库会出现错误:java.sql.SQLException: Access denied for user 'root'@'localhost')
二。Spark连接Mysql数据库(通过JDBC连接数据库)
1.下载对应驱动
2。把该驱动程序拷贝到spark的安装目录” /usr/local/spark/jars”
cd /usr/local/spark
3.启动一个spark-shell,启动Spark Shell时,必须指定mysql连接驱动jar包
./bin/spark-shell \ --jars /usr/local/spark/jars/mysql-connector-java-8.0.20.jar \ --driver-class-path /usr/local/spark/jars/mysql-connector-java-8.0.20.jar
(注意目录与jar包是否与MySql匹配)
4。以下命令连接数据库,读取数据(8.0的)
val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/spark").option("driver","com.mysql.cj.jdbc.Driver").option("dbtable", "student").option("user", "root").option("password", "123456").load()
jdbcDF.show()
更多推荐
Linux安装MySql与Spark连接Mysql数据库(通过JDBC连接数据库)
发布评论