目录
前言：
一.spark读出
1. spark 读出 MySQL表数据
1.2 spark 读出 ClickHouse表数据
二.spark写入
1. spark 写入 MySQL表数据
2.spark 写入 ClickHouse表数据
前言：
这篇文章主要记录的是用spark集成ClickHouse和MySQL，
将数据read出，和将数据write写入表的 (记录笔记)
创建sparkSession
因为这个不是重点，所以先简单创建下，实际是需要按照你的需求创建的
// 创建SparkSession
val spark = SparkSession.builder().appName("Write to MySQL").config("spark.sql.catalogImplementation", "hive").getOrCreate()一.spark读出
1. spark 读出 MySQL表数据
//读取数据 spark.read.format("jdbc").option("url","jdbc:mysql://address-ip:3306/ds_db01??characterEncoding=UTF-8") //url.option("driver","com.mysql.jdbc.Driver") //驱动.option("user","root") //用户名.option("password","123456") //密码.option("dbtable","product_info") //表.load().createOrReplaceTempView("v")spark.sql("select * from v") //查询1.2 spark 读出 ClickHouse表数据
// 以jdbc为连接方式进行连接clickhouseval frame = sc.read.format("jdbc").option("driver","ru.yandex.clickhouse.ClickHouseDriver" )// 配置driver.option("url", "jdbc:clickhouse:/address-ip:8123/shtd_result")// 配置url.option("dbtable", "cityavgcmpprovince").option("user", "default").option("password", "123456").load()二.spark写入
1. spark 写入 MySQL表数据
// 将数据写入MySQL表
processedData.write.format("jdbc").option("driver", "com.mysql.jdbc.Driver").option("url", "jdbc:mysql://mysql-host:3306/database").option("dbtable", "mysql_table").option("user", "username").option("password", "password").mode(SaveMode.Append).save()2.spark 写入 ClickHouse表数据
// 将数据写入ClickHouse表
processeData.write.format("jdbc").option("driver", "ru.yandex.clickhouse.ClickHouseDriver").option("url", "jdbc:clickhouse://clickhouse-host:8123/database").option("dbtable", "clickhouse_table").option("user", "username").option("password", "password").mode(SaveMode.Append).save()processedData：代表你处理好的数据的DataFrame对象。
path/to/processedData.parquet：代表你处理好的数据的存储路径，可以是Parquet、CSV等格式。
mysql-host：代表MySQL数据库的主机名或IP地址。
database：代表MySQL数据库的名称。
mysql_table：代表要写入的MySQL表的名称。
username：代表连接MySQL所需的用户名。
password：代表连接MySQL所需的密码mode参数
1. SaveMode.Append：将新数据追加到目标表的末尾。如果表不存在，则创建一个新表并保存数据。
2. SaveMode.Overwrite：完全覆盖目标表的数据。如果表不存在，则创建一个新表并保存数据。
3. SaveMode.ErrorIfExists：如果目标表已经存在，则抛出一个错误。用于避免意外地覆盖已有数据。
4. SaveMode.Ignore：如果目标表已经存在，则忽略保存操作，不做任何处理。
这些参数用于指定保存数据时的行为。根据具体的需求，选择合适的保存模式可以确保数据正确地保存到目标表中，同时避免意外覆盖或丢失数据。
)
)
