具体streamsets crate 集成可以参考 streamsets crate
以下文档只关注minio 集成的配置
minio 服务
-
搭建
具体搭建参考： https://www.cnblogs.com/rongfengliang/p/9197315.html
-
创建bucket （crate 集成使用）
测试的csv 文件从https://www.streamsets.com/documentation/datacollector/sample_data/tutorial/nyc_taxi_data.csv 下载
集成
- pipeline flow
- minio s3 配置
- 字段转换配置
- cratedb 配置
测试&&运行
- 运行
- cratedb 数据
参考资料
https://crate.io/docs/crate/guide/en/latest/tools/streamsets.html
https://www.cnblogs.com/rongfengliang/p/9197315.html
https://github.com/rongfengliang/streamsets-demos/tree/master/cratedb
