Pulsar对接华为云OBS,DLI,DWS等云服务
Huawei-Pulsar-plugins
项目背景
Pulsar 作为下一代云原生分布式消息流平台,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐以及低延时的高可扩展流数据存储特性,内置诸多其他系统商业版本才有的特性,是云原生时代解决实时消息流数据传输、存储和计算的很好的解决方案。
参考资料:https://zhuanlan.zhihu.com/p/349684082
https://blog.csdn.net/wt334502157/article/details/117414153
扩展说明
| 扩展对象 | 对标 | 参考代码路径 | 功能要求 | 工作量对照(代码行) |
|---|---|---|---|---|
| 权限认证 | aws | pulsar-io/aws/ | 通用权限认证代码 | 500 |
| DLI | aws-kinesis | pulsar/kinesis/ | KinesisSource/KinesisSink | 2700 |
| NoSql | aws-Dynamodb | pulsar-io/dynamodb/ | DynamoDBSource | 1000 |
| DWS | aaws-redshift | pulsar-io/jdbc | JdbcDriverType 配置式 | 代码量无,对接验证 |
-
以上的参考代码路径和功能要求中所列出的包/类路径,只是主要逻辑代码的参考路径,会存在项目本身扩展逻辑相关的少量代码不在此列
-
本代码扩展的最后一步是将代码共享到hazel社区,达到最终由社区开发者同步维护的目的,所以要求代码风格良好,代码注释全且全英文,文档以及相关测试代码必须齐全才算完整交付
-
相关代码开发工作
-
其他非开发者工作量(多种架构一键部署方案,脚本等等)