9743b23e创建于 2023年3月30日历史提交

一、Kettle适配OBS

Kettle的功能介绍可参考pentaho 9.4,这里仅介绍Kettle做了哪些适配工作。

(一)适配介绍

(二)Kettle的启动方式

本文提供了两种Kettle启动方式。

  • 源码编译部署启动;
  • 安装包启动。

若对Kettle源码和适配OBS过程感兴趣的可以参考第一种方式;若想直接使用Kettle工具的可以参考第二种方式。

二、源码编译部署启动

(一)pentaho-kettle源码编译

不做具体介绍,可参考pentaho-kettle 9.4

注意: 不要使用mvn clean,直接使用mvn install -Posgi -DskipTests进行安装,最终得到一个pdi-ce-9.4.0.0-SNAPSHOT-osgi.zip的压缩包,解压到 xxx\ 目录下得到一个data-integration文件夹(即Kettle工具包),接下来进行OBS适配工作。

(二)obs-vfs源码编译

1.编译环境

2.编译过程

  • 进入 xxx\obs-vfs\ 目录下打开cmd命令行窗口;
  • 输入命令:mvn clean install -DskipTests
  • 进入xxx\obs-vfs\target下解压pentaho-obs-vfs-9.4.0.0-SNAPSHOT.zip得到pentaho-obs-vfs-plugin文件夹;
  • pentaho-obs-vfs-9.4.0.0-SNAPSHOT.jar复制到pentaho-obs-vfs-plugin文件夹中,再将pentaho-obs-vfs-plugin文件夹复制到 xxx\data-integration\plugins\ 目录下。

(三)driver源码编译

1.编译环境

  • 安装JDK11;
  • Maven3+;
  • driver的settings.xml
  • 下载hadoop-huaweicloudhadoop-huaweicloud-3.1.1-hw-45.jarhadoop-huaweicloud-3.1.1-hw-45.pom文件。

2.编译过程

  • 进入 xxx\driver\ 目录下打开cmd命令行窗口;
  • 输入命令:mvn clean install -DskipTests
  • 如果遇到com.huaweicloud:hadoop-huaweicloud找不到的情况,将前面下载的hadoop-huaweicloud-3.1.1-hw-45.jarhadoop-huaweicloud-3.1.1-hw-45.pom文件手动复制到本地仓库 xxx\com\huaweicloud\hadoop-huaweicloud\3.1.1-hw-45\ 目录下;
  • 再次输入命令:mvn clean install -DskipTests
  • 在 xxx\data-integration\ 目录下搜索pentaho-hadoop-shims-apache-driver-9.4.0.0-SNAPSHOT.jar的位置,删掉pentaho-hadoop-shims-apache-driver-9.4.0.0-SNAPSHOT.jar后,将 xxx\driver\target\ 目录下的pentaho-hadoop-shims-apache-driver-9.4.0.0-SNAPSHOT.jar复制过去

(四)启动

1.启动环境

  • 安装JDK11;
  • 安装Hadoop3.0+。

2.启动过程

  • 进入 xxx\data-integration\ 目录下,双击Spoon.bat
  • 如果要用到数据库,需要手动加入Mysql、Oracle等驱动jar包,可置于 xxx\data-integration\lib\ 目录下。

三、安装包启动

(一)环境

  • 安装JDK11;
  • 安装Hadoop3.0+。

(二)启动

  • 下载Kettle安装包;
  • 解压到 xx\ 目录下;
  • 进入 xx\data-integration\ 目录下,双击Spoon.bat