OpenStack SIG 开发工具

oos(openEuler OpenStack SIG)是OpenStack SIG提供的命令行工具。该工具为OpenStack SIG开发提供了若干功能。包括

1. 自动生成、更新RPM Spec
2. 自动分析OpenStack软件包依赖
3. 自动提交Spec PR到openEuler社区
4. 获取OpenStack SIG CI失败的PR列表
5. 为软件仓创建分支

oos在不断开发中，用户可以使用pypi上已发布的稳定版

pip install openstack-sig-tool

自动生成、更新、构建 RPM Spec

分别支持单个生成 RPM Spec 和批量生成 RPM Spec，可选是否 push 并提交 pr 到 OpenEuler 社区。

• 生成软件包的RPM Spec

oos spec create --name stevedore --version 1.28.0

• 更新软件包的RPM Spec

oos spec update --name stevedore --version 2.0.0

其他支持的参数有：

-n, --name
    指定软件包的名字
-v, --version
    指定软件包的版本
-s, --special
    使用该参数时,寻找当前文件夹下Spec文件并替换旧Spec文件中Version/Release/changelog，
-o, --output
    指定生成的Spec文件名
-d, --download
    指定该参数时，在当前文件夹下载source url文件
-r, --replace
    指定该参数时，替换Source中的url，不再追加

• 构建RPM软件包

oos spec build stevedore

• 复制软件仓下文件到rpmbulid目录

oos spec cp

其他支持的参数有：

-c, --clear
    删除rpmbuild目录
-b, --build
    复制文件后执行rpmbuild -ba pkg.spec命令
-i, --install-requires
    自动安装Spec文件中缺少的依赖包

自动分析OpenStack软件包依赖

以OpenStack train为例，

1. 调用脚本，生成缓存文件，默认存放在train_cached_file目录

cd tools/oos/scripts
python3 generate_dependence.py train
本命令默认会生成Train版本SIG支持的所有OpenStack服务，用户也可以根据自己需求，指定openstack项目，例如
python3 generate_dependence.py --projects nova,cinder train

2. 调用oos命令，生成依赖分析结果

oos dependence generate train_cached_file

其他支持的参数有：

-c, --compare
    结果是否与openeuler社区仓库进行比对，生成建议
-cb, --compare-branch
    指定openEuler比对的仓库分支，默认是master
-cf, --compare-from
    指定openEuler比对的仓库基础分支，用来给出sync分支建议，默认是master
-t, --token
    如果使用了-c，需要同时指定gitee token，否则gitee可能会拒接访问。
    或者配置环境变量GITEE_PAT也行。
-o, --output
    指定命令行生成的文件名，默认为result.csv

该命令运行完后，根目录下会生成1个结果文件，默认为result.csv。

3. 调用oos命令，比较openEuler软件仓中不同分支的版本是否满足依赖要求

由于网络等原因，请求出现报错的软件仓会记录在最后两行。 第一行列出了依赖文件名，可使用-p参数再次执行命令。 第二行列出了openEuler软件仓名称及简单的错误原因，方便访问查看仓库情况。

oos dependence compare train_cached_file

其他支持的参数有：

-b, --branches
    指定openEuler需要对比的仓库分支，默认是master，多个分支要求以空格分隔
-o, --output
    指定命令行生成的文件名，默认为compare_result.csv
-r, --release
    指定release名称，如wallaby antelope，获取openstack release网页中的软件包版本
-p, --packages
    指定需要分析的软件包名，不包含后缀，自动添加.json后缀
-a, --append
    追加模式写入文件，默认不追加
-t, --token
    访问gitee的token，不使用为匿名用户，访问API次数会被限制。

命令举例：

oos dependence compare 2023.1_cached_file -b 'master openEuler-23.03' -o my_result -r antelope -p 'aodh aodhclient autobahn'

生成csv文件示例及解释：

Name	RepoName	SIG	eq Version	ge Version	lt Version	ne Version	Upper Version	of community	master	status	openEuler-23.03	status
asgiref	python-asgiref	sig-python-modules		3.3.2	4	[]	3.5.2	[]	3.7.2	ge-match lt-match downgrade max3.5.2	3.5.2	ge-match lt-match up-match
openstack-cyborg	openstack-cyborg	sig-openstack	10.0.0			[]		['10.0.0']	[no tar]		8.0.0	specify ['10.0.0']

• Name: json文件名称
• RepoName: Name在openEuler对应的仓库名
• eq/ge/lt/ne/Upper Version: json文件中version_dict对应的版本
• of community: OpenStack release网页列出的软件版本，[]表示无该软件包
• branch和status: 如上表title中masteer openEuler-23.03为指定分支名称， 表格中为软件包在该分支的版本，status为对应分支的软件包版本和eq/ge/lt/ne/Upper Version的比较结果

如上表中:
asgiref的版本要求为大于等于3.3.2，小于4，上限为3.5.2， master分支3.7.2，高于上限要求，openEuler-23.03分支3.5.2，满足版本要求。
openstack-cyborg属于社区指定的软件包，要求版本为10.0.0。指定分支均不满足要求

4. 调用oos命令，按行读取文件内容，生成list，并比较两个list的特定差异， 默认生成comp_result.csv文件存放比较结果

oos dependence compare-list file1 file2

其他支持的参数有：

-o, --output
    指定命令行生成的文件名，默认为comp_result.csv

file1中有ansible-lint、babel等软件仓名字，file2中有ansible-lint、 avro-python3等软件仓名字，比较两个软件仓差异结果如下：

Right	Left
ansible-lint	ansible-lint
***	avro-python3
babel	***
***	crudini
***	dibbler
diskimage-builder	diskimage-builder
future	***
gnocchi	gnocchi
***	google-auth-httplib2

获取OpenStack SIG PR列表

该工具能够扫描OpenStack SIG包含项目的PR，梳理成列表。

1. 调用oos命令， 将PR信息梳理成列表输出

oos repo pr-fetch -r REPO -t gitee-pat

该命令所支持的参数如下：

-t, --gitee-pat
    [可选] 个人Gitee账户personal access token，可以使用GITEE_PAT环境变量指定
-r, --repo
    [可选] 组织仓库的名称，默认为组织下的所有仓库，格式为openeuler/xxx,src-openeuler/xxx
-o, --output
    [可选] 输出文件名，默认为prs.yaml

该命令运行完后，目录下会生成1个结果文件，默认为prs.yaml。

创建软件仓

可以使用oos repo create命令创建openeuler或者src-openeuler软件仓

• 在openeuler或者src-openeuler创建软件仓，需要提供要创建仓库的软件仓列表.csv文件或者指定单个软件仓，以及Gitee的账号等信息：

oos repo create --repo autopage:python-autopage -t GITEE_PAT

或者指定.csv文件一次创建多个软件仓库，.csv包括pypi_name和repo_name两列：

oos repo create --repos-file ~/repos.cvs -t GITEE_PAT

该命令所支持的参数如下：

-t, --gitee-pat
    [必选] 个人Gitee账户personal access token，可以使用GITEE_PAT环境变量指定
-e, --gitee-email
    [可选] 个人Gitee账户email地址，可使用GITEE_EMAIL指定, 若在Gitee账户公开，可通过Token自动获取
-o, --gitee-org
    [可选] repo所属的gitee组织名称，默认为src-openeuler
-r, --repo
    [可选] 软件仓名，和--repos-file参数二选一，格式为pypi_name:repo_name
-rf, --repos-file
    [可选] openEuler社区软件仓库名的.csv文件，目前包含`pypi_name`和`repo_name`两列，和--repo参数二选一
--community-path
    [可选] openeuler/community项目本地仓路径
-w, --work-branch
    [可选] 本地工作分支，默认为openstack-create-repo
-dp, --do-push
    [可选] 指定是否执行push到gitee仓库上并提交PR，如果不指定则只会提交到本地的仓库中

为软件仓创建分支

可以使用oos repo branch-create命令为openeuler软件仓创建分支

• 为软件仓创建分支，需要提供要创建分支的软件仓列表.csv文件或者指定单个软件仓名称，对应新建分支信息以及Gitee的账号等信息， 以为openstack-nova仓创建openEuler-21.09分支为例：

oos repo branch-create --repo openstack-nova -b openEuler-21.09 protected master -t GITEE_PAT

• 为软件仓批量创建多分支，需要提供要创建分支的软件仓列表.csv文件或者指定单个软件仓名称，对应新建分支信息以及Gitee的账号等信息， 以为repos.csv中软件仓创建openEuler-21.09分支和openEuler-22.03-LTS多分支为例，并提交pr为例：

oos repo branch-create --repos-file repos.csv -b openEuler-21.09 protected master 
-b openEuler-22.03-LTS protected openEuler-22.03-LTS-Next -t GITEE_PAT --do-push

该命令所支持的参数如下：

-t, --gitee-pat
    [必选] 个人Gitee账户personal access token，可以使用GITEE_PAT环境变量指定
-e, --gitee-email
    [可选] 个人Gitee账户email地址，可使用GITEE_EMAIL指定, 若在Gitee账户公开，可通过Token自动获取
-o, --gitee-org
    [可选] repo所属的gitee组织名称，默认为src-openeuler
-r, --repo
    [可选] 软件仓名，和--repos-file参数二选一
-rf, --repos-file
    [可选] openEuler社区软件仓库名的.csv文件，目前只需要包含`repo_name`一列，和--repo参数二选一
-b, --branches
    [必选] 需要为软件包创建的分支信息，每个分支信息包含：要创建的分支名称，分支类型（一般为protected）和父分支名称，
    可以携带多个-b来批量创建多个分支
--community-path
    [可选] openeuler/community项目本地仓路径
-w, --work-branch
    [可选] 本地工作分支，默认为openstack-create-branch
-dp, --do-push
    [可选] 指定是否执行push到gitee仓库上并提交PR，如果不指定则只会提交到本地的仓库中

为软件仓删除分支

可以使用oos repo branch-delete命令为openeuler软件仓删除分支

• 为软件仓删除分支，需要提供要删除分支的软件仓列表.csv文件或者指定单个软件仓名称，对应需要删除的分支信息以及Gitee的账号等信息， 以为openstack-nova仓删除openEuler-21.09分支为例：

oos repo branch-delete --repo openstack-nova -b openEuler-21.09 -t GITEE_PAT

• 为软件仓批量删除多个分支，需要提供要删除分支的软件仓列表.csv文件或者指定单个软件仓名称，对应需要删除的分支信息以及Gitee的账号等信息， 以为repos.csv中软件仓删除openEuler-21.09分支和openEuler-22.03-LTS多分支为例，并提交pr为例：

oos repo branch-delete --repos-file repos.csv -b openEuler-21.09 -b openEuler-22.03-LTS -t GITEE_PAT --do-push

该命令所支持的参数如下：

-t, --gitee-pat
    [必选] 个人Gitee账户personal access token，可以使用GITEE_PAT环境变量指定
-e, --gitee-email
    [可选] 个人Gitee账户email地址，可使用GITEE_EMAIL指定, 若在Gitee账户公开，可通过Token自动获取
-o, --gitee-org
    [可选] repo所属的gitee组织名称，默认为src-openeuler
-r, --repo
    [可选] 软件仓名，和--repos-file参数二选一
-rf, --repos-file
    [可选] openEuler社区软件仓库名的.csv文件，目前只需要包含`repo_name`一列，和--repo参数二选一
-b, --branch
    [必选] 需要为软件仓删除的分支名称，可以携带多个-b来批量删除多个分支
--community-path
    [可选] openeuler/community项目本地仓路径
-w, --work-branch
    [可选] 本地工作分支，默认为openstack-delete-branch
-dp, --do-push
    [可选] 指定是否执行push到gitee仓库上并提交PR，如果不指定则只会提交到本地的仓库中

批量fork仓库

可使用oos repo fork命令fork多个仓库

oos repo fork <token> <names>

oos repo fork ****** 'python-repo1 repo2'

该命令所支持的参数如下：

-o, --gitee-org
    [可选] repo所属的gitee组织名称，默认为src-openeuler

查看软件仓的各个分支的文件版本

可使用oos repo branch-version-list命令查看某个软件仓的各个分支的文件版本

oos repo branch-version-list repo -t GITEE_PAT

该命令所支持的参数如下：

-t, --gitee-pat
    [必选] 个人Gitee账户personal access token，可以使用GITEE_PAT环境变量指定
-o, --gitee-org
    [可选] repo所属的gitee组织名称，默认为src-openeuler
-s, --suffix
    [可选] 文件的后缀，默认为.tar.gz
-k, --keyword
    [可选] 查看包含指定关键字的分支，默认为查看所有分支

提交特定PR

可使用oos repo create-pr -t <GITEE_PAT> -m <comment> -a命令， 将本地仓库当前分支的修改提交，并创建PR。该功能有一定限制， 请仔细了解命令参数后再使用。

• 该命令方便RPM构建使用，其他场景可能不适配
• PR的标题为当前仓库SPEC文件最新的changelog，取changelog后第二行的内容，不填写PR内容
• PR默认读取git config --list中user.name做为创建PR时的username，不支持修改

该命令所支持的参数如下：

-t, --gitee-pat
    [必选] 个人Gitee账户personal access token，可以使用GITEE_PAT环境变量指定
-o, --gitee-org
    [可选] repo所属的gitee组织名称，默认为src-openeuler
-b, --remote-branch
    [可选] PR提交目标分支的名称，默认使用本地当前分支名称
-a, --add-commit
    [可选] 执行"git add .", "git commit -m <changelog>", "git push"三个命令来
    提交当前修改，不携带该参数不提交修改，且认为修改已提交
-m, --comment
    [可选] 在提交PR后添加评论，如"/sync branch1"

合并特定PR

可使用oos repo pr-merge -t <GITEE_PAT> -a <author> -n <num>命令， 批量合并PR，适用于LTS版本开发，向其他分支使用/sync命令同步的PR。 合并方法为评论/lgtm和/approve

建议执行命令后再查看下相关PR，相关链接会在打印输出。

该命令所支持的参数如下：

-t, --gitee-pat
    [必选] 个人Gitee账户personal access token，可以使用GITEE_PAT环境变量指定
-o, --gitee-org
    [可选] repo所属的gitee组织名称，默认为src-openeuler
-s, --sig
    [可选] PR所属sig，默认sig-openstack
-a, --author
    [可选] PR创建者，默认openeuler-sync-bot
-c, --comment
    [可选] PR下添加其他评论，仅支持单行评论，无法识别转义字符"\n"
-n, --number
    [可选] 合并PR的数量，不指定为全部

版本平移批量创建分支

对于继承上一个版本的新版本开发， 可使用oos repo community-create-pr -i -r <reference-branch> -a <aim-branch> -s <file-path>命令， 自动修改community中软件包的yaml文件，该命令仅适用与版本继承，需要在community仓库sig目录下执行，判断每个sig中src-openeuler路径下软件包是否存在某个分支，如存在从Next创建分支。

按照分支开发原则，新分支从Next分支拉取。

该命令所支持的参数如下：

-i, --inherit
    [可选] 标记是否为继承
-r, --reference
    [可选] 参考分支，如SP3平移SP2，输入SP2的分支名，对应yaml文件中创建过SP2分支，则创建SP3分支
-a, --aim-branch
    [可选] 需要创建的分支名称
'-s', '--save-path'
    [可选] 保存当前创建分支的仓库列表到此路径，列表格式为首行分支名称，其余行为仓库名称

为Multi-version分支初始化EBS工程

初始化EBS工程 对于继承上一个版本的新版本开发， 可使用oos repo ebs-init -p <path>命令，自动编写EBS工程初始化的内容，该命令仅适用与版本继承， 需要在release-management仓库multi_version目录下执行，根据输入文件添加EBS工程初始化内容。

文件格式为首行分支名称，其他行为仓库名称，举例如下

Multi-Version_OpenStack-Wallaby_openEuler-22.03-LTS-SP4
PyYAML
ansible-lint
...

该命令所支持的参数如下：

-p, --path
    [必选] 标仓库名列表文件，格式为首行分支名称，其他行为仓库名称

华为弹性云服务器操作

支持start、shutdown、reinstall、changeos操作

• 查看环境信息命令

oos env list

该命令所支持参数如下： 不带任何参数，查看使用oos工具部署OpenStack的环境信息
可参考基于OpenStack SIG开发工具oos快速部署

-r, --remote
    [可选] 查看所有弹性云服务器，显式服务器IP、ID、Name、Status
-i, --image
    [可选] 查看所有镜像，显式镜像ID、Name、Status
-f, --flavor
    [可选] 查看所有虚拟机规格，显式规格ID、Name、vcpus、ram
-v, --vpc
    [可选] 查看所有虚拟私有云
-s, --subnet
    [可选] 查看所有子网
-sg, --security-group
    [可选] 查看所有安全组
-sr, --security-group-rule
    [可选] 查看所有安全组规则
-k, --keyword
    [可选] 查看弹性云服务器或者镜像或者虚拟机规格时，过滤Name中包含keyword关键字的条目
-t, --image-type
    [可选] 查看镜像时指定镜像类型，公共、私有、共享、市场

• 启动云服务器

oos env start <x.x.x.x>

• 关闭云服务器

oos env stop <x.x.x.x>

• 重装云服务器

oos env reinstall <x.x.x.x>

该命令所支持参数如下：

-p, --pwd
    [可选] 指定云服务器重装后的登陆密码，不指定为原密码
-f, --file
    [可选] 支持以文件方式注入用户数据，需要镜像支持cloud-init，不支持不影响重装

• 切换弹性云服务器操作系统

oos env changeos

该命令所支持参数如下：

-s, --server-id
    [可选] 指定弹性云服务器的ID，该参数会覆盖ip参数
-i, --image-id
    [可选] 指定镜像ID，生效时image-id参数无效
-k, --keyword
    [可选] 通过Name中关键字指定使用镜像，未指定image-id时生效，通过keyword找到多个关键字无效
-p, --pwd
    [可选] 指定云服务器切换系统后的登陆密码，不指定为原密码
-f, --file
    [可选] 支持以文件方式注入用户数据，需要镜像支持cloud-init，不支持不影响切换系统

• 创建弹性云服务器

oos env create-server

该命令所支持参数如下：

-f, --flavor
    [必选] 指定服务器规格
-i, --image-id
    [必选] 指定镜像ID
-v, --vpc-name
    [必选] 指定所属私有云vpc名称
-n, --name
    [必选] 指定弹性云名称
-p, --pwd
    [必选] 指定云服务器登陆密码
-r, --root-size
    [必选] 指定启动卷的大小，单位GB
-d, --data-size
    [可选] 指定数据卷的大小，单位GB

• 删除弹性云服务器

oos env delete-server <ip> <id>

• 查看、绑定、解绑安全组和弹性云服务器

oos env sg-relation <server-ip>

该命令所支持参数如下：

-a, --associate
    [可选] 绑定安全组
-d, --disassociate
    [可选] 解绑安全组

• 创建或删除安全组

oos env sg-operate <name>

该命令所支持参数如下：

-i, --is-delete
    [可选] 标记创建或删除安全组，默认创建安全组

• 创建或删除安全组安全组规则

oos env sr-operate <name>

该命令所支持参数如下：

-i, --ip
    [可选] 安全组规则ip，ip格式为CIDR
-n, --name
    [可选] 指定安全组名称
-e, --egress
    [可选] 指定出入方向，默认ingress
-t, --ethertype
    [可选] 指定IP地址协议类型
-p, --protocol
    [可选] 指定协议类型
-pt, --port
    [可选] 指定端口范围
-d, --description
    [可选] 安全组规则描述
-r, --rule-id
    [可选] 删除安全组规则，与其他参数同时使用时优先删除规则

环境和依赖

上述oos spec build命令需要依赖于rpmbuild工具，因此需要安装以下相关软件包：

yum install rpm-build rpmdevtools

同时，需要预先准备好rpmbuild命令所需的相关工作目录，执行如下命令：

rpmdev-setuptree

在执行oos spec build命令时可以指定--build-root参数为rpmbuild工作目录的根目录，默认为当前用户目录下rpmbuild/目录。

另外，为了便于使用该工具，可以使用Docker快速构建一个打包环境，具体详见docker/目录下的README.