已关闭
[Bug]: 5000w数据全量迁移时验证阶段报错 #1390
lijing3007kkk创建于  8月28日关闭于  27 天前
lijing3007kkk
lijing3007kkk成员
8月28日 创建

测试类型

工具功能

测试版本

7.0.0LTS

问题描述

5000w数据全量迁移时验证阶段报错,修改校验内存相关数据依然报错

操作系统和硬件信息

arm203

测试环境

企业版单机

被测功能

使用工具单独进行大表迁移(表数据5000w)-单一表类型有联合主键的表迁移

预置条件

mysql创建表
DROP TABLE IF EXISTS t_composite_pk_5000w;
CREATE TABLE t_composite_pk_5000w (
user_id BIGINT NOT NULL COMMENT '用户ID(联合主键1)',
order_id BIGINT NOT NULL COMMENT '订单ID(联合主键2, 同一user内递增)',
shop_id INT NOT NULL COMMENT '店铺ID',
amount DECIMAL(18,2) NOT NULL DEFAULT 0.00 COMMENT '订单金额',
status TINYINT NOT NULL DEFAULT 0 COMMENT '订单状态: 0待支付/1已支付/2已发货/3已完成/4已取消',
create_time DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
update_time DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
ext_info VARCHAR(255) DEFAULT NULL COMMENT '扩展信息',
PRIMARY KEY (user_id, order_id),
KEY idx_shop_status (shop_id, status),
KEY idx_create_time (create_time)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='联合主键测试表-5000w+行';
插入数据

操作步骤

step1 新建迁移任务,选择全量迁移 全量校验 增量迁移 反向迁移
step2 在验证阶段报错 异常4个
step3 修改迁移工具参数 full.check.extract.source.jvm full.check.jvm full.check.extract.sink.jvm为5G 重新执行任务

预期输出

成功

实际输出

校验失败

日志信息

数据校验source端日志source.log报错
image.png

提单组织

测试团队

测试代码

likedislike
lijing3007kkklijing3007kkk成员
8月28日 添加了label:bug
lijing3007kkklijing3007kkk成员
8月28日 关联了看板:临时看板
opengauss_botopengauss_bot成员
8月28日 添加了label:sig/Tools
opengauss_bot
opengauss_bot成员
8月28日 评论:

Welcome To openGauss Community

Hey @l3007kkk , thanks for your contribution to the community.

Bot Usage Manual

I'm the Bot here serving you. You can find the instructions on how to interact with me at Here . That means you can comment below every pull request or issue to trigger Bot Commands. You can self-configure the PR merge rules for this repository. For more details, please refer to Here.

Contact Guide

If you have any questions, please contact the SIG: Tools ,
and any of the maintainers: @CarrotGo, @chendong76, @chenxiaobin19, @congzhou2603, @dodders, @hwworkholic, @jemappellehc, @libiao2024, @muyulinzhong, @quemingjian, @shenzheng4, @shirley_zhengx, @superlchf, @totaj, @wlff234, @wofanzheng, @ywzq1161327784 ,
and any of the committers: @Louisyzh, @hw_hbj, @justbk, @libiao2024, @wang4721, @wang_xingmiao, @zengseliang, @zhangxubo .

likedislike
chendong76chendong76成员
9月1日 关联了看板:openGauss 7.0.0-LTS
chendong76chendong76成员
9月1日 移除了看板:临时看板
wangchaowangchao成员
9月5日 关联了pull request:修复联合主键检查点初始化内存溢出问题
wangchaowangchao成员
9月8日 issue状态由 待办的 改变为 已完成
wangchao
wangchao成员
9月9日 评论:

版本自验证 openGauss7.0.0.B022
基本功能
image.png
3张表5千万
image.png
当前联合主键表校验会比较慢,后期优化跟进处理
1000张表
image.png

likedislike
wangchaowangchao成员
9月9日 issue状态由 已完成 改变为 待回归
lijing3007kkk
lijing3007kkk成员
27 天前 评论:

回归结论:通过
回归版本:7.0.0-LTS b0022
回归截图:
image.png

likedislike
lijing3007kkklijing3007kkk成员
27 天前 issue状态由 待回归 改变为 已验收
lijing3007kkklijing3007kkk成员
27 天前 关闭了 issue