已关闭
【测试类型:并发/压力长稳】【测试版本:6.0.0】内核coredump在openssl三方库中 #385
hwworkholic创建于  2024年9月10日关闭于  2025年7月24日
hwworkholic
hwworkholic成员
2024年9月10日 创建

【标题描述】:
【测试类型:并发/压力长稳】【测试版本:6.0.0】内核coredump在openssl三方库中

【操作系统和硬件信息】(查询命令: cat /etc/system-release, uname -a):
openEuler release 20.03 (LTS)
Linux openGauss85 4.19.90-2003.4.0.0036.oe1.aarch64 #1 SMP Mon Mar 23 19:06:43 UTC 2020 aarch64 aarch64 aarch64 GNU/Linux

【测试环境】(单机/1主x备x级联备):
1主2备

【被测功能】:
长稳

【测试类型】:
tpcc长稳压测

【数据库版本】(查询命令: gaussdb -V):

【预置条件】:

【操作步骤】(请填写详细的操作步骤):

  1. 长稳

【预期输出】:
无coredump
【实际输出】:
有coredump

warning: File "/usr/lib64/libthread_db-1.0.so" auto-loading has been declined by your `auto-load safe-path' set to "debugdir:debugdir:datadir/auto-load".

warning: Unable to find libthread_db matching inferior's thread library, thread debugging will not be available.
Core was generated by `/usr1/zhoucong/opengauss/install/app/bin/gaussdb -D /usr1/zhoucong/opengauss/in'.
Program terminated with signal SIGSEGV, Segmentation fault.
#0 0x0000fffc64efd1d4 in pthread_rwlock_wrlock () from /lib64/libpthread.so.0
[Current thread is 1 (LWP 2592456)]
(gdb) bt
#0 0x0000fffc64efd1d4 in pthread_rwlock_wrlock () from /lib64/libpthread.so.0
#1 0x0000fffc763abb9c in CRYPTO_THREAD_write_lock () from /usr1/zhoucong/opengauss/install/app/lib/libcrypto.so.1.1
#2 0x0000fffc76381034 in RAND_get_rand_method () from /usr1/zhoucong/opengauss/install/app/lib/libcrypto.so.1.1
#3 0x0000fffc763813ac in RAND_priv_bytes () from /usr1/zhoucong/opengauss/install/app/lib/libcrypto.so.1.1
#4 0x0000aaac68f99d30 in ConnCreate (serverFd=26, idx=idx@entry=5) at /usr1/cctest/openGauss-server/src/gausskernel/process/postmaster/postmaster.cpp:5582
#5 0x0000aaac68fa8144 in ServerLoop () at /usr1/cctest/openGauss-server/src/gausskernel/process/postmaster/postmaster.cpp:4076
#6 0x0000aaac68fad7b4 in PostmasterMain (argc=, argv=)
at /usr1/cctest/openGauss-server/src/gausskernel/process/postmaster/postmaster.cpp:3185
#7 0x0000aaac68568228 in main (argc=3, argv=0xfffc636b9b48) at /usr1/cctest/openGauss-server/src/gausskernel/process/main/main.cpp:352
(gdb) q

【原因分析】:

  1. 这个问题的根因
    疑似openssl三方库已知bug,参考https://github.com/openssl/openssl/issues/11144

  2. 问题推断过程

  3. 还有哪些原因可能造成类似现象

  4. 该问题是否有临时规避措施

  5. 问题解决方案

  6. 预计修复问题时间

【日志信息】(请附上日志文件、截图、coredump信息):

【测试代码】:

likedislike
hwworkholichwworkholic成员
2024年9月10日 创建了缺陷
opengauss_bot
opengauss_bot成员
2024年9月10日 评论:

Hey @struggle_hw, Welcome to openGauss Community.
All of the projects in openGauss Community are maintained by @opengauss_bot.
That means the developers can comment below every pull request or issue to trigger Bot Commands.
Please follow instructions at Here to find the details.

likedislike
opengauss_bot
opengauss_bot成员
2024年9月10日 评论:

Hi @struggle_hw, please use the command /sig xxx to add a SIG label to this issue.
For example: /sig sqlengine or /sig storageengine or /sig om or /sig ai and so on.
You can find more SIG labels from Here.
If you have no idea about that, please contact with @xiangxinyong , @zhang_xubo .

likedislike
hwworkholichwworkholic成员
2024年9月10日 将负责人设置为liuheng
此处折叠了5条事件消息 查看更多
liuhengliuheng成员
2024年9月11日 添加协作者liuheng
hwhbj
hwhbj
2024年9月12日 评论:

openssl修复代码:https://github.com/openssl/openssl/pull/14603/files
社区openssl为修复后版本。

likedislike
shenzheng4shenzheng4成员
2024年9月13日 将计划截止日期设置为2024-09-20
AAtomGit-Bot成员
2024年9月23日 将优先级设置为次要
hwhbjhwhbj
2024年11月12日 关联了openGauss/CM Pull Request !282
czywj
czywj成员
2024年11月27日 评论:

20241127 资源池化场景出现coredump
输入图片说明
输入图片说明
输入图片说明

likedislike
AAtomGit-Bot
2025年4月9日 将关联项目从 openGauss 6.0.0 community 修改为openGauss 7.0.0-RC2 community
hwhbjhwhbj
2025年4月22日 将计划截止日期从 2024-09-20 修改为2024-10-01
hwhbjhwhbj
2025年4月22日 将计划开始日期设置为2024-10-01
hwhbjhwhbj
2025年4月22日 将计划截止日期从 2024-10-01 修改为2025-10-01
hwhbjhwhbj
2025年4月22日 将计划开始日期从 2024-10-01 修改为2025-05-01
shenzheng4shenzheng4成员
2025年4月23日 将关联项目从 openGauss 7.0.0-RC2 community 修改为openGauss 6.0.0 community
jianghongbo
jianghongbo
2025年7月15日 评论:

openGauss已进行三方库日落,使用系统默认openssl,RAND_priv_bytes已替换为RAND_bytes接口。对应pr:
https://gitcode.com/opengauss/openGauss-server/pull/7932

likedislike
liuheng
liuheng成员
2025年7月17日 评论:

复现:
1.资源池化,tpcc连跑
2.将dss_home 移动
3.kill -9 dss进程
4.看集群状态,是否有core文件

使用的6.0.0B035的包
image.png
image.png
发生了core
image.png

使用7.0.0-RC2 B016的包,操作步骤和上面的一致
image.png
image.png
没有core
image.png

tpcc也正常
image.png

likedislike
liuheng
liuheng成员
2025年7月23日 评论:

2025-7-23 7.0.0-RC2 B017 验证通过

1.tpcc连跑
2.操作步骤如下
image.png
3.查询集群状态
image.png
4.连跑一段时间,再次查询,没有core,tpcc也正常
image.png
image.png

likedislike
jianghongbojianghongbo
2025年7月23日 issue状态由 待办的 改变为 待回归
czywj
czywj成员
2025年7月24日 评论:

回归版本:B017
gaussdb (openGauss 7.0.0-RC2 build 5038af63) compiled at 2025-07-23 09:21:40 commit 0 last mr 8106
结论:通过
主节点拉起读写业务,备节点拉起只读业务,主节点做故障
image.png
image.png
image.png
image.png
image.png

likedislike
czywjczywj成员
2025年7月24日 issue状态由 待回归 改变为 已验收
czywjczywj成员
2025年7月24日 关闭了 issue