已关闭
[Bug]: datakit实例监控运行一段时间后停止,ssh连接池泄露 #1337
王正元创建于  6月27日关闭于  8月26日
王正元
王正元成员
6月27日 创建

测试类型

工具功能

测试版本

7.0.0LTS

问题描述

datakit使用observability-instance插件,创建了实例监控后,把服务端跟代理都配置好后,一开始运行正常,可以正常看到资源监控,实例指标,会话监控,SQL详情等待事件,当时当监控运行一段时间后,所有监控指标都归零了,程序自动停止了对于实例数据的采集,通过日志分析是报的ssh连接泄漏的问题。

操作系统和硬件信息

不涉及

测试环境

企业版单机

被测功能

DataKit 实例监控

预置条件

操作步骤

开启datakit实例监控

预期输出

实例监控正常运行

实际输出

datakit使用observability-instance插件,创建了实例监控后,把服务端跟代理都配置好后,一开始运行正常,可以正常看到资源监控,实例指标,会话监控,SQL详情等待事件,当时当监控运行一段时间后,所有监控指标都归零了,程序自动停止了对于实例数据的采集

日志信息

2026-06-23 18:56:39.931 [Metric-15001-Collector-e6b65a2e-df88-4e0f-b18c-01db8b21a0a2_agent_network_socket0] ERROR c.n.o.i.a.u.CmdUtils - Metric-15001-Collector-e6b65a2e-df88-4e0f-b18c-01db8b21a0a2_agent_network_socket0 Get SSH session fail for e6b65a2e-df88-4e0f-b18c-01db8b21a0a2
2026-06-23 18:56:39.931 [Metric-15001-Collector-e6b65a2e-df88-4e0f-b18c-01db8b21a0a2_agent_network_socket0] ERROR c.n.o.i.a.e.CollectException - CollectException:Get SSH session fail for e6b65a2e-df88-4e0f-b18c-01db8b21a0a2
2026-06-23 18:56:39.932 [Metric-15001-Collector-e6b65a2e-df88-4e0f-b18c-01db8b21a0a2_agent_network_socket0] ERROR c.n.o.i.a.s.i.MultiCollectorServiceImpl - The scheduled collection task for the metric [agent_network_socket] of node e6b65a2e-df88-4e0f-b18c-01db8b21a0a2 is fail
2026-06-23 18:56:39.932 [Metric-15001-Collector-e6b65a2e-df88-4e0f-b18c-01db8b21a0a2_agent_network_socket0] ERROR c.n.o.i.a.s.i.MultiCollectorServiceImpl - Get SSH session fail for e6b65a2e-df88-4e0f-b18c-01db8b21a0a2
2026-06-23 18:56:39.932 [Metric-15001-Collector-e6b65a2e-df88-4e0f-b18c-01db8b21a0a2_agent_sockstat0] ERROR c.n.o.i.a.p.SshClientSessionPool - Metric-15001-Collector-e6b65a2e-df88-4e0f-b18c-01db8b21a0a2_agent_sockstat0 Get ssh client session error!
2026-06-23 18:56:39.932 [Metric-15001-Collector-e6b65a2e-df88-4e0f-b18c-01db8b21a0a2_agent_sockstat0] ERROR c.n.o.i.a.p.SshClientSessionPool - java.util.NoSuchElementException: Timeout waiting for idle object, borrowMaxWaitDuration=PT2.99999967S
at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:309)
at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:231)
at com.nctigba.observability.instance.agent.pool.SshClientSessionPool.getSession(SshClientSessionPool.java:71)
at com.nctigba.observability.instance.agent.util.CmdUtils.readFromCmd(CmdUtils.java:151)
at com.nctigba.observability.instance.agent.util.FileUtils.readFileLine(FileUtils.java:67)
at com.nctigba.observability.instance.agent.util.FileUtils.readFileLine(FileUtils.java:52)
at com.nctigba.observability.instance.agent.metric.system.network.SocketStateGauge.collectData(SocketStateGauge.java:71)
at com.nctigba.observability.instance.agent.service.impl.MultiCollectorServiceImpl.lambda$scheduleCommonMetric7(MultiCollectorServiceImpl.java:249)atjava.base/java.util.concurrent.Executors7(MultiCollectorServiceImpl.java:249) at java.base/java.util.concurrent.ExecutorsRunnableAdapter.call(Executors.java:539)
at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264)
at java.base/java.util.concurrent.ScheduledThreadPoolExecutorScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:304)atjava.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136)atjava.base/java.util.concurrent.ThreadPoolExecutorScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:304) at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136) at java.base/java.util.concurrent.ThreadPoolExecutorWorker.run(ThreadPoolExecutor.java:635)
at java.base/java.lang.Thread.run(Thread.java:842)

提单组织

内部开发

测试代码

likedislike
王正元王正元成员
6月27日 添加了label:bug
opengauss_bot
opengauss_bot成员
6月27日 评论:

This issue requires an assignee. Since you haven't specified one, we've assigned TestManager as the default assignee for this issue.

likedislike
opengauss_botopengauss_bot成员
6月27日 将 TestManager 设为负责人
opengauss_botopengauss_bot成员
6月27日 添加了label:sig/Tools
opengauss_bot
opengauss_bot成员
6月27日 评论:

Welcome To openGauss Community

Hey @wangzhengyuan1 , thanks for your contribution to the community.

Bot Usage Manual

I'm the Bot here serving you. You can find the instructions on how to interact with me at Here . That means you can comment below every pull request or issue to trigger Bot Commands.

Contact Guide

If you have any questions, please contact the SIG: Tools ,
and any of the maintainers: @CarrotGo, @chendong76, @chenxiaobin19, @congzhou2603, @dodders, @hwworkholic, @jemappellehc, @muyulinzhong, @quemingjian, @shenzheng4, @shirley_zhengx, @superlchf, @totaj, @wlff234, @ywzq1161327784 ,
and any of the committers: @Louisyzh, @hw_hbj, @justbk, @libiao2024, @wang4721, @wang_xingmiao, @zengseliang, @zhangxubo .

likedislike
王正元王正元成员
6月27日 issue优先级由 无优先级 改变为 次要
王正元王正元成员
6月27日 移除了负责人 TestManager
opengauss_bot
opengauss_bot成员
6月27日 评论:

This issue requires an assignee. Since you haven't specified one, we've assigned TestManager as the default assignee for this issue.

likedislike
opengauss_botopengauss_bot成员
6月27日 将 TestManager 设为负责人
王正元王正元成员
6月27日 将 wang4721 设为负责人,移除负责人 TestManager
sungang14sungang14成员
7月8日 关联了看板:openGauss 7.0.0-LTS
wangchaowangchao成员
8月17日 issue状态由 待办的 改变为 已完成
wangchao
wangchao成员
8月19日 评论:

B019版本自验证
创建新DataKit 安装目录,安装DataKit
导入服务器,并添加运维用户
导入openGauss 主备集群数据库
安装智能运维插件
安装普罗米修斯插件
安装代理
查看智能运维集群监控信息
image.png
查看Agent日志
image.png

likedislike
wangchao
wangchao成员
8月19日 评论:

运行半小时查看
image.png
查看日志信息,无异常信息
image.png

观测日志信息
watch -n 2 grep -c 'Get SSH session fail' logs/agent.log

image.png

likedislike
wangchaowangchao成员
8月19日 issue状态由 已完成 改变为 待回归
lijing3007kkk
lijing3007kkk成员
8月26日 评论:

回归结论:通过
回归版本:7.0.0-LTS b0019
回归截图:

间隔一段时间查看 正常运行无异常中断
image.png
image.png

likedislike
lijing3007kkklijing3007kkk成员
8月26日 issue状态由 待回归 改变为 已验收
lijing3007kkklijing3007kkk成员
8月26日 关闭了 issue