master

Ssuperlchf为hnsw检索添加mmap加载

02943fb8创建于 2025年6月6日历史提交

文件	最后提交记录	最后更新时间
access	merge master into master Improve kernel's extension scalability Created-by: libiao2024 Commit-by: totaj;赵岑炯;libiao Merged-by: opengauss_bot Description: 【标题】(请简要描述下实现的内容) 【实现内容】: 1. bgworker 支持独立于启动它的backend运行，生命周期、快照、事务等信息不跟随backend 1.1 为bgworker增加flag，标识此类独立的bgworker 1.2 backend退出时，不给独立的bgworker发SIGINT信号，也不等待他的退出，因为此类bgworker会在后台持续运行，相关的内存也不释放，使用instance级别的context 1.3 PM退出时，对独立的bgwoker发SIGTERM信号退出 1.4 事务commit/abort时，独立的bgworker按正常backend处理 2. 新增extensiblenode相关结构体适配，支持第三方插件通过extensiblenode实现自定义功能 3. spq插件加载过程中，允许系统表修改。 4. 原IsConnPortFromCoord宏只对旧版本的SPQ插件可见，现改为全局可见，允许所有从coordinator发起的连接使用远程trust连接，并且若发现客户端非coordinator，则跳过这条trust规则，允许继续在pg_hba.conf中继续查找后续规则。 5. 若spq目录存在，则编译和打包也会包含spq的编译和打包。 【根因分析】: 1. 当前bgworker和启动bgworker的线程属于强绑定关系，这个逻辑适用于并行查询/并行创建索引的场景，如果发起并行查询的线程退出了，后台对应的bgworker确实也应该相应退出。但是这个逻辑不适用于独立的bgworker，对于插件，可能需要拉起一个自定义的bgworker，他是独立于发起线程的，有自己独立的生命周期，可以理解成现在openGauss后台已有的那些后台线程，属于常驻后台线程，不应该随发起bgworker的线程退出而退出，所以需要适配此种场景。 2. spq插件实现分布式，其中涉及：1.插件加载时需要修改系统表 2.分布式运行过程中，需要自动从coordinator（CN节点）连接DN节点，此时无法使用密码。 【实现方案】: 【关联需求或issue】: https://gitcode.com/opengauss/org-issue/issues/27 【开发自验报告】: 1. 请附上自验结果(内容或者截图) 2. 是否可以添加fastcheck测试用例，如是，请补充fastcheck用例 3. 是否涉及资料修改，如是，在docs仓库补充资料 4. 是否考虑升级场景(系统表修改、日志持久化以及修改执行态数据格式) 5. 是否考虑在线扩容等扩展场景 6. 是否考虑异常场景/并发场景/前向兼容/性能场景 7. 是否对其他模块产生影响 【其他说明】: See merge request: opengauss/openGauss-server!7787	1 年前
alarm	add openGauss 3.1.0 feature code	3 年前
bin	备份与恢复工具审计日志	2 年前
bootstrap	Misc bugfixes	5 年前
bulkload	pgfdw support join\agg\sort\limit\lockrows	3 年前
catalog	sql_limit	1 年前
client_logic	sync all inner code	3 年前
cm	sync code	4 年前
codegen	fix the codegen memory leak	3 年前
commands	D模式下实现列的identity约束 Co-authored-by: zwgiles<zongwei@vastdata.com.cn>	1 年前
common	refactor(IAUORL): 基础数据类型输入输出性能优化	1 年前
communication	添加龙芯loongarch64适配修改	2 年前
datasource	Encrypt password for user mapping.	5 年前
datatype	allow infinity to timestamp	3 年前
db4ai	codecheck fix, add cutForSearch param	1 年前
dbmind	sync code	4 年前
ddes	[bugfix] 修复实时构建流控有概率出现主机收到挂掉节点的消息的问题	1 年前
distributelayer	Fix smp in procedure bug.	1 年前
executor	Fit for extensible plan/extensible node.	1 年前
fmgr	sync code	4 年前
foreign	openGauss资源池化支持多机并行	2 年前
gs_ledger	解决防篡改分区表insert时，全局索引tableoid为0的问题。	3 年前
gs_policy	修复一些不标准的语法 Signed-off-by: xiaofan <xiaofan@iscas.ac.cn>	1 年前
gs_register	同步source code 日期: 12-26 revision: ee5b054c	5 年前
gssignal	修复多个session间隔执行select for update wait X sec,等待的预期时间不一致的问题	1 年前
gstrace	fix merge conflicts Signed-off-by: Haolan <haolan.sun@enmotech.com>	3 年前
gtm	热点函数替换memcpy_sp和添加inline函数	3 年前
hotpatch	Misc bugfixes	5 年前
instruments	jdbc支持全链路追踪	2 年前
iprange	sync code	4 年前
job	first commit for openGauss server	6 年前
keymgr	fix sys dependency code	1 年前
knl	merge master into master Improve kernel's extension scalability Created-by: libiao2024 Commit-by: totaj;赵岑炯;libiao Merged-by: opengauss_bot Description: 【标题】(请简要描述下实现的内容) 【实现内容】: 1. bgworker 支持独立于启动它的backend运行，生命周期、快照、事务等信息不跟随backend 1.1 为bgworker增加flag，标识此类独立的bgworker 1.2 backend退出时，不给独立的bgworker发SIGINT信号，也不等待他的退出，因为此类bgworker会在后台持续运行，相关的内存也不释放，使用instance级别的context 1.3 PM退出时，对独立的bgwoker发SIGTERM信号退出 1.4 事务commit/abort时，独立的bgworker按正常backend处理 2. 新增extensiblenode相关结构体适配，支持第三方插件通过extensiblenode实现自定义功能 3. spq插件加载过程中，允许系统表修改。 4. 原IsConnPortFromCoord宏只对旧版本的SPQ插件可见，现改为全局可见，允许所有从coordinator发起的连接使用远程trust连接，并且若发现客户端非coordinator，则跳过这条trust规则，允许继续在pg_hba.conf中继续查找后续规则。 5. 若spq目录存在，则编译和打包也会包含spq的编译和打包。 【根因分析】: 1. 当前bgworker和启动bgworker的线程属于强绑定关系，这个逻辑适用于并行查询/并行创建索引的场景，如果发起并行查询的线程退出了，后台对应的bgworker确实也应该相应退出。但是这个逻辑不适用于独立的bgworker，对于插件，可能需要拉起一个自定义的bgworker，他是独立于发起线程的，有自己独立的生命周期，可以理解成现在openGauss后台已有的那些后台线程，属于常驻后台线程，不应该随发起bgworker的线程退出而退出，所以需要适配此种场景。 2. spq插件实现分布式，其中涉及：1.插件加载时需要修改系统表 2.分布式运行过程中，需要自动从coordinator（CN节点）连接DN节点，此时无法使用密码。 【实现方案】: 【关联需求或issue】: https://gitcode.com/opengauss/org-issue/issues/27 【开发自验报告】: 1. 请附上自验结果(内容或者截图) 2. 是否可以添加fastcheck测试用例，如是，请补充fastcheck用例 3. 是否涉及资料修改，如是，在docs仓库补充资料 4. 是否考虑升级场景(系统表修改、日志持久化以及修改执行态数据格式) 5. 是否考虑在线扩容等扩展场景 6. 是否考虑异常场景/并发场景/前向兼容/性能场景 7. 是否对其他模块产生影响 【其他说明】: See merge request: opengauss/openGauss-server!7787	1 年前
lib	CBM Version 7.0 modifty	1 年前
libcomm	add hcom support for opengauss	1 年前
libpq	主备同步适配域名解析	1 年前
lite	sync code	4 年前
mb	修复enable_multi_charset下walsender初始化失败的问题	1 年前
nodes	fix codecheck and ci.	1 年前
opfusion	merge vec-bypass into master 【PR模版】: Created-by: superlchf Commit-by: superlchf Merged-by: opengauss_bot Description: # Pull Request 模板 ## 描述 [【HW】【兼容性组】向量索引扫描支持SQL Bypass](https://gitcode.com/opengauss/org-issue/issues/1276) ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 代码风格更新（格式化，局部变量） - [ ] 重构（即不是新增功能，也不是修改bug的代码变动） - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 openGauss 向量数据库bypass设计说明书的第五章：测试用例设计 其中包含了功能测试说明和性能测试说明 ## Checklist - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经根据需要更新了对应的变更日志 - [x] 我已经在标题中正确使用了类型标签（例如：feat:, fix:） ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明 See merge request: opengauss/openGauss-server!7734	1 年前
optimizer	修复smp场景嵌套concat执行效率慢的问题	1 年前
parser	D兼容性下支持sql_variant数据类型	1 年前
pgxc	分区表路由优化	2 年前
port	!5783 [VACUUM] Use tidstore & Implement bypass vacuum index Merge pull request !5783 from tino247/master	1 年前
portability	Misc bugfixes	5 年前
postmaster	fix codecheck and ci.	1 年前
query_anomaly	Risky queries detection for anomaly detection Co-authored-by: avikessel1<avi.kessel@huawei.com>	1 年前
regex	修复regexp_replace中正则表达式[[:punct:]]不识别中文标点符号的问题	2 年前
replication	修复upsert在冲突场景下逻辑解码的问题	1 年前
rewrite	支持多表视图更新和删除	1 年前
service	support pagerepair during primary startup	2 年前
snowball	first commit for openGauss server	6 年前
ssl	fix sys dependency	1 年前
storage	[feat]为段页式压缩表适配 probackup 以支持物理备份恢复 Co-authored-by: nico<liushuai@vastdata.com.cn>	1 年前
streaming	Misc bugfixes	5 年前
tcop	D库@@部分常用函数兼容	1 年前
tde_key_management	sync code	4 年前
threadpool	处理issue：openGauss 7.0.0-RC1 执行hw_create_table_llt引起宕机	1 年前
tsearch	移植PG对tsquery显示的优化到openGauss中	3 年前
utils	merge probackup into master backup.pid文件区分排他锁和共享锁 Created-by: liuzhanfeng Commit-by: liuzhanfeng2 Merged-by: opengauss_bot Description: 【标题】(请简要描述下实现的内容) backup.pid文件区分排他锁和共享锁 【实现内容】: 在备份、验证、恢复等操作中都会调用lock_backup函数，模拟对backup.pid文件加排它锁；但是在其中一些场景中，并不需要加排它锁（不涉及修改备份元数据的操作），例如恢复、验证，因此就需要对其加共享锁。这样就能实现同时对一个备份文件执行恢复操作。 【根因分析】: 【实现方案】: 【关联需求或issue】: https://gitcode.com/opengauss/openGauss-server/issues/528 【开发自验报告】: 1. 请附上自验结果(内容或者截图) 验证：tpcc插入数据，之后执行备份、恢复、同时恢复等操作，之后用恢复之后的数据继续执行tpcc验证。 插入数据，跑tpcc：   备份：  同时备份：   显示备份：  同时恢复：恢复到data1和data2两个不同的目录   用data1，改名为data，拉起数据库，执行tpcc  2. 是否可以添加fastcheck测试用例，如是，请补充fastcheck用例 3. 是否涉及资料修改，如是，在docs仓库补充资料 4. 是否考虑升级场景(系统表修改、日志持久化以及修改执行态数据格式) 5. 是否考虑在线扩容等扩展场景 6. 是否考虑异常场景/并发场景/前向兼容/性能场景 7. 是否对其他模块产生影响 【其他说明】: See merge request: opengauss/openGauss-server!7768	1 年前
vecexecutor	add borrow memory feature to work_mem	1 年前
vectorsonic	add borrow memory feature to work_mem	1 年前
workload	sql_limit	1 年前
Makefile	dms注入故障	2 年前
auditfuncs.h	sync all inner code	3 年前
c.h	clean code && remove guc parameter smp_thread_cost	1 年前
cipher.h	modify the max password length of 'gs_guc encrypt/generate' from 16 to 15	1 年前
connector.h	Misc bugfixes	5 年前
cstore.h	Patch for 930 release	4 年前
datatypes.h	同步source code 日期: 12-26 revision: ee5b054c	5 年前
flock.h	first commit for openGauss server	6 年前
fmgr.h	varbinary 提高覆盖率 根据评审意见修改 根据codecheck修改 codecheck校验修改 根据codecheck修改 codecheck CODE CHECK CodeCheck typoerr 用例修改 根据评审意见修改 codecheck 注释修改	1 年前
funcapi.h	sync code	4 年前
gaussdb_version.h	同步source code 日期: 12-26 revision: ee5b054c	5 年前
gen_alloc.h	Patch for 930 release	4 年前
getaddrinfo.h	Misc bugfixes	5 年前
getopt_long.h	同步source code 日期: 12-26 revision: ee5b054c	5 年前
gs_bbox.h	同步source code 日期: 12-26 revision: ee5b054c	5 年前
gs_tar_const.h	add openGauss 3.1.0 feature code	3 年前
gs_thread.h	sql_limit	1 年前
gs_threadlocal.h	sync code	4 年前
memory_func.h	add openGauss 3.1.0 feature code	3 年前
miscadmin.h	sql_limit	1 年前
og_record_time.h	jdbc支持全链路追踪	2 年前
og_record_time_rely.h	support new db_time time record.	2 年前
pg_config.h.in	添加龙芯loongarch64适配修改	2 年前
pg_config.h.win32	flatten expr framework	3 年前
pg_config_manual.h	D模式下实现列的identity约束 Co-authored-by: zwgiles<zongwei@vastdata.com.cn>	1 年前
pg_trace.h	Patch for 930 release	4 年前
pgaudit.h	6.0版本审计日志tpcc性能下降	1 年前
pgstat.h	dms dfx and gs_lwlock_status	1 年前
pgtime.h	Patch for 930 release	4 年前
port.h	资源池化适配gs_probackup	2 年前
postgres.h	support rotate and not rotate function	1 年前
postgres_ext.h	修复双集群回放	1 年前
postgres_fe.h	修复执行plsql时没有选择tsql_raw_parser的问题	1 年前
rusagestub.h	New features (and bug fixes) 1. alter large sequence 2. subpartition 2.1 split subpartition 2.2 truncate subpartition 3. 支持load 4. 支持start-with/connect-by 5. ...	4 年前
securec.h	add openGauss 3.1.0 feature code	3 年前
securec_check.h	Misc bugfixes	5 年前
securectype.h	add openGauss 3.1.0 feature code	3 年前
tool_common.h	资源池XLOG支持归档	1 年前
tsan_annotation.h	同步source code 日期: 12-26 revision: ee5b054c	5 年前
windowapi.h	nth_value enhancement feature without changing buildin function	1 年前