master

Ssuperlchf为hnsw检索添加mmap加载

02943fb8创建于 2025年6月6日历史提交

文件	最后提交记录	最后更新时间
knl_guc	merge master into master Improve kernel's extension scalability Created-by: libiao2024 Commit-by: totaj;赵岑炯;libiao Merged-by: opengauss_bot Description: 【标题】(请简要描述下实现的内容) 【实现内容】: 1. bgworker 支持独立于启动它的backend运行，生命周期、快照、事务等信息不跟随backend 1.1 为bgworker增加flag，标识此类独立的bgworker 1.2 backend退出时，不给独立的bgworker发SIGINT信号，也不等待他的退出，因为此类bgworker会在后台持续运行，相关的内存也不释放，使用instance级别的context 1.3 PM退出时，对独立的bgwoker发SIGTERM信号退出 1.4 事务commit/abort时，独立的bgworker按正常backend处理 2. 新增extensiblenode相关结构体适配，支持第三方插件通过extensiblenode实现自定义功能 3. spq插件加载过程中，允许系统表修改。 4. 原IsConnPortFromCoord宏只对旧版本的SPQ插件可见，现改为全局可见，允许所有从coordinator发起的连接使用远程trust连接，并且若发现客户端非coordinator，则跳过这条trust规则，允许继续在pg_hba.conf中继续查找后续规则。 5. 若spq目录存在，则编译和打包也会包含spq的编译和打包。 【根因分析】: 1. 当前bgworker和启动bgworker的线程属于强绑定关系，这个逻辑适用于并行查询/并行创建索引的场景，如果发起并行查询的线程退出了，后台对应的bgworker确实也应该相应退出。但是这个逻辑不适用于独立的bgworker，对于插件，可能需要拉起一个自定义的bgworker，他是独立于发起线程的，有自己独立的生命周期，可以理解成现在openGauss后台已有的那些后台线程，属于常驻后台线程，不应该随发起bgworker的线程退出而退出，所以需要适配此种场景。 2. spq插件实现分布式，其中涉及：1.插件加载时需要修改系统表 2.分布式运行过程中，需要自动从coordinator（CN节点）连接DN节点，此时无法使用密码。 【实现方案】: 【关联需求或issue】: https://gitcode.com/opengauss/org-issue/issues/27 【开发自验报告】: 1. 请附上自验结果(内容或者截图) 2. 是否可以添加fastcheck测试用例，如是，请补充fastcheck用例 3. 是否涉及资料修改，如是，在docs仓库补充资料 4. 是否考虑升级场景(系统表修改、日志持久化以及修改执行态数据格式) 5. 是否考虑在线扩容等扩展场景 6. 是否考虑异常场景/并发场景/前向兼容/性能场景 7. 是否对其他模块产生影响 【其他说明】: See merge request: opengauss/openGauss-server!7787	1 年前
knl_guc.h	openGauss资源池化支持多机并行	2 年前
knl_instance.h	sql_limit	1 年前
knl_session.h	merge mmap_poc into master 【HW】【兼容性组】向量hnsw索引支持通过mmap方式读取 Created-by: superlchf Commit-by: superlchf Merged-by: opengauss_bot Description: 【标题】【HW】【兼容性组】向量hnsw索引支持通过mmap方式读取 【实现内容】: 【根因分析】: 【实现方案】: 在hnsw扫描阶段，如果开启mmap功能则走mmap加载索引 1. 根据hashkey检查该文件是否已经被保存在全局hash中 2. 首先加载文件，保存到全局hash结构体中 3. hash存在情况下，检查block是否已经映射 4. 映射mmap 5. 返回page 【关联需求或issue】: https://gitcode.com/opengauss/org-issue/issues/1278 【开发自验报告】: 1. 请附上自验结果(内容或者截图) 2. 是否可以添加fastcheck测试用例，如是，请补充fastcheck用例 3. 是否涉及资料修改，如是，在docs仓库补充资料 4. 是否考虑升级场景(系统表修改、日志持久化以及修改执行态数据格式) 5. 是否考虑在线扩容等扩展场景 6. 是否考虑异常场景/并发场景/前向兼容/性能场景 7. 是否对其他模块产生影响 【其他说明】: See merge request: opengauss/openGauss-server!7831	1 年前
knl_thread.h	为hnsw检索添加mmap加载	1 年前
knl_variable.h	update src/include/knl/knl_variable.h. 单词拼写错误	4 年前