MindIE Motor通信矩阵
提供了MindIE Motor的通信矩阵,包括产品开放的端口、该端口使用的传输层协议、通过该端口与对端通信的通信网元名称、认证方式、用途等信息说明。
说明
datadist、HCCL、LCCL和ATB相关通信矩阵请参考CANN 通信矩阵。
| 源设备 | 源IP地址 | 源端口 | 目的设备 | 目的IP地址 | 目的端口(侦听) | 协议 | 端口说明 | 侦听端口是否可更改 | 认证方式 | 加密方式 | 所属平面 | 版本 | 特殊场景 | 备注 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| MindIE集群服务控制器(内部接口Coordinator) | MindIE集群服务控制器Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE集群服务调度器 | MindIE集群服务调度器Pod IP,对应集群信息表中group_id为0的server_list.server_ip字段 | MindIE集群服务调度器管理端口,对应ms_controller.json文件中的mindie_ms_coordinator_port字段。用户可配置范围(1024~65535),默认配置为1026。 | TCP | MindIE集群服务控制器向调度器同步集群状态信息、发送实例上线下线命令、查询实例的推理任务数 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务调度器(内部Controller) | 使用ms_coordinator.json配置文件中的manage_ip值。如果启动调度器时传入了命令行参数manage_ip,则优先读取命令行参数。 | 根据现网客户实际要求配置的固定端口,对应ms_coordinator.json配置文件中的manage_port字段,用户可配置范围(1024~65535),默认配置为1026。如果启动调度器时传入了命令行参数manage_port,则优先读取命令行参数。 | MindIE集群服务控制器 | MindIE集群服务控制器Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | MindIE集群服务调度器向控制器返回集群状态信息、发送实例断流命令、查询实例的推理任务数 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务调度器(内部Controller告警) | 使用ms_coordinator.json配置文件中的alarm_port值。 | 根据现网客户实际要求配置的固定端口,对应ms_coordinator.json配置文件中的alarm_port字段,用户可配置范围(1024~65535),默认配置为1027如果启动调度器时传入了命令行参数alarm_port,则优先读取命令行参数。 | MindIE集群服务控制器 | MindIE集群服务控制器Pod IP | 使用ms_controller.json配置文件中的mindie_ms_controller_alarm_port | TCP | MindIE集群服务调度器向控制器发送告警内容 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务控制器(内部告警返回) | MindIE集群服务控制器Pod IP | 使用ms_controller.json配置文件中的mindie_ms_controller_alarm_port | MindIE集群服务调度器 | 使用ms_coordinator.json配置文件中的alarm_port值。 | 根据现网客户实际要求配置的固定端口,对应ms_coordinator.json配置文件中的alarm_port字段,用户可配置范围(1024~65535),默认配置为1027如果启动调度器时传入了命令行参数alarm_port,则优先读取命令行参数。 | TCP | MindIE集群服务调度器向控制器发送告警内容 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务控制器(内部metrics接口) | MindIE集群服务控制器Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE集群服务调度器 | MindIE集群服务调度器Pod IP | 根据现网客户实际要求配置的固定端口,对应ms_coordinator.json配置文件中的external_port字段,用户可配置范围(1024~65535),默认配置为1028。 | TCP | 提供coordinator性能数据接口,客户端通过该端口请求查询coordinator性能数据 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务调度器(内部metric) | 使用ms_coordinator.json配置文件中的manage_ip值。如果启动调度器时传入了命令行参数manage_ip,则优先读取命令行参数。 | 根据现网客户实际要求配置的固定端口,对应ms_coordinator.json配置文件中的external_port字段,用户可配置范围(1024~65535),默认配置为1028。 | MindIE集群服务控制器 | MindIE集群服务控制器Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | 返回metric信息 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务控制器(etcd) | MindIE集群服务控制器Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | ETCD服务端 | ETCD服务端Pod IP | 固定端口2379 | TCP | MindIE集群服务与ETCD服务端之间通信端口,用于实现ETCD分布式锁抢占、存储主备倒换关键信息 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| ETCD服务端(etcd) | ETCD服务端Pod IP | 固定端口2379 | MindIE集群服务控制器 | MindIE集群服务控制器Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | MindIE集群服务与ETCD服务端之间通信端口,用于实现ETCD分布式锁抢占、存储主备倒换关键信息 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务调度器(内部etcd) | MindIE集群服务调度器Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | ETCD服务端 | ETCD服务端Pod IP | 固定端口2379 | TCP | MindIE集群服务与ETCD服务端之间通信端口,用于实现ETCD分布式锁抢占 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| ETCD服务端 | ETCD服务端Pod IP | 固定端口2379 | MindIE集群服务调度器(内部 etcd) | MindIE集群服务调度器Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | MindIE集群服务与ETCD服务端之间通信端口,用于实现ETCD分布式锁抢占 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE OM Adapter | MindIE集群服务Controller Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | CCAE服务端 | 使用心跳接口获取的kafka ip地址 | 使用心跳接口获取的kafka端口 | kafka | MindIE集群服务向CCAE上报日志 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE OM Adapter | MindIE集群服务Controller Pod IPMindIE集群服务Coordinator Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | CCAE服务端 | 使用ms_controller.json配置文件中的ccae下的ip值 | 使用ms_controller.json配置文件中的ccae下的port值 | TCP | MindIE集群服务向CCAE上报心跳信息,并获取CCAE的上报频率等字段 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE OM Adapter | MindIE集群服务Controller Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | CCAE服务端 | 使用ms_controller.json配置文件中的ccae下的ip值 | 使用ms_controller.json配置文件中的ccae下的port值 | TCP | MindIE集群服务向CCAE上报告警信息 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE OM Adapter | MindIE集群服务Controller Pod IPMindIE集群服务Coordinator Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | CCAE服务端 | 使用ms_controller.json配置文件中的ccae下的ip值 | 使用ms_controller.json配置文件中的ccae下的port值 | TCP | MindIE集群服务向CCAE上报inventory等存量资源信息 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务控制器(内部server) | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE Sever服务端 | 推理服务config.json配置文件中managementIpAddress字段对应的IP地址。如果部署在容器中,管理IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_MANAGEMENT_IP中读取。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的managementPort字段或者port字段,可配范围为1024~65535,默认配置为1026。 | TCP | 推理服务EndPoint提供服务状态查询rest接口,客户端通过该端口请求发起推理服务状态查询请求。 | 是 | 证书认证 | TLS1.3 | 内部接口 | MindIE 3.0.0 | 无 | 无 |
| MindIE Sever服务端(内部server) | 推理服务config.json配置文件中managementIpAddress字段对应的IP地址或者ipAddress字段对应的IP地址。如果部署在容器中,管理IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_MANAGEMENT_IP中读取。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中managementPort字段或者port字段,可配范围为1024~65535,默认配置为1026。 | MindIE集群服务控制器 | MindIE集群服务控制器Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | 推理服务EndPoint提供服务状态查询rest接口,客户端通过该端口响应发起推理服务状态查询请求。 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| K8s(probe接口) | MindIE集群服务调度器本地IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE集群服务调度器 | MindIE集群服务调度器Pod IP | 根据现网客户实际要求配置的固定端口,对应ms_coordinator.json配置文件中的status_port字段,用户可配置范围(1024~65535),默认配置为1029。 | TCP | 提供coordinator startup,readiness,liveness探针接口,查看coordinator拉起是否正常 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务调度器(probe内部) | MindIE集群服务调度器Pod IP | 根据现网客户实际要求配置的固定端口,对应ms_coordinator.json配置文件中的status_port字段,用户可配置范围(1024~65535),默认配置为1029。 | k8s | MindIE集群服务调度器本地IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | 提供coordinator startup,readiness,liveness探针接口,查看coordinator拉起是否正常 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| K8s(probe) | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE集群服务控制器 | Kubernetes部署的MindIE集群服务控制器Pod IP | MindIE集群服务控制器管理端口,对应ms_controller.json文件中的http_server.port字段。用户可配置范围(1024~65535),默认配置为1026。 | TCP | MindIE集群服务控制器提供健康检查服务 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务控制器(probe接口) | MindIE集群服务控制器Pod IP | MindIE集群服务控制器管理端口,对应ms_controller.json文件中的http_server.port字段。用户可配置范围(1024~65535),默认配置为1026。 | kubernetes | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | MindIE集群服务控制器提供健康检查服务 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| k8s | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE Sever服务端 | 推理服务config.json配置文件中managementIpAddress字段对应的IP地址(管理面和业务使用不同的IP地址场景)或者ipAddress字段对应的IP地址(管理面和业务面使用相同IP地址场景)。如果部署在容器中,管理IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_MANAGEMENT_IP中读取。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的managementPort字段(管理面与业务面使用不同端口场景)或者port字段(管理面与业务面使用相同端口场景),可配范围为1024~65535,默认配置为1026。 | TCP | 推理服务EndPoint提供服务状态查询rest接口,客户端通过该端口请求发起推理服务状态查询请求(管理面与业务面端口既可以相同,也可以不同)。 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE Sever服务端(健康探针接口) | 推理服务config.json配置文件中managementIpAddress字段对应的IP地址或者ipAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_MANAGEMENT_IP中读取。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中managementPort字段或者port字段,可配范围为1024~65535,默认配置为1026。 | k8s | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | 推理服务EndPoint提供服务状态查询rest接口,客户端通过该端口响应推理服务状态查询请求。 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE LLM Backend的tokenizer模块(下载多媒体文件作为客户端) | 推理服务config.json配置文件中managementIpAddress字段对应的IP地址或者ipAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_MANAGEMENT_IP中读取。 | 随机端口(由操作系统自动分配)默认范围32768~60999。 | 用户设置的多媒体(图片、音频、视频)下载服务器 | 用户提供的多媒体(图片、音频、视频)下载服务器IP地址 | 用户提供的多媒体(图片、音频、视频)下载服务器端口 | TCP | MindIE LLM Backend的tokenizer模块访问用户提供的多媒体(图片、音频、视频)下载服务器下载多媒体(图片、音频、视频)时开放的端口 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| Mind Cluster服务端(cluster) | Mind Cluster控制器Pod IP | 固定端口8899 | MindIE集群服务控制器 | MindIE集群服务控制器Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | MindIE集群服务与Cluster组件内通信的端口,用于接收Cluster推送集群的ranktable更新 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务控制器(cluster) | MindIE集群服务控制器Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | Mind Cluster服务端 | Mind Cluster控制器Pod IP | 固定端口8899 | TCP | MindIE集群服务与Cluster组件内通信的端口,用于注册接收cluster推送global ranktable的回调函数 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务调度器(内部server推理接口) | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE Sever服务端 | 推理服务config.json配置文件中ipAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_IP中读取。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的port字段,可配范围为1024~65535,默认配置为1025。 | TCP | 推理服务EndPoint提供业务面推理服务rest接口,客户端通过该端口请求发起推理请求。 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE Sever服务端 | 推理服务config.json配置文件中ipAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_IP中读取。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的port字段,可配范围为1024~65535,默认配置为1025。 | MindIE集群服务调度器(内部 server 推理接口) | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | 推理服务EndPoint提供业务面推理服务rest接口,客户端通过该端口请求发起推理请求。 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务调度器(内部长链接) | 客户端通信IP地址 | 随机端口(由操作系统自动分配)默认范围32768~60999。 | PD分离D节点 | 推理服务config.json配置文件中ipAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_IP中读取。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的port字段,可配范围为1024~65535,默认配置为1025。 | TCP | 推理服务EndPoint提供业务面推理服务rest接口,客户端通过该端口请求发起长链接请求。 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| PD分离D节点(长链接) | 推理服务config.json配置文件中ipAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_IP中读取。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的port字段,可配范围为1024~65535,默认配置为1025。 | MindIE集群服务调度器 | 客户端通信IP地址 | 随机端口(由操作系统自动分配)默认范围32768~60999。 | TCP | 推理服务EndPoint提供业务面推理服务rest接口,客户端通过该端口请求响应长链接请求。 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务调度器(内部server,调用server的metrics接口) | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE Sever服务端 | 推理服务config.json配置文件中managementIpAddress字段对应的IP地址。如果部署在容器中,管理IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_MANAGEMENT_IP中读取。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的metricsPort字段,可配范围为1024~65535,默认配置为1027。 | TCP | 推理服务EndPoint提供监控查询接口,客户端通过该端口请求发起推理监控查询请求。 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE Sever服务端(内部 metrics接口) | 推理服务config.json配置文件中managementIpAddress字段对应的IP地址。如果部署在容器中,管理IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_MANAGEMENT_IP中读取。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的metricsPort字段,可配范围为1024~65535,默认配置为1027。 | MindIE集群服务调度器 | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | 提供监控查询接口,客户端通过户端通过该端口响应监控指标查询请求。 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| PD分离P节点(grpc) | 推理服务config.json配置文件中ipAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_IP中读取。 | 随机端口(由操作系统自动分配)默认范围32768~60999。 | PD分离的D节点 | 推理服务config.json配置文件中ipAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_IP中读取。P 节点通过 P身份下发请求的请求头d-target知道D节点IP。 | 根据现网客户实际要求配置的固定端口,在config.json文件中配置,默认值1121。 | GRPC | PD分离节点内部通信的端口,用于PD分离GRPC通信使用,这里是P请求D。 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| PD分离D节点(grpc) | 推理服务config.json配置文件中ipAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_IP中读取。 | 根据现网客户实际要求配置的固定端口,在config.json文件中配置,默认值1121。 | PD分离的P节点 | 推理服务config.json配置文件中ipAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_IP中读取。 | 随机端口(由操作系统自动分配)默认范围32768~60999。 | GRPC | PD分离节点内部通信的端口,用于PD分离响应GRPC 通信使用,这里是D响应P。 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| PD分离P节点(grpc) | 推理服务config.json配置文件中ipAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_IP中读取。 | 随机端口(由操作系统自动分配)默认范围32768~60999。 | PD分离的D节点 | 推理服务config.json配置文件中ipAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_IP中读取。P 节点通过 P身份下发请求的请求头d-target知道D节点IP。 | 根据现网客户实际要求配置的固定端口,在config.json文件中配置,默认值1121。 | GRPC | PD分离节点内部通信的端口,用于PD分离GRPC通信使用,这里是P请求D。 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| PD分离D节点(grpc) | 推理服务config.json配置文件中ipAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_IP中读取。 | 根据现网客户实际要求配置的固定端口,在config.json文件中配置,默认值1121。 | PD分离的P节点 | 推理服务config.json配置文件中ipAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_IP中读取。 | 随机端口(由操作系统自动分配)默认范围32768~60999。 | GRPC | PD分离节点内部通信的端口,用于PD分离响应GRPC 通信使用,这里是D响应P。 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| 用于发送推理请求的客户端(外部推理接口) | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE集群服务调度器 | 使用ms_coordinator.json配置文件中的predict_ip值。如果启动调度器时传入了命令行参数predict_ip,则优先读取命令行参数。 | 根据现网客户实际要求配置的固定端口,对应ms_coordinator.json配置文件中的predict_port字段,用户可配置范围(1024~65535),默认配置为1025。如果启动调度器时传入了命令行参数predict_port,则优先读取命令行参数。 | TCP | 1、提供推理服务接口,客户端通过该端口请求发起推理请求2、提供Tokenizer接口,客户端通过该端口请求发送计算token请求 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务调度器(外部推理) | 使用ms_coordinator.json配置文件中的predict_ip值。如果启动调度器时传入了命令行参数predict_ip,则优先读取命令行参数。 | 根据现网客户实际要求配置的固定端口,对应ms_coordinator.json配置文件中的predict_port字段,用户可配置范围(1024~65535),默认配置为1025。如果启动调度器时传入了命令行参数predict_port,则优先读取命令行参数。 | 用户客户端,用于发送推理请求 | 用户客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | MindIE集群服务调度器向用户客户端返回请求响应 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| 用户客户端(外部metric接口) | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE集群服务调度器 | 使用ms_coordinator.json配置文件中的manage_ip值。如果启动调度器时传入了命令行参数manage_ip,则优先读取命令行参数。 | 根据现网客户实际要求配置的固定端口,对应ms_coordinator.json配置文件中的manage_port字段,用户可配置范围(1024~65535),默认配置为1026。如果启动调度器时传入了命令行参数manage_port,则优先读取命令行参数。 | TCP | 查询服务化监控指标 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务调度器(外部metric) | 使用ms_coordinator.json配置文件中的manage_ip值。如果启动调度器时传入了命令行参数manage_ip,则优先读取命令行参数。 | 根据现网客户实际要求配置的固定端口,对应ms_coordinator.json配置文件中的metric_port字段,用户可配置范围(1024~65535),默认配置为1027。如果启动调度器时传入了命令行参数metric_port,则优先读取命令行参数。 | 用户客户端 | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | 返回metric信息 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| 用户客户端 | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE集群服务调度器 | 使用ms_coordinator.json配置文件中的manage_ip值。如果启动调度器时传入了命令行参数manage_ip,则优先读取命令行参数。 | 根据现网客户实际要求配置的固定端口,对应ms_coordinator.json配置文件中的manage_port字段,用户可配置范围(1024~65535),默认配置为1026。如果启动调度器时传入了命令行参数manage_port,则优先读取命令行参数。 | TCP | 查询健康信息 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务调度器(外部probe) | 使用ms_coordinator.json配置文件中的manage_ip值。如果启动调度器时传入了命令行参数manage_ip,则优先读取命令行参数。 | 根据现网客户实际要求配置的固定端口,对应ms_coordinator.json配置文件中的manage_port字段,用户可配置范围(1024~65535),默认配置为1026。如果启动调度器时传入了命令行参数manage_port,则优先读取命令行参数。 | 用户客户端 | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | 返回健康状态 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE Sever服务端(推理接口) | 推理服务config.json配置文件中ipAddress字段对应的IP地址。(如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_IP中读取。) | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的port字段,可配范围为1024~65535,默认配置为1025。 | 用户客户端 | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | 推理服务EndPoint提供业务面推理服务rest接口,服务端通过该端口响应推理请求。 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| 用户客户端 | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE Sever服务端(推理接口) | 推理服务config.json配置文件中ipAddress字段对应的IP地址。(如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_IP中读取。) | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的port字段,可配范围为1024~65535,默认配置为1025。 | TCP | 推理请求接口 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE Server 客户端 | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE Server 客户端 | 推理服务config.json配置文件中managementIpAddress字段对应的IP地址或者ipAddress字段对应的IP地址。如果部署在容器中,管理IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_MANAGEMENT_IP中读取。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中managementPort字段或者port字段,可配范围为1024~65535,默认配置为1026。 | TCP | 查询健康信息 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE Sever服务端(probe接口 外) | 推理服务config.json配置文件中managementIpAddress字段对应的IP地址或者ipAddress字段对应的IP地址。如果部署在容器中,管理IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_MANAGEMENT_IP中读取。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中managementPort字段或者port字段,可配范围为1024~65535,默认配置为1026。 | MindIE Server 客户端 | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | 推理服务EndPoint提供服务状态查询rest接口,客户端通过该端口响应发起推理服务状态查询请求。 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE Sever服务端(metrics接口) | 推理服务config.json配置文件中managementIpAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_MANAGEMENT_IP中读取。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的metricsPort字段,可配范围为1024~65535,默认配置为1027。 | MindIE Server客户端 | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | 推理服务EndPoint提供监控查询接口 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE Server客户端 | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE Sever服务端(metrics接口) | 推理服务config.json配置文件中managementIpAddress字段对应的IP地址。如果部署在容器中,IP地址为容器IP地址,优先从环境变量MIES_CONTAINER_MANAGEMENT_IP中读取。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的metricsPort字段,可配范围为1024~65535,默认配置为1027。 | TCP | 返回metric查询结果 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| 参与多机并行推理的主节点(grpc) | ranktable.json文件中rankid为0的节点IP地址。(如果部署在容器中,IP地址为容器IP地址,配置在环境变量MIES_CONTAINER_IP中。) | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的multiNodesInferPort字段,可配范围为1024~65535,默认配置1120。 | 参与多机并行推理的从节点 | ranktable.json文件中rankid不为0的节点的通信IP地址。 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | GRPC | MindIE Server model backend模块提供GRPC接口。主节点的mies服务通过该IP地址和端口号,发送推理请求,响应从节点的心跳信息。 | 不涉及 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| 参与多机并行推理的从节点(grpc) | ranktable.json文件中rankid不为0的节点的通信IP地址。 | 随机端口(由操作系统自动分配)默认范围32768~60999。 | 参与多机并行推理的主节点 | ranktable.json文件中rankid为0的节点IP地址。如果部署在容器中,IP地址为容器IP地址,配置在环境变量MIES_CONTAINER_IP中。 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的multiNodesInferPort字段,可配范围为1024~65535,默认配置1120。 | GRPC | MindIE Server model backend模块提供GRPC接口。从节点的mies服务通过该IP地址和端口号,发送心跳信息,响应推理请求信息。 | 是 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE Sever服务端 | 集合通信主节点IP地址 | 7777 | MindIE Sever服务端 | 集合通信从节点IP地址 | 操作系统随机分配端口,范围32768-60999 | TCP | 用于节点间gloo集合通信使用,主节点通过该端口发起请求。 | 否 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE Sever服务端 | 集合通信从节点IP地址 | 操作系统随机分配端口,范围32768-60999 | MindIE Sever服务端 | 集合通信主节点IP地址 | 7777 | TCP | 用于节点间gloo集合通信使用,从节点通过该端口响应请求。 | 否 | 证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务服务端 | 部署Kubernetes管理节点的物理机IP | 可配范围(1024-65535),默认配置为9789 | MindIE集群服务客户端 | MindIE集群服务客户端通信IP | 动态端口(32768~ 60999),实际范围根据运行环境及配置进行修改。 | TCP | MindIE集群服务客户端发送请求。 | 是 | 双向证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务服务端中对接Kubernetes的客户端 | 部署的MindIE集群服务服务端Pod IP | 动态端口(32768~ 60999),实际范围根据运行环境及配置变动 | Kubernetes服务端 | 部署Kubernetes管理节点的物理机IP | Kubernetes服务端默认端口为6443,不推荐用户修改该端口。 | TCP | Kubernetes服务端端口响应请求。 | 是 | 双向证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE集群服务服务端中对接MindIE Sever的客户端 | 部署的MindIE集群服务服务端Pod IP | 动态端口(32768~ 60999),实际范围根据运行环境及配置变动 | MindIE Sever服务端 | 部署的MindIE Sever服务端Pod IP | 可配范围(1024~65535),默认配置为1026。 | TCP | MindIE Sever服务端响应查询状态的请求。 | 是 | 双向证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE Sever服务端 | 部署的MindIE Sever服务端Pod IP | 可配范围(1024~65535),默认配置为1026 | MindIE集群服务服务端中对接MindIE Sever的客户端 | 部署的MindIE集群服务服务端Pod IP | 动态端口(32768~ 60999),实际范围根据运行环境及配置进行修改。 | TCP | 与MindIE Sever交互的客户端发送MindIE Sever状态查询请求。 | 是 | 双向证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE Sever服务端 | 部署的MindIE Sever服务端Pod IP | 取值范围(10000, 10000+4*dp_size-1) | MindIE集群服务服务端 | MindIE集群服务控制器Pod IP | 随机端口(由操作系统自动分配),默认范围32768~60999。 | TCP | 多dp下,每个dp都会拉起一个server,每个server都有port、mgmtPort、metricPort、interCommPort。port从10000开始分配 | 否 | 双向证书认证 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |
| MindIE Node Manager 服务端 | PD分离部署的server容器IP地址 | 用户可配置,默认1028,对应node_manager.json配置文件中的node_manager_por字段 | MindIE集群服务控制器 | PD分离部署的server容器IP地址 | 用户可配置,默认1028,对应node_manager.json配置文件中的node_manager_por字段 | TCP | 1.提供灵衢快恢和节点健康状态接口供controller调用 | 是 | 双向证书认证 | TLS1.3 | 内部接口 | MindIE 3.0.0 | 无 | 无 |
| MindIE Node Manager 客户端 | PD分离部署的server容器IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE Sever服务端 | PD分离部署的server容器IP地址 | 根据现网客户实际要求配置的固定端口,对应config.json配置文件中的managementPort字段默认值1026 | TCP | 1.作为客户端调用 server服务端的灵衢快恢相关接口 | 不涉及 | 双向证书认证 | TLS1.3 | 内部接口 | MindIE 3.0.0 | 无 | 无 |
| MindIE Server客户端 | 客户端通信IP地址 | 随机端口(由操作系统自动分配),默认范围32768~60999。 | MindIE-Motor/PyMotor服务端 | Host ip | 默认端口31015,用户可配置 | TCP | 推理端口 | 是 | 双向证书认证,可配置,默认关闭 | TLS1.3 | 数据面 | MindIE 3.0.0 | 无 | 无 |