使用指导

python3 flat_generate_model.py -d <dim> --cores <core_num> -p <process_id> -pool <pool_size> -t <npu_type>

<dim>：特征向量维度D，默认值为“512”。

<core_num>：昇腾AI处理器AI Core的个数，默认值为“8”。无需设置。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<pool_size>：批量生成算子多进程调度的进程池大小，默认值为“10”。

<npu_type>：硬件形态，当前<npu_type>支持Atlas 推理系列产品，Atlas A2 推理系列产品，Atlas A3 推理系列产品，默认值为"310P"。

• 对于Atlas 推理系列产品，可在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询，将查询到的“Name”最后一位数字删除，即是npu_type的取值。
• 对于Atlas 800I A2 推理服务器，可在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询，查询到的“Name”即是npu_type的取值。
• 对于Atlas 800I A3 超节点服务器，可以通过npu-smi info -t board -i 0 -c 0命令进行查询，获取NPU Name信息，910_NPU Name即是npu_type的取值。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组距离计算算子模型文件，用户需要自行修改命令中的参数。例如对于Atlas 推理系列产品 生成512维算子：python3 flat_generate_model.py -d 512 -t 310P

• dim ∈ {32, 64, 128, 256, 384, 512, 768, 1024, 1408, 1536, 2048, 3072, 3584, 4096}
• 1 ≤ pool_size ≤ 32

python3 sq8_generate_model.py -d <dim> --cores <core_num> -p <process_id> -pool <pool_size> -t <npu_type>

<dim>：特征向量维度D，默认值为“128”。

<core_num>：昇腾AI处理器AI Core的个数，默认为“8”。不指定该值时，根据<npu_type>配置：当npu_type配置为310P时，<core_num>配置为8。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<pool_size>：批量生成算子多进程调度的进程池大小，默认值为“10”。

<npu_type>：硬件形态，当前<npu_type>支持Atlas 推理系列产品，取值为：310P，默认为“310P”。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组SQ8距离计算算子模型文件，用户需要自行修改命令中的参数。例如对于Atlas 推理系列产品 生成512维算子：python3 sq8_generate_model.py -d 512 -t 310P

• dim ∈ {64, 128, 256, 384, 512, 768}
• 1 ≤ pool_size ≤ 32

python3 ivfsq8_generate_model.py -d <dim> -c <coarse_centroid_num> --cores <core_num> -p <process_id> -pool <pool_size> -t <npu_type>

<dim>：特征向量维度D，默认值为“128”。

<coarse_centroid_num>：L1簇聚类中心个数，默认值为“16384”。

<core_num>：昇腾AI处理器AI Core的个数，默认为“8”。不指定该值时，根据<npu_type>配置：当npu_type配置为310P时，<core_num>配置为8。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<pool_size>：批量生成算子多进程调度的进程池大小，默认值为“10”。

<npu_type>：硬件形态，当前<npu_type>支持Atlas 推理系列产品，取值为：310P，默认为“310P”。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组算子模型文件，用户需要自行修改命令中的参数。例如对于Atlas 推理系列产品 生成512维,nlist为1024算子：python3 ivfsq8_generate_model.py -d 512 -c 1024 -t 310P

• dim ∈ {64, 128, 256, 384, 512}
• coarse centroid num ∈ {1024, 2048, 4096, 8192, 16384, 32768}
• 1 ≤ pool_size ≤ 32

python3 int8flat_generate_model.py -d <dim> --cores <core_num> -p <process_id> -pool <pool_size> -t <npu_type> -code <code_num>

<dim>：特征向量维度D，默认值为“512”。

<core_num>：昇腾AI处理器AI Core的个数，默认为“8”。无需设置。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<pool_size>：批量生成算子多进程调度的进程池大小，默认值为“10”。

<npu_type>：硬件形态，当前<npu_type>支持Atlas A2 推理系列产品、Atlas A3 推理系列产品，默认值为“310P”。

• 对于Atlas 推理系列产品，可在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询，将查询到的“Name”最后一位数字删除，即是npu_type的取值。
• 对于Atlas 800I A2 推理服务器，可在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询，查询到的"Name"即是npu_type的取值。

<code_num>：算子调用时底库分块大小，默认值为“262144”，不设置时默认生成所有code_num值的算子。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组算子模型文件，用户需要自行修改命令中的参数。例如对于Atlas 推理系列产品 生成512维算子：python3 int8flat_generate_model.py -d 512 -t 310P

• dim ∈ {64, 128, 256, 384, 512, 768, 1024}
• 1 ≤ pool_size ≤ 32
• code_num ∈ {16384, 32768, 65536, 131072, 262144}

python3 ivfsqt_generate_model.py --cores <core_num> -d <dim_in> -r <compress_ratio> -c <coarse_centroid_num> -p <process_id> -pool <pool_size> -t <npu_type>

<dim_in>：输入特征向量维度，默认值为“256”。

<compress_ratio>：输入与输出维度的比值，默认值为“4”。取值范围：compress_ratio≥1。

<coarse_centroid_num>：L1簇聚类中心个数，默认值为“16384”。

<core_num>：昇腾AI处理器AI Core的个数，默认为“8”。不指定该值时，根据<npu_type>配置：当npu_type配置为310P时，<core_num>配置为8。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<pool_size>：批量生成算子多进程调度的进程池大小，默认值为“32”。取值范围：1≤pool_size≤32。

<npu_type>：硬件形态，当前<npu_type>支持Atlas 推理系列产品，取值为：310P，默认为“310P”。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组算子模型文件。例如对于Atlas 推理系列产品 生成输入256维，输出64维，nlist1024算子：python3 ivfsqt_generate_model.py -d 256 -r 4 -c 1024 -t 310P

• <dim_in> ∈ {256}
• <compress_ratio> ∈ {2, 4, 8}
• <coarse_centroid_num> ∈ {1024, 2048, 4096, 8192, 16384, 32768}
• <dim_in>可以被<compress_ratio>整除。

python3 flat_at_generate_model.py --cores <core_num> -d <dim> -c <code_num> -p <process_id> -t <npu_type>

<dim>：输入特征向量维度，默认值为“64”。

<code_num>：与输入特征作对比的底库特征数，默认值为“8192”。

<core_num>：昇腾AI处理器AI Core的个数，默认为“8”。不指定该值时，根据<npu_type>配置：当npu_type配置为310P时，<core_num>配置为8。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<npu_type>：硬件形态，当前<npu_type>支持Atlas 推理系列产品，取值为：310P，默认为“310P”。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组算子模型文件。例如对于Atlas 推理系列产品 生成256维，nlist1024算子： python3 flat_at_generate_model.py -d 256 -c 1024 -t 310P

FlatAT算子主要用于在IVF场景，减少train和add的耗时。

• dim ∈ {64, 128, 256}
• code_num ∈ {1024, 2048, 4096, 8192, 16384, 32768}

python3 flat_at_int8_generate_model.py --cores <core_num> -d <dim> -c <code_num> -p <process_id> --soc-version <soc_version> -t <npu_type>

<core_num>：昇腾AI处理器AI Core的个数，默认为“8”。

<dim>：输入特征向量维度，默认值为“256”。

<code_num>：与输入特征作对比的底库特征数，默认值为“16384”。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<soc_version>：昇腾AI处理器的型号，默认为“Ascend310P3”，无需设置。

<npu_type>：硬件形态，当前支持Atlas 推理系列产品，默认为“310P”，无需设置。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组算子模型文件。例如对于Atlas 推理系列产品 生成256维，nlist1024算子： python3 flat_at_int8_generate_model.py -d 256 -c 1024 -t 310P

FlatInt8AT优化Atlas 推理系列产品使用场景下，IVFSQT中train、add与update的耗时。

• dim ∈ {256}
• code_num ∈ {1024, 2048, 4096, 8192, 16384, 32768}
• soc_version ∈ {Ascend310P3}

python3 aicpu_generate_model.py --cores <core_num> -p <process_id> -t <npu_type>

<core_num>：昇腾AI处理器AI Core的个数，默认为“2”。（预留参数，暂不使用）

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<npu_type>：硬件形态，当前<npu_type>支持Atlas 推理系列产品和Atlas A2 推理系列产品、Atlas A3 推理系列产品，默认为“310P”。如果无法确定具体的npu_type，则在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询，将查询到的“Name”最后一位数字删除，即是npu_type的取值。对于Atlas 800I A3 超节点服务器，可以通过npu-smi info -t board -i 0 -c 0命令进行查询，获取NPU Name信息，910_NPU Name即是npu_type的取值。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组算子模型文件。例如对于Atlas 推理系列产品 生成aicpu算子：python3 aicpu_generate_model.py -t 310P

AICPU算子模型文件只需生成一次，会全部生成所有算法的算子。

python3 binary_flat_generate_model.py -d <dim> -q <query_type> -p <process_id> -pool <pool_size>

<dim>：二值化特征向量维度，dim ∈ { 256， 512，1024 }，默认值为“512”。

<query_type>：检索类型，默认为“uint8”，当AscendIndexBinaryFlat算法的search接口进行性能提升时，需要设置为“float”。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<pool_size>：批量生成算子多进程调度的进程池大小，默认为16。

--help | -h：查询帮助信息。

例如对于Atlas 推理系列产品 生成256维 uint8类型算子：python3 binary_flat_generate_model.py -d 256。

python3 mask_generate_model.py -token <max_token_cnt> -p <process_id> -pool <pool_size> -t <npu_type>

<max_token_cnt>：算子生成token的最大值，默认为2500，建议设置范围为[1, 300000]。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<pool_size>：批量生成算子多进程调度的进程池大小，默认为16。

<npu_type>：硬件形态，当前<npu_type>支持Atlas 推理系列产品，Atlas A2 推理系列产品、Atlas A3 推理系列产品，默认值为“310P”。

• 对于Atlas 推理系列产品，可在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询，将查询到的“Name”最后一位数字删除，即是npu_type的取值。
• 对于Atlas 800I A2 推理服务器，可在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询，查询到的“Name”即是npu_type的取值。
• 对于Atlas 800I A3 超节点服务器，可以通过npu-smi info -t board -i 0 -c 0命令进行查询，获取NPU Name信息，910_NPU Name即是npu_type的取值。

--help | -h：查询帮助信息。

例如对于Atlas 推理系列产品 生成token数量为300000的算子：python3 mask_generate_model.py -token 300000 -t 310P。

python3 ivfsp_generate_model.py --cores <core_num> -d <dim> -nonzero_num <low_dim> -nlist <k> -handle_batch <handle_batch> -code_num <code_num> -p <process_id> --pool <pool_size>

<core_num>：AI Core的个数，默认值为“8”，无需设置。

<dim>：特征向量维度，默认值为“256”。

<low_dim>：特征向量压缩后非零维度个数，默认值为“32”。

<k>：簇聚类中心个数。与IVFSP训练算子模型文件生成中的<k>保持一致，默认值为“1024”。

<handle_batch>：检索时每次下发计算的候选桶数量，默认值为“32”。

<code_num>：检索时每次下发计算的每个桶的最大样本数量，若桶太大，程序会自动根据code_num将桶拆成多次算子下发计算距离。与IVFSP训练算子模型文件生成中的<codebook_batch_size>保持一致，默认值为“32768”。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<pool_size>：批量生成算子多进程调度的进程池大小，默认值为“16”。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组用于IVFSP检索时的AI Core算子模型文件，用户需要自行修改命令中的参数。例如对于Atlas 推理系列产品 生成256维，压缩后维度为32，聚类中心为1024，桶数量为32，样本数量为32768的算子：python3 ivfsp_generate_model.py -d 256 -nonzero_num 32 -nlist 1024 -handle_batch 32 -code_num 32768

• 当dim ∈ {64, 128, 256}时，k∈ {256, 512, 1024, 2048, 4096, 8192, 16384}；当dim ∈ {512, 768}时，k∈ {256, 512, 1024, 2048}。
• low_dim需为16的倍数且小于等于min(128, dim)。
• handle_batch需为16的倍数，且16 ≤ handle_batch ≤ 240。
• 1 ≤ pool_size ≤ 32。

python3 ivfsp_aicpu_generate_model.py --cores <core_num> -p <process_id>

<core_num>：AI Core的个数，默认值为“8”，无需设置。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组用于IVFSP检索时的AICPU算子模型文件。例如对于Atlas 推理系列产品 生成aicpu算子：python3 ivfsp_aicpu_generate_model.py --cores 8。

python3 ivfsp_generate_pyacl_model.py --cores <core_num> -d <dim> -nonzero_num <low_dim> -nlist <k> -batch_size <batch_size> -code_num <codebook_batch_size> -p <process_id>

<core_num>：AI Core的个数，默认值为“8”，无需设置。

<dim>：特征向量维度，默认值为“256”。

<low_dim>：特征向量压缩后非零维度个数，默认值为“32”。

<k>：簇聚类中心个数。与IVFSP业务算子模型文件生成中的<k>保持一致，默认值为“1024”。

<batch_size>：训练时以batch_size大小执行训练，默认值为“32768”。

<codebook_batch_size>：训练时每次最大按codebook_batch_size样本数量操作码本，必须为2的幂次。与IVFSP业务算子模型文件生成中的<code_num>保持一致，默认值为“32768”。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组用于IVFSP检索时的算子模型文件，用户需要自行修改命令中的参数。生成的IVFSP训练算子模型文件，保存在当前目录的子目录op_models_pyacl下。例如对于Atlas 推理系列产品 生成256维 压缩后维度为32，nlist聚类中心1024，查询数量为32768，样本数量为32768算子：python3 ivfsp_generate_pyacl_model.py -d 256 -nonzero_num 32 -nlist 1024 -batch_size 32768 -code_num 32768

• 当dim ∈ {64, 128, 256}时，k∈ {256, 512, 1024, 2048, 4096, 8192, 16384}；当dim ∈ {512, 768}时，k∈ {256, 512, 1024, 2048}。
• low_dim需为16的倍数且小于等于min(128, dim)。
• batch_size需为16的倍数。
• codebook_batch_size需为16的倍数。

python3 vstar_generate_models.py --dim <dim> --nlistL1 <nlist1> --subDimL1 <sub_dim1> --nProbeL1 <nprobe1> --nProbeL2 <nprobe2> --segmentNumL3 <segment> --pool <pool_size>

<dim>：特征向量维度，默认值为“256”。

<nlist1>：一级簇聚类中心个数。默认值为“1024”。

<nprobe1>：检索时每次下发计算时的一级候选桶数量，默认值为“[72]”。

<nprobe2>：检索时每次下发计算时的二级候选桶数量，默认值为“[64, 296]”。

<sub_dim1>：检索时一级降维后的维度大小，默认值为“32”。

<segment>：检索时从nprobe2中用于搜索数据段数，默认值“[512, 1000, 1504]”。

<pool_size>：批量生成算子多进程调度的进程池大小，默认“16”。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组用于VSTAR检索时的AI Core和AICPU算子模型文件，用户需要自行修改命令中的参数。例如对于Atlas 推理系列产品 生成256维 nlist聚类中心为1024，一级候选桶nprobe1为72，二级候选桶nprobe2为64，降维后32，搜索段segment512的算子：python3 vstar_generate_models.py --dim 256 --nlistL1 1024 --subDimL1 32 --nProbeL1 72 --nProbeL2 64 --segmentNumL3 512

• dim ∈ {128, 256, 512, 1024}。
• nlist1 ∈ {256, 512, 1024}。
• sub_dim1 ∈ {32，64，128}。sub_dim1必须小于dim。
• nprobe1 ∈ (16, nlist1]。nprobe1是int类型的列表，且列表中的数值必须是8的整数倍。
• nprobe2 ∈ [16, nprobe1 * n]。当dim为1024时n为16，其余维度n为32，nprobe2是int类型的列表，且列表中的数值必须是8的整数倍。
• segment ∈ (100, 5000]。segment是int类型的列表，且segment必须是8的整数倍。
• pool_size∈[1, 32]。运行脚本前请先确定宿主机最大能支持的进程数量合理设置。

python3 ivfflat_generate_model.py -d <dim> -c <coarse_centroid_num> --cores <core_num> -p <process_id> -pool <pool_size> -t <npu_type>

<dim>：特征向量维度，默认值为“128”。

<coarse_centroid_num>：一级簇聚类中心个数。默认值为“1024”。

<core_num>：昇腾AI处理器AI Core的个数，默认为“40”。不指定该值时，根据<npu_type>配置：当<npu_type>配置为910B3时，<core_num>配置为40。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<pool_size>：批量生成算子多进程调度的进程池大小，默认值为“10”。

<npu_type>：硬件形态，当前<npu_type>支持Atlas A2 推理系列产品，Atlas A3 推理系列产品和Ascend 950 系列产品，默认值为“910B4”。如果无法确定具体的npu_type，则在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询，将查询到的“Name”最后一位数字删除，即是npu_type的取值。对于Atlas 800I A3 超节点服务器，可以通过npu-smi info -t board -i 0 -c 0命令进行查询，获取NPU Name信息，910_NPU Name即是npu_type的取值。对于 Ascend 950 超节点服务器请将npu_type设置为“Ascend950PR”。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组算子模型文件，用户需要自行修改命令中的参数。例如对于Atlas 800I A2 生成256维，聚类中心nlist为1024算子：python3 ivfflat_generate_model.py -c 1024 -t 910B4

• dim ∈ {64, 128, 256, 384, 512}。
• <coarse_centroid_num> ∈ {1024, 2048, 4096, 8192, 16384, 32768}
• 1 ≤ <pool_size> ≤ 32

python3 ivfpq_generate_model.py -d <dim> -c <nlist> --cores <core_num> -m <m> -n <nbit> -topK <topK> -b <blockNum> -p <process_id> -t <npu_type>

<dim>：特征向量维度，默认值为“128”。

<nlist>：一级簇聚类中心个数。默认值为“1024”。

<core_num>：昇腾AI处理器AI Core的个数，默认为“40”。不指定该值时，根据<npu_type>配置。

<m>：子空间个数，默认值为“4”。

<nbit>：每个子空间量化中心比特数，默认值为“8”，无需设置。同时会决定码本聚类中心数量ksub = 1 << nbit，当nbit为8时，ksub为256

<topK>：针对每条查询向量所返回的最相近候选向量的个数，默认值为“320”，无需设置。

<blockNum>：所处理候选向量block的个数，默认值为“128”，无需设置。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<npu_type>：硬件形态，当前<npu_type>仅支持Ascend950 系列产品，默认值为“Ascend950PR”，无需设置。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组算子模型文件，用户需要自行修改命令中的参数。例如生成128维，聚类中心nlist为1024，子空间个数4，比特数8算子：python3 ivfpq_generate_model.py -d 128 -c 1024 -m 4 -n 8

• dim ∈ {128}
• nlist ∈ {1024, 2048, 4096, 8192, 16384, 262144, 524288}
• m ∈ {2, 4, 8, 16, 32}
• n ∈ {8}

python3 ivfrabitq_generate_model.py -d <dim> -c <coarse_centroid_num> --cores <core_num> -p <process_id> -pool <pool_size> -t <npu_type> -m <metric_type>

<dim>：特征向量维度，默认值为“128”。

<coarse_centroid_num>：一级簇聚类中心个数。默认值为“16384”。

<core_num>：昇腾AI处理器AI Core的个数，默认为“40”。不指定该值时，根据<npu_type>配置：当<npu_type>配置为910B3时，<core_num>配置为40。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<pool_size>：批量生成算子多进程调度的进程池大小，默认值为“10”。

<npu_type>：硬件形态，当前<npu_type>支持Atlas A2 推理系列产品，Atlas A3 推理系列产品，默认值为“910B4”。如果无法确定具体的npu_type，则在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询，将查询到的“Name”最后一位数字删除，即是npu_type的取值。对于Atlas 800I A3 超节点服务器，可以通过npu-smi info -t board -i 0 -c 0命令进行查询，获取NPU Name信息，910_NPU Name即是npu_type的取值。

<metric_type>：向量计算方式，用于显式指定使用“L2”还是“IP”距离进行计算，默认为“L2”。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组算子模型文件，用户需要自行修改命令中的参数。例如对于Atlas 800I A2 生成128维，聚类中心nlist1024，L2距离算子：python3 ivfrabitq_generate_model.py -d 128 -c 1024 -t 910B4 -m L2

• dim ∈ {128}
• <coarse_centroid_num> ∈ {1024, 2048, 4096, 8192, 10048, 16384, 32768}
• 1 ≤ <pool_size> ≤ 32

python3 cagra_generate_model.py -d <dim> -data_base <data_base> -degree <degree> -topK <topK> -p <process_id> -t <npu_type>

<dim>：特征向量维度，默认值为"128"。

<data_base>：底库数据量，默认值为"1000000"。

<degree>：图度数，默认值为"64"。

<topK>：检索返回的最近邻个数，默认值为"64"。

<process_id>：批量生成算子多进程调度的进程ID，默认值为"0"，无需设置。

<npu_type>：硬件形态，默认值为"Ascend950PR"。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组算子模型文件，用户需要自行修改命令中的参数。例如对于Ascend 950 系列产品 生成128维，底库100万，图度数64，topK 64的算子：python3 cagra_generate_model.py -d 128 -data_base 1000000 -degree 64 -topK 64 -t Ascend950PR

• 仅支持Ascend 950 系列产品
• dim ∈ {64, 128, 256, 512}
• degree ∈ {64, 128, 256, 512}

python3 graph_build.py --input_filepath <input_filepath> --output_filepath <output_filepath> --graph_degree <graph_degree> --intermediate_degree <intermediate_degree> --nn_descent_niter <nn_descent_niter> --eval_samples <eval_samples>

<input_filepath>：输入目录路径，需包含"sift_base.fvecs"（底库数据）和"sift_query.fvecs"（查询数据）。该参数为必填项。

<output_filepath>：输出目录路径，生成的KNN图文件存储在该目录下。该参数为必填项。

<graph_degree>：最终图的出度，建议与搜索算子的GRAPH_DEGREE保持一致。类型为int，默认值为"64"。要求大于0。

<intermediate_degree>：中间图的出度，必须大于等于<graph_degree>。若该值不是32的倍数，将自动向上取整为最近的32的倍数。类型为int，默认值为"128"。

<nn_descent_niter>：NN-Descent迭代次数。迭代次数越大，图质量越高但构建时间越长。建议设置足够的迭代次数使得R@1/10/32/64均不低于0.995。类型为int，默认值为"10"。要求大于0。

<eval_samples>：评估图质量时使用的采样点数。设为"0"则跳过评估。类型为int，默认值为"1000"。

--help | -h：查询帮助信息。

• 执行此命令，在<output_filepath>对应的目录下生成以下文件：knn_graph.bin（KNN图文件）、data_ptr.bin（底库数据文件）、visited_map.bin（访问标记文件）和queries.bin（查询数据文件）。
• 当输出文件存在时，将执行覆盖写，此种情况程序执行用户应该是文件的属主。
• <intermediate_degree>必须大于等于<graph_degree>，否则程序将报错。
• 构建过程中会打印每次迭代后的R@1/10/32/64召回率，建议持续迭代直至召回率稳定（建议R@1/10/32/64均不低于0.995）。
• 构图过程中会占用较多CPU和内存资源，建议在内存充足的环境下执行。

python3 graph_build.py --input_filepath /home/user/data/sift_origin --output_filepath /home/user/output/iter_64_192 --graph_degree 64 --intermediate_degree 128 --nn_descent_niter 10

python3 vstar_train_codebook.py --dataPath <data_path> --dim <dim> --codebookPath <codebook_output_dir> --nlistL1 <nlist1> --subDimL1 <sub_dim1> --device <device> --batchSize <batch_size> --sample <sample> --useOfflineCompile

<data_path>：需要训练码本的原始数据路径，需要保证数据真实存在。该参数为必填项。

<dim>：特征向量维度。与VSTAR训练算子模型文件生成的<dim>保持一致，默认值为“256”。

<codebook_output_dir>：最终生成的码本文件所存储的路径，生成的码本文件输出到的目录，用户应该保证此目录存在，且程序的执行用户对此目录具有写权限。出于安全加固考虑，目录层级中不能含有软链接。

<nlist1>：一级簇聚类中心个数。与VSTAR训练算子模型文件生成的<nlist1>保持一致，默认值为“1024”。

<sub_dim1>：检索时一级降维后的维度大小，与VSTAR训练算子模型文件生成的<sub_dim1>保持一致，默认值为“32”。

<device>：设备逻辑ID，在指定的Device上执行训练，默认值为“1”。

<batch_size>：训练时以batch_size大小执行训练，参数范围(0，10240]，默认值为“10240”。

<sample>：训练用原始样本的采样率，0 < sample ≤ 1.0，默认为“1.0”。

--useOfflineCompile：控制是否选择依赖算子包，使用离线算子编译，以获得性能提升。默认不开启。若开启，在命令行结尾增加该选项即可。详细说明请参见:VSTAR生成码本文件-总体说明- --useOfflineCompile选项详细说明。

--help | -h：查询帮助信息。

• <data_path>原始数据大小需≤一千万1024维数据，即10,000,000 * 1024 * 4 = 40,960,000,000。
• 执行此命令，在<codebook_output_dir>对应的目录下生成新目录codebook_<dim>_<nlist1>_<sub_dim1>.bin，即为AscendIndexVStar和AscendIndexGreat所需使用到的码本文件。
• 当码本文件存在时，将执行覆盖写，此种情况程序执行用户应该是文件的属主。
• 在执行训练生成码本前，请先参考VSTAR，生成训练算子模型文件。

python3 ivfsp_train_codebook.py --dim <dim> --nonzero_num <nonzero_num> --nlist <nlist> --num_iter <num_iter> --device <device> --batch_size <batch_size> --code_num <code_num> --ratio <ratio> --learn_data_path <learn_data_path> --codebook_output_dir <codebook_output_dir> --train_model_dir <train_model_dir>

<dim>：特征向量维度。与IVFSP训练算子模型文件生成的<dim>保持一致，要求大于0。

<nonzero_num>：特征向量压缩后非零维度个数，与IVFSP训练算子模型文件生成的<low_dim>保持一致，要求大于0。

<nlist>：簇聚类中心个数。与IVFSP训练算子模型文件生成的<k>保持一致，要求大于0。

<num_iter>：训练迭代次数参数，默认为20。迭代次数设置过大，会导致训练时长增加，要求大于0。

<device>：设备逻辑ID，在指定的Device上执行训练，默认值为“0”。

<batch_size>：训练时以batch_size大小执行训练。与IVFSP训练算子模型文件生成的<batch_size>保持一致，要求大于0，小于等于32768，默认值为“32768”。

<code_num>：每次最大按code_num样本数量操作码本，必须为2的幂次。与IVFSP训练算子模型文件生成的<codebook_batch_size>保持一致，要求大于0，小于等于32768，默认值为“32768”。

<ratio>：训练用原始样本的采样率，0 < ratio ≤ 1.0，默认为1.0。

<learn_data_path>：训练用的原始特征文件路径，支持bin、npy格式，bin存储方式为行优先，数据类型为float32。

<codebook_output_dir>：生成的码本文件输出到的目录，用户应该保证此目录存在，且程序的执行用户对此目录具有写权限；出于安全加固的考虑，此目录层级中不能含有软链接。

<train_model_dir>：IVFSP训练算子模型文件所在目录。

--help | -h：查询帮助信息。

• 执行此命令，在<codebook_output_dir>对应的目录下生成文件codebook_<dim>_<nonzero_num>_<nlist>.bin和codebook_<dim>_<nonzero_num>_<nlist>.npy，codebook_<dim>_<nonzero_num>_<nlist>.bin即为AscendIndexIVFSP所需使用到的码本文件。
• 当码本文件存在时，将执行覆盖写，此种情况程序执行用户应该是文件的属主。
• 在执行训练生成码本前，请先参考IVFSP训练算子模型文件生成，生成训练算子模型文件。
• learn_data_path指定的数据大小必须大于等于nonzero_num * nlist * sizeof(float32) 字节。