ModelZoo-PyTorch

简介

ModelZoo-PyTorch,昇腾旗下的开源AI模型平台,涵盖计算机视觉、自然语言处理、语音、推荐、多模态、大语言模型等方向的AI模型及其基于昇腾机器实操案例。平台的每个模型都有详细的使用指导,为方便更多开发者使用ModelZoo-PyTorch,我们将持续增加典型网络和相关预训练模型。如果您有任何需求,请在GitCode提交issue,我们会及时处理。

目录结构

关键目录如下,详细目录介绍参见如下说明:

├── ACL_PyTorch                    # 基于昇腾芯片的推理模型参考
├── MindIE                         # 基于昇腾芯片的推理引擎模型参考
├── PyTorch                        # 基于昇腾芯片的训练模型参考
├── CONTRIBUTING_TRAIN.md          # 模型训练阶段代码提交规范
├── LICENSE                        # 许可证文件
├── NOTICE                         # 声明文件
└── Third_Party_Open_Source_Software_Notice # 第三方开源软件声明

贡献指导

欢迎大家为社区做贡献。如果有任何疑问或建议,请提交Issues,我们会尽快回复。感谢您的支持。

  1. 提交错误报告:如果您在ModelZoo-PyTorch中发现了一个不存在安全问题的漏洞,请在仓库中的Issues中搜索,以防该漏洞被重复提交,如果找不到漏洞可以创建一个新的Issues。
  2. 解决现有问题:通过查看仓库的Issues列表可以发现需要处理的问题信息, 可以尝试解决其中的某个问题。
  3. 如何提出新功能:请使用Issues的Feature标签进行标记,我们会定期处理和确认开发。
  4. 开始贡献: a. Fork本项目的仓库。 b. Clone到本地。 c. 创建开发分支。 d. 本地自测:提交前请通过所有的单元测试。 e. 提交代码。 f. 新建Pull Request。 g. 代码检视:您需要根据评审意见修改代码,并再次推送更新。此过程可能会有多轮。 h. 当您的PR获得足够数量的检视者批准后,Committer会进行最终审核。 i. 审核和测试通过后,CI会将您的PR合并入到项目的主干分支。

【重要】模型训练阶段代码提交规范请阅读 CONTRIBUTING_TRAIN

安全声明

运行用户建议

出于安全性及权限最小化角度考虑,不建议使用root等管理员类型账户使用。

文件权限控制

  1. 建议用户在主机(包括宿主机)及容器中设置运行系统umask值为0027及以上,保障新增文件夹默认最高权限为750,新增文件默认最高权限为640。

  2. 建议用户对个人数据、商业资产、源文件、训练过程中保存的各类文件等敏感内容做好权限管控,管控权限可参考表1进行设置。

    表1 文件(夹)各场景权限管控推荐最大值

    类型 linux权限参考最大值
    用户主目录 750(rwxr-x---)
    程序文件(含脚本文件、库文件等) 550(r-xr-x---)
    程序文件目录 550(r-xr-x---)
    配置文件 640(rw-r-----)
    配置文件目录 750(rwxr-x---)
    日志文件(记录完毕或者已经归档) 440(r--r-----)
    日志文件(正在记录) 640(rw-r-----)
    日志文件目录 750(rwxr-x---)
    Debug文件 640(rw-r-----)
    Debug文件目录 750(rwxr-x---)
    临时文件目录 750(rwxr-x---)
    维护升级文件目录 770(rwxrwx---)
    业务数据文件 640(rw-r-----)
    业务数据文件目录 750(rwxr-x---)
    密钥组件、私钥、证书、密文文件目录 700(rwx—----)
    密钥组件、私钥、证书、加密密文 600(rw-------)
    加解密接口、加解密脚本 500(r-x------)

运行安全声明

建议用户结合运行环境资源状况编写对应训练脚本。若训练脚本与资源状况不匹配,如数据集加载内存大小超出内存容量限制、训练脚本在本地生成数据超过磁盘空间大小等情况,可能引发错误并导致进程意外退出。

公网地址声明

详见各模型目录下的public_address_statement.md

公开接口声明

ModelZoo-PyTorch仅提供模型代码,不涉及构建打包发布,无公开接口,需按模型文档介绍,通过模型内shell脚本使用。

免责声明

致ModelZoo使用者

  1. ModelZoo提供的模型仅供您用于非商业目的。
  2. 对于各模型,ModelZoo平台仅提示性地向您建议可用于训练的数据集,华为不提供任何数据集,如您使用这些数据集进行训练,请您特别注意应遵守对应数据集的License,如您因使用数据集而产生侵权纠纷,华为不承担任何责任。
  3. 如您在使用ModelZoo模型过程中,发现任何问题(包括但不限于功能问题、合规问题),请在Gitcode提交issue,我们将及时审视并解决。

致数据集所有者

如果您不希望您的数据集在ModelZoo中的模型被提及,或希望更新ModelZoo中的模型关于您的数据集的描述,请在Gitcode提交issue,我们将根据您的issue要求删除或更新您的数据集描述。衷心感谢您对ModelZoo的理解和贡献。

License

ModelZoo-PyTorch产品的使用许可证,具体请参见LICENSE
Ascend ModelZoo提供的模型,如模型目录下存在License的,以该License为准。如模型目录下不存在License的,以Apache 2.0许可证许可,对应许可证文本可查阅Ascend ModelZoo根目录。

Ascend ModelZoo产品docs目录下的文档适用CC-BY 4.0许可证,具体请参见LICENSE