已合并
update #4
m0_74144059创建于 2025年8月20日
update #4
已合并
共 9 个文件变更+53-55
| @@ -12,21 +12,21 @@ GitCode AI 社区提供了全面的数据集管理功能,帮助您轻松创建 | |||
| 12 | 1. 登录您的 GitCode AI 账号 | 12 | 1. 登录您的 GitCode AI 账号 |
| 13 | 2. 进入"数据集" > "创建数据集" | 13 | 2. 进入"数据集" > "创建数据集" |
| 14 | 3. 填写数据集信息: | 14 | 3. 填写数据集信息: |
| 15 | + - 数据集ID | ||
| 15 | - 数据集名称 | 16 | - 数据集名称 |
| 16 | - - 描述 | 17 | + - 选择LICENSE模板 |
| 17 | - - 标签 | 18 | + - 选择是否公开 |
| 18 | - - 许可证类型 | 19 | +4. 选择LICENSE模板: |
| 19 | -4. 选择数据集类型: | 20 | + - PyTorchCreative Commons Attribution Non Commercial 3.0 |
| 20 | - - 表格数据 | 21 | + - Creative Commons Attribution Non Commercial No IDerivatives 3.0 |
| 21 | - - 图像数据 | 22 | + - Creative Commons Attribution Non Commercial Share Alike 2.0 |
| 22 | - - 文本数据 | 23 | + - Creative Commons Attribution Non Commercial Share Alike 3.0 |
| 23 | - - 音频数据 | 24 | + - H Research License |
| 24 | - - 视频数据 | 25 | + - Open Model, Data & Weights License Agreement |
| 25 | -5. 上传数据文件 | 26 | + - Unknown |
| 26 | -6. 设置访问权限 | 27 | +5. 点击"创建数据集"完成 |
| 27 | -7. 点击"创建"完成 | 28 | + |
| 28 | - | 29 | + |
| 29 | - | ||
| 30 | 30 | ||
| 31 | ### 数据集配置 | 31 | ### 数据集配置 |
| 32 | 32 | ||
| @@ -54,11 +54,11 @@ labels: | |||
| 54 | 54 | ||
| 55 | 1. 在搜索框输入关键词 | 55 | 1. 在搜索框输入关键词 |
| 56 | 2. 使用过滤条件: | 56 | 2. 使用过滤条件: |
| 57 | - - 数据类型 | 57 | + - 综合排序 |
| 58 | - - 任务类型 | 58 | + - 最受欢迎 |
| 59 | - - 许可证 | 59 | + - 最多下载 |
| 60 | - - 数据量 | 60 | + - 最新创建 |
| 61 | - - 更新时间 | 61 | + - 最近更新 |
| 62 | 62 | ||
| 63 | ### 高级搜索 | 63 | ### 高级搜索 |
| 64 | 64 | ||
| @@ -70,14 +70,12 @@ labels: | |||
| 70 | 70 | ||
| 71 | ## 数据集下载 | 71 | ## 数据集下载 |
| 72 | 72 | ||
| 73 | -### Web 界面下载 | ||
| 74 | - | ||
| 75 | 1. 进入数据集详情页 | 73 | 1. 进入数据集详情页 |
| 76 | -2. 点击"下载"按钮 | 74 | +2. 点击"克隆"按钮 |
| 77 | -3. 选择下载内容: | 75 | +3. 复制项目地址 |
| 78 | - - 完整数据集 | 76 | +4. 克隆到本地 |
| 79 | - - 部分数据 | 77 | +5. 使用 HTTPS 协议时,请配置并使用个人访问令牌替代登录密码进行克隆、推送等操作 |
| 80 | - - 示例数据 | 78 | +6. 使用 SSH 协议时,请在本地生成 SSH 公钥进行克隆、推送等操作 |
| 81 | 79 | ||
| 82 | ### 命令行下载 | 80 | ### 命令行下载 |
| 83 | 81 | ||
| @@ -97,23 +95,24 @@ gitcode download-dataset username/dataset-name --split train | |||
| 97 | 95 | ||
| 98 | ## 数据集使用 | 96 | ## 数据集使用 |
| 99 | 97 | ||
| 100 | -### Python 代码示例 | 98 | +### openMind |
| 101 | 99 | ||
| 102 | -```python | 100 | +```Python |
| 103 | -from gitcode_hub import load_dataset | 101 | +# 需要先安装openmind-hub |
| 102 | +pip install openmind-hub | ||
| 104 | 103 | ||
| 105 | -# 加载数据集 | 104 | +# 设置环境变量: |
| 106 | -dataset = load_dataset("username/dataset-name") | 105 | +import os |
| 106 | +os.environ["OPENMIND_HUB_ENDPOINT"] = "https://api.gitcode.com" | ||
| 107 | 107 | ||
| 108 | -# 获取训练集 | 108 | +# 下载数据集 |
| 109 | -train_data = dataset["train"] | 109 | +from openmind_hub import snapshot_download |
| 110 | 110 | ||
| 111 | -# 数据预处理 | 111 | +# 在配置并使用个人访问令牌申请访问令牌 |
| 112 | -processed_data = dataset.map(preprocess_function) | 112 | +token = "" |
| 113 | 113 | ||
| 114 | -# 批量处理 | 114 | +# 如果没有指定local_dir,请在~/.cache/openmind 下进行查看 |
| 115 | -for batch in dataset.iter_batches(batch_size=32): | 115 | +snapshot_download("BAAI/Infinity-Instruct", local_dir = './Infinity-Instruct',token = token ) |
| 116 | - process_batch(batch) | ||
| 117 | ``` | 116 | ``` |
| 118 | 117 | ||
| 119 | ### 数据集版本控制 | 118 | ### 数据集版本控制 |
| @@ -13,20 +13,23 @@ GitCode AI 社区提供了丰富的模型资源,您可以轻松地创建、搜 | |||
| 13 | 1. 登录您的 GitCode AI 账号 | 13 | 1. 登录您的 GitCode AI 账号 |
| 14 | 2. 点击导航栏中的"模型中心" > "创建模型" | 14 | 2. 点击导航栏中的"模型中心" > "创建模型" |
| 15 | 3. 填写模型基本信息: | 15 | 3. 填写模型基本信息: |
| 16 | + - 模型ID | ||
| 16 | - 模型名称 | 17 | - 模型名称 |
| 17 | - - 模型描述 | 18 | + - 选择LICENSE模板 |
| 18 | - - 标签 | 19 | + - 选择是否公开 |
| 19 | - - 许可证 | 20 | +4. 选择LICENSE模板: |
| 20 | -4. 选择模型类型: | 21 | + - PyTorchCreative Commons Attribution Non Commercial 3.0 |
| 21 | - - PyTorch | 22 | + - Creative Commons Attribution Non Commercial No IDerivatives 3.0 |
| 22 | - - TensorFlow | 23 | + - Creative Commons Attribution Non Commercial Share Alike 2.0 |
| 23 | - - ONNX | 24 | + - Creative Commons Attribution Non Commercial Share Alike 3.0 |
| 24 | - - 其他框架 | 25 | + - H Research License |
| 25 | -5. 上传模型文件 | 26 | + - Open Model, Data & Weights License Agreement |
| 26 | -6. 提供示例代码(可选) | 27 | + - Unknown |
| 27 | -7. 点击"创建"完成 | 28 | +5. 点击"创建模型"完成 |
| 29 | + | ||
| 30 | + | ||
| 31 | + | ||
| 28 | 32 | ||
| 29 | -[图片:模型创建页面截图] | ||
| 30 | 33 | ||
| 31 | ### 模型配置文件 | 34 | ### 模型配置文件 |
| 32 | 35 | ||
| @@ -114,5 +114,3 @@ weight: 1 | |||
| 114 | ### 进阶建议 | 114 | ### 进阶建议 |
| 115 | 115 | ||
| 116 | **理解原理**:了解模型背后的工作原理。**优化参数**:根据实际需求调整模型参数。**组合使用**:将多个模型组合起来使用。**分享经验**:把自己的使用经验分享给其他人。 | 116 | **理解原理**:了解模型背后的工作原理。**优化参数**:根据实际需求调整模型参数。**组合使用**:将多个模型组合起来使用。**分享经验**:把自己的使用经验分享给其他人。 |
| 117 | - | ||
| 118 | -记住,使用AI模型是一个学习过程。不要害怕出错,多尝试,多学习,你会越来越熟练的! | ||
| @@ -135,5 +135,3 @@ weight: 4 | |||
| 135 | ## 总结 | 135 | ## 总结 |
| 136 | 136 | ||
| 137 | 上传模型是分享知识、帮助他人的好方式。通过上传模型,你可以**展示技术能力**(让别人看到你的成果)、**帮助其他用户**(解决他们的问题)、**获得反馈建议**(改进模型质量)和**建立专业形象**(在社区中获得认可)。 | 137 | 上传模型是分享知识、帮助他人的好方式。通过上传模型,你可以**展示技术能力**(让别人看到你的成果)、**帮助其他用户**(解决他们的问题)、**获得反馈建议**(改进模型质量)和**建立专业形象**(在社区中获得认可)。 |
| 138 | - | ||
| 139 | -记住,好的模型不仅要有好的技术,还要有好的说明和文档。用心准备,认真上传,你的模型就能帮助更多的人! | ||
| @@ -550,6 +550,7 @@ | |||
| 550 | "npu-functions", | 550 | "npu-functions", |
| 551 | "npu的作用", | 551 | "npu的作用", |
| 552 | "npu算力类型", | 552 | "npu算力类型", |
| 553 | + "openmind", | ||
| 553 | "organization-collections", | 554 | "organization-collections", |
| 554 | "organization-tips", | 555 | "organization-tips", |
| 555 | "page-bg", | 556 | "page-bg", |
| @@ -687,7 +688,6 @@ | |||
| 687 | "visibility-options", | 688 | "visibility-options", |
| 688 | "visibility-selection", | 689 | "visibility-selection", |
| 689 | "web-interface-download", | 690 | "web-interface-download", |
| 690 | - "web-界面下载", | ||
| 691 | "what-are-collections", | 691 | "what-are-collections", |
| 692 | "what-are-datasets", | 692 | "what-are-datasets", |
| 693 | "what-are-the-usage-limitations", | 693 | "what-are-the-usage-limitations", |