Layout-finetuned-fr-model-50instances20-10epochs-5e-05lr-V2:

分支1Tags0

library_name: transformers license: cc-by-nc-sa-4.0 base_model: microsoft/layoutxlm-base tags:

  • generated_from_trainer model-index:
  • name: Layout-finetuned-fr-model-50instances20-10epochs-5e-05lr-V2 results: []

Layout-finetuned-fr-model-50instances20-10epochs-5e-05lr-V2

该模型是 microsoft/layoutxlm-base 在一个未知数据集上的微调版本。 它在评估集上取得了以下结果:

  • 损失:0.0001

模型描述

需要更多信息

预期用途与局限性

需要更多信息

训练和评估数据

需要更多信息

训练过程

训练超参数

训练过程中使用了以下超参数:

  • 学习率:5e-05
  • 训练批次大小:4
  • 评估批次大小:8
  • 随机种子:42
  • 优化器:使用 OptimizerNames.ADAMW_TORCH,betas=(0.9, 0.999),epsilon=1e-08,无额外优化器参数
  • 学习率调度器类型:reduce_lr_on_plateau
  • 学习率调度器预热比例:0.06
  • 训练轮数:10

训练结果

训练损失 轮次 步数 验证损失
3.2231 0.7692 10 0.7135
0.1961 1.5385 20 0.0019
0.002 2.3077 30 0.0004
0.0005 3.0769 40 0.0002
0.0003 3.8462 50 0.0001
0.0003 4.6154 60 0.0001
0.0002 5.3846 70 0.0001
0.0002 6.1538 80 0.0001
0.0002 6.9231 90 0.0001
0.0002 7.6923 100 0.0001
0.0002 8.4615 110 0.0001
0.0001 9.2308 120 0.0001
0.0001 10.0 130 0.0001

框架版本

  • Transformers 4.48.0
  • Pytorch 2.4.1.post100
  • Datasets 3.2.0
  • Tokenizers 0.21.0

项目介绍

暂无简介

定制我的领域

下载使用量

0

项目总下载次数(含Clone、Pull、 zip 包及 release 下载),每日凌晨更新