资产

数据集

训练与评测共用这一份台账,作业引用的是某一个版本。

数据集与模型仓库是同一套底座的两半:同一批存储、同一套内容寻址。 用户的动作也是成对的——挑一个基座、挑一份数据

版本,不是名字

一个训练作业引用的是某一个版本,不是一个名字。这条是刻意的: 数据换了而名字没换的话,两次训练的结果就没法对照,而那正是数据集存在的意义。

分片与占盘

数据集按分片存储,分片按内容寻址——两个版本之间没有改动的部分不重复占盘。 所以在原有数据集上追加一批数据,增量占用的只是新增的那部分。

一个数据集有哪些信息

  • 格式:数据的存储格式
  • 划分:train / validation / test 这类切分
  • 阶段:用于预训练、微调还是评测
  • 预览:直接在平台里看前几条,不用先下载
  • 存储:实际存在哪个存储上

添加数据集

在「数据集」页点「添加数据集」,上传或从已有存储登记。

⚠️ 大数据集的上传走分片,中断后可以续传——不必因为一次网络抖动从头再来。