资产
数据集
训练与评测共用这一份台账,作业引用的是某一个版本。
数据集与模型仓库是同一套底座的两半:同一批存储、同一套内容寻址。 用户的动作也是成对的——挑一个基座、挑一份数据。
版本,不是名字
一个训练作业引用的是某一个版本,不是一个名字。这条是刻意的: 数据换了而名字没换的话,两次训练的结果就没法对照,而那正是数据集存在的意义。
分片与占盘
数据集按分片存储,分片按内容寻址——两个版本之间没有改动的部分不重复占盘。 所以在原有数据集上追加一批数据,增量占用的只是新增的那部分。
一个数据集有哪些信息
- 格式:数据的存储格式
- 划分:train / validation / test 这类切分
- 阶段:用于预训练、微调还是评测
- 预览:直接在平台里看前几条,不用先下载
- 存储:实际存在哪个存储上
添加数据集
在「数据集」页点「添加数据集」,上传或从已有存储登记。
⚠️ 大数据集的上传走分片,中断后可以续传——不必因为一次网络抖动从头再来。