Mirendil称单人三个半月训出千亿参数编码基座模型

Mirendil 在官网发布文章《无需预训练团队的大规模预训练》，称公司用 1 名研究员借助 Agent，在三个半月内训练出编码专用基座模型 Mirendil-Base，参数区间为 1000 亿至 5000 亿，成本不到 1000 万美元，涵盖 Agent 的 token 消耗、数据处理和全部研究实验成本。 Mirendil 称，Mirendil-Base-Large 已训练 80%，Mirendil-Base-XL 仅训练 19%，但 XL 的分数已快追上 Large 当前水平；公司已开始对 Mirendil-Base 进行后训练，Large 和 XL 仍在训练中。上述进度与效果均为 Mirendil 自述，尚未见独立验证。

AI 根据报道生成 · 47 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。