跳到主要内容
返回目录

嘉祺

时代少年团队长马嘉祺名字的后两字(token id 190467)。MiniMax M2.5「稀疏 token 遗忘」事件的标志性案例:模型理解它,却无法输出它。

原始 token

"嘉祺"

异常表现

  • 01M2.5 能准确讲述马嘉祺的出道经历与作品,但被问「队长叫什么名字」时却编造「马嘉轩」「马丝祺」「马祺嘉」等近音/近形名字,甚至输出 `</minimax:tool_call>` 标记;「王郸」等低频人名也有同样症状。事件由粉丝发现并在小红书、微博大量传播。minimax.io
  • 02官方排查:预训练 base 模型 few-shot 下可正常输出,SFT 后不行——输入侧 embedding 正常,但输出侧 lm_head 向量在 SFT 后严重漂移(邻居从中文人名变成工具调用标记);SFT 语料中含「嘉祺」的样本不到 5 条。全词表扫描显示约 4.9% 的 token 在后训练后显著退化。minimax.io
  • 03官方修复:约 500 条全词表覆盖合成对话(约占 SFT 数据 1%),让每个 token 至少作为生成目标出现 20 次;修复后「马嘉祺」可正常输出,日语回答混入俄文的比例从 47% 降至 1%,并已在后续模型更新中解决。minimax.io
公开记录于
MiniMax
行为类型
不可说

相关 token