$PostalCodesNL

荷兰邮政编码 API 的碎片，横跨三个模型家族都出现故障——很好地证明了：只要分词器共享 BPE 合并规则，故障 token 就会“迁移”。

"$PostalCodesNL"

异常表现

• 01ChatGPT：不可说/多义——解释飘忽不定，temperature=0 时不确定（在 Watkins 的研究中两项均被重点标注）。LessWrong
• 02在 Magikarp 报告中被证实为 Llama-3-8B/70B 与 Llama-3.1-8B/70B 欠训练（均为报告中的典型例子）。GitHub

参考链接

• A Search for More “Unspeakable” Glitch Tokens — LessWrong
• Magikarp 验证结果汇总 — GitHub

相关 token