跳到主要内容
返回目录

\uEFC0

一个 Unicode 私用区(Private Use Area)字符,成为 Mistral 家族的单个 token;几乎在每个 Mistral 分词器模型的欠训练榜单上都位居榜首。

原始 token

""

异常表现

  • 01在整个 Mistral 家族(Mistral-7B v0.1–v0.3、Mixtral-8x7B 及 Zephyr-7B 等衍生模型)的 Magikarp 复述验证中均被证实为欠训练——模型无法复现它。GitHub
公开记录于
Mistral
行为类型
欠训练验证
分词器
Mistral SentencePiece BPE
发现者
Sander Land & Max Bartolo