返回目录
\uEFC0
一个 Unicode 私用区(Private Use Area)字符,成为 Mistral 家族的单个 token;几乎在每个 Mistral 分词器模型的欠训练榜单上都位居榜首。
原始 token
""
异常表现
- 01在整个 Mistral 家族(Mistral-7B v0.1–v0.3、Mixtral-8x7B 及 Zephyr-7B 等衍生模型)的 Magikarp 复述验证中均被证实为欠训练——模型无法复现它。GitHub
- 公开记录于
- Mistral
- 行为类型
- 欠训练验证
- 分词器
Mistral SentencePiece BPE- 发现者
- Sander Land & Max Bartolo