跳到主要内容
返回目录

OLMo 2 (AI2)

4 个故障 token

以下条目表示这些 token 曾在该模型或模型系列中被公开记录,不代表所有版本现在仍会出现相同行为。

useRal

C# 风格标识符的碎片(cl100k id 89471),useRal 三连 token(useRal/useRalative/useRalativeImagePath)之首——Watkins 认为这类三连的成因本身就值得研究。它同时被 Magikarp 验证为 OLMo-2 欠训练 token。
GPT-3.5 / GPT-4OLMo 2 (AI2)不可说欠训练验证

\tRTHOOK

制表符(Tab)开头、疑似代码标识符的碎片,OLMo-2 欠训练排名第一——与 Llama-3 的 \tTokenNameIdentifier 同属“Tab 前缀”家族。
OLMo 2 (AI2)欠训练验证

|||PHONE_NUMBER|||

数据脱敏占位符的完整形态进入了 OLMo-2 词表,却几乎未被训练。
OLMo 2 (AI2)欠训练验证

|||EMAIL_ADDRESS|||

PII 数据脱敏占位符,与已收录的 `|||PHONE_NUMBER|||` 同族。
OLMo 2 (AI2)欠训练验证