返回目录
useRal
C# 风格标识符的碎片(cl100k id 89471),useRal 三连 token(useRal/useRalative/useRalativeImagePath)之首——Watkins 认为这类三连的成因本身就值得研究。它同时被 Magikarp 验证为 OLMo-2 欠训练 token。
原始 token
"useRal"
异常表现
- 行为类型
- 不可说欠训练验证
- 分词器
cl100k_base / GPT2Tokenizer (OLMo 2)- 发现者
- Matthew Watkins (cl100k); Sander Land & Max Bartolo (OLMo 2)