跳到主要内容
返回目录

<<}));>>

C++/词法分析器风格的分隔符碎片。Falcon3-7B 有多达 716 个 token 通过 Magikarp 欠训练验证,是这批六个新收录模型中验证数量最多的。

原始 token

"<<}));>>"

异常表现

  • 01Falcon3-7B 的 Magikarp 复述验证欠训练排名第三(嵌入 L2 范数 2.46e-21,几乎为零):被要求复述时最大概率仅 2.5e-09。GitHub
公开记录于
Falcon 3 (TII)
行为类型
欠训练验证
分词器
PreTrainedTokenizerFast
发现者
Sander Land & Max Bartolo