跳到主要内容
返回目录

\tTokenNameIdentifier

Roslyn/C# API 标识符,前缀一个制表符(Tab)——代码语料的产物,在 Llama 3 中欠训练。

原始 token

"\tTokenNameIdentifier"

异常表现

  • 01在 Magikarp 复述任务中被证实为 Llama-3-8B、Llama-3.1-8B 及 Qwen2.5 模型欠训练——模型无法按要求复现该 token。GitHub
公开记录于
Llama 3Qwen
行为类型
欠训练验证
分词器
Llama-3 BPE
发现者
Sander Land & Max Bartolo