跳到主要内容

rawdownloadcloneembedreportprint

r50k 中已知最长的故障 token——来自网站 “raw download / clone / embed report print” 界面字符串的嵌套家族（来源分析由 nostalgebraist 完成）。

原始 token

"rawdownloadcloneembedreportprint"

异常表现

01GPT-3/ChatGPT 的截断式复述产生了各种带 “embed” 的变体：'embedEMOTE'、'clone this'、'clone my clone'、'embed newcomment'。LessWrong
02在 GPT-2 全尺寸与 GPT-J 中被验证为欠训练；同族的 `rawdownload` 与 `embedreportprint` 是 GPT2-xl 离中心最远的 token。LessWrong

公开记录于: GPT-2 GPT-3 GPT-J-6B
行为类型: 欠训练验证不可说
分词器: r50k_base
发现者: Jessica Rumbelow & Matthew Watkins

参考链接