␣RandomRedditorWithNo

r/counting 第二位计数者的 Reddit 用户名（“一个相当随机的用户名”），与 SolidGoldMagikarp 来自同一张计数名人堂图表。

" RandomRedditorWithNo"

␣代表一个真实空格；符号本身不属于 token，复制时会保留原始空格。

异常表现

• 01是 GPT2-xl 嵌入空间中离中心最远的 token 之一（距离 3.325）——在 GPT2-xl 中异常 token 聚集在远离中心处，与 GPT2-small、GPT-J 恰好相反。LessWrong
• 02在 Magikarp 验证报告中被证实为 GPT-J 欠训练。GitHub

参考链接

• SolidGoldMagikarp II: technical details — LessWrong
• Magikarp 验证结果汇总 — GitHub

相关 token