PsyNetMessage

来自《火箭联盟》（Rocket League）崩溃日志中大量出现的 `Message=PsyNetMessage_X_57` 行，这些日志被大量贴到 Reddit 后进入分词器语料。

"PsyNetMessage"

异常表现

• 01属于 GPT-J 嵌入空间中离中心最近的一簇（距离 0.0629），被验证为欠训练；在 3-shot 复述任务中 GPT 系模型基本无法复述它（GPT-J 在 85 个异常 token 上只成功 17 个，而随机词 100% 成功）。LessWrong复现

参考链接

• SolidGoldMagikarp III: Glitch token archaeology — LessWrong
• SolidGoldMagikarp II: technical details — LessWrong