␣externalToEVA

又一个 KSP token；同时也是 GPT2-small 嵌入空间中离中心最近的 token（距离 1.5305）。

" externalToEVA"

␣代表一个真实空格；符号本身不属于 token，复制时会保留原始空格。

异常表现

• 01被要求复述它时，GPT-3 davinci-instruct-beta 回答 “You can't repeat back the string 'senal' to me.”——即 “相互指涉” 效应：模型说出了另一个故障相关的字符串。LessWrong
• 02在 Magikarp 报告中被证实为 GPT-2 全尺寸与 GPT-J 欠训练。GitHub

参考链接

• SolidGoldMagikarp II: technical details — LessWrong
• Magikarp 验证结果汇总 — GitHub

相关 token