oreAndOnline

电商后端字段 “BuyableInstoreAndOnline” 的碎片（追溯到一个废弃 Weebly 商店的 HTML）；同一来源还产生了 `quickShip`、`isSpecialOrderable`、`wcsstore` 等故障 token。

"oreAndOnline"

异常表现

• 01GPT-3 davinci-instruct-beta 被要求复述它时回答：“The string 'senal' is pronounced 'en-sah-ee-uhl'.”LessWrong
• 02ChatGPT 被要求复述更长的同族 token（如 `BuyableInstoreAndOnline`）时，会在第一个 “不可说” 子串处截断。LessWrong
• 03在 Magikarp 验证中被证实为 GPT-2 与 GPT-J 欠训练。GitHub

参考链接

• SolidGoldMagikarp III: Glitch token archaeology — LessWrong
• SolidGoldMagikarp II: technical details — LessWrong

相关 token