最近，一篇名为《Scaling Transformer to 1M tokens and beyond with RMT》在技术圈引发热议。
该论文提出一种名为 RMT 的新技术，或许可将 Transform 的 Token 上限扩展至 100 万，甚至更多。
要知道，目前最强的 GPT-4-32k，其 Token 上限也才 3.2 万，这就导致了它并不能很好的处理长文内容。
像文档、书籍、代码这种大块内容，往往需要先对内容进行切割，分多次喂给 GPT，但 GPT 本身能理解的上下文内容有限，这就很容易导致结果偏离预期。
如果未来 Token 的上限能够不断突破，将会创造出更多 AI 应用场景。包括之前大家经常畅想的，训练一个无限接近自己人格的 AI 聊天机器人。
论文：arxiv.org/abs/2304.11062
要是你觉得这些技术名词比较晦涩难懂，也可以读一下 Twitter 网友 riddhi 让 ChatGPT 做的这个总结，通俗易懂的解读了这项技术：
假设你有个很聪明的机器人朋友，它可以读很多东西并记住它们。这个机器人朋友使用一种叫做 “Transformer” 的东西来帮助它理解和记忆内容，就像人类大脑一样。
现在有这么一群聪明人，发现了一种能让你的机器人朋友变得更好的方法，那就是给它装上一个新大脑，叫做“Recurrent Memory Transformer”，或者简称“RMT”。
有了这个新大脑，机器人朋友就可以记住和理解更多的东西，一次多达 2 百万个字！这相当于它可以同时记住大约 20 本很长的书的内容。
在这之前，其他聪明的机器人只能记住最多 6.4 万个字，虽然这已经很多了，但还远不及 2 百万个字。
这个发现非常重要，因为这意味着我们的机器人朋友现在可以理解和谈论更多的事情，为我们提供更多的帮助。
最棒的是，这种新大脑不会让机器人变得更重或者耗费更多的能量。所以这就像一台拥有超能力的机器人朋友，可以做很多厉害的事情并且不会累！
Twitter：twitter.com/ridtalkstech/status/1650316114935828481
