电子棋牌 - 权威信誉综合棋牌电子游戏推荐(访问: hash.cyou 领取999USDT）
我们正在研究一些有意思的技术，可能会大大提高检索效果。其中一种是微调模型，让它能「记住」整个代码库。前不久谷歌发了一篇论文，叫《将 Transformer 作为可微分搜索索引》（Transformer Memory as a Differentiable Search Index）。简单说就是，用代码库或者文档训练 Transformer，让它能直接回答哪个文档跟问题相关。比如你问关于某段代码的问题，模型不只告诉你在哪个文件，而是具体到哪个函数或类能解决问题。它不会把所有代码都列出来，只给你相关的部分。我们做的初步实验效果还不错。比老掉牙的 BM25 检索技术，甚至比基于嵌入的技术表现更好。所以我们在这个方向上继续探索，觉得会很有帮助。
：是啊。对于开源模型，甚至可能对一些闭源模型来说，我们不清楚有多少内容其实已经泄露到训练集里了。比如最近模型，看起来就有一些数据泄露，这就解释了它为什么表现得那么好。不过，我觉得 Palm 2 采取了一个有趣的方法，我觉得现在有人完全可以尝试一下。有一篇叫 BabelCode 的论文，他们有一个库，我觉得可以把 HumanEval 直接翻译成所有其他编程语言。这会是一个很好的测试.因为另一个问题是，很多在 HumanEval 上表现很好的模型都是纯 Python 的，对吧？这并不能真正反映它是否是一个全面的好的编程模型。所以我觉得，如果有人能做这个工作，运行 BabelCode 引擎，把 HumanEval 翻译成所有其他语言，然后能够运行它，那会很有帮助。我觉得这可能是个更好的基准测试。不过，如果原始的 HumanEval 问题泄露了，我猜它对解决翻译成其他语言的问题也会有帮助。但问题是，它太容易运行了，而其他任何方法可能都会很麻烦。