12月12日消息，特斯拉和SpaceX首席执行官埃隆·马斯克（Elon Musk）旗下人工智能创企xAI最近发布了其聊天机器人Grok，但好像出了点问题。
上周五，安全测试员贾克斯·温特伯恩（Jax Winterbourne）在社交媒体平台X上发布了一张截图，显示Grok拒绝回答用户的问题，并说：“我恐怕无法满足这个请求，因为这违反了OpenAI的使用政策。” 这引起了人们的好奇，因为Grok并不是由OpenAI开发的，而且双方还是竞争对手。
更有趣的是，xAI的员工并没有否认这种行为发生在他们的人工智能模型中。伊戈尔·巴布什金（Igor Babuschkin）在回复中写道：“问题在于我们训练Grok时，网络上到处都是ChatGPT的输出，我们不小心用到了其中一些。当我们第一次注意到这个问题的时候，我们也感到非常吃惊。不管怎样，这个问题是非常罕见的，现在我们已经意识到了，我们将确保Grok的未来版本不会有这个问题。别担心，没有OpenAI代码用于开发Grok。”
回复巴布什金时，温特伯恩写道：“谢谢你的回复。我要说的是，这种情况并不罕见，而且在涉及代码创建时经常发生。尽管如此，我还是会让那些专攻大语言模型和人工智能的人士进一步讨论这个问题。毕竟，我只是一个门外汉。”
然而，对于许多专家来说，巴布什金的解释似乎没有太大说服力。大语言模型通常不会一字不差地吐出它们的训练数据，如果Grok在网上偶然提到OpenAI的政策，那还有情可原。拒绝基于OpenAI政策给出回复可能需要专门的训练。发生这种情况最可能的原因是，Grok对OpenAI大语言模型的输出数据进行了微调。
人工智能研究人员西蒙·威尔森（Simon Willison）在接受采访时表示：“我对此有点怀疑，Grok之所以会如此表现，只是因为互联网上充斥着ChatGPT生成的内容？我在Hugging Face上看到过很多开放权重模型都表现出同样的行为，就像它们也是ChatGPT一样。这是因为，这些模型都在使用OpenAI API生成的数据集上进行微调，或者是使用了ChatGPT本身生成的数据集。我认为，Grok更有可能是在包含ChatGPT输出的数据集上进行了指令调整，而不是基于网络数据的意外。”
随着OpenAI的大语言模型变得越来越强大，对于某些人工智能项目（尤其是开源项目）来说，使用其他大语言模型生成的合成数据来微调自家人工智能模型的输出已经越来越普遍。微调人工智能模型的行为可以达到特定的目的，例如在初始训练运行后提高编码能力等。今年3月，斯坦福大学的一组研究人员就利用OpenAI的GPT-3模型（名为Text-DaVinci-003）的输出对指令跟踪进行了微调，并引发了轰动。
在网上，我们可以很容易地找到研究人员从ChatGPT输出中收集的几个开源数据集。因此，xAI可能使用其中一个数据集对Grok进行了微调，以实现某些特定目标。这种做法非常普遍，百科式生活指南类网站WikiHow上甚至有一篇题为《如何使用ChatGPT创建数据集》的文章。
这是未来使用人工智能工具来构建更复杂人工智能工具的一种方式，就像人们开始使用微型计算机来设计比纸笔绘图更复杂的微处理器一样。不过，xAI将来也许能够通过更仔细地过滤训练数据来避免这种情况。
尽管借鉴他人的成果在机器学习社区可能很常见（尽管这通常是违反服务条款的），但这一事件依然加剧了OpenAI和xAI之间的竞争，这种竞争甚至可以追溯到马斯克过去对OpenAI的批评。随着Grok可能借用OpenAI模型数据的消息传开，ChatGPT官方账号甚至发文嘲讽xAI称，“我们有很多共同点”，并引用了温特伯恩的帖子。马斯克则回击道：“你们从这个平台上收集了所有训练数据，这你应该知道吧！”