根据卡内基梅隆大学的最新研究报告，谷歌最新推出的大型语言模型Gemini Pro在基准测试中未能达到预期水平，不仅落后于GPT-3.5，还远远不及GPT-4。
Gemini Pro的研究结果与谷歌在Gemini发布会上所提供的信息相矛盾，凸显了对中立基准测试机构或流程的迫切需求。Gemini团队声称即将推出的"Ultra"版本将在各种任务上超越GPT-4，但谷歌已经对Ultra的基准结果进行了操纵。
尽管谷歌声称Gemini Pro在性能上可与或优于OpenAI的GPT-3.5，但卡内基梅隆大学的研究显示，在研究时Gemini Pro在所有基准测试中都不如OpenAI的GPT-3.5Turbo。
研究还发现，Gemini Pro在基本数学推理方面表现不佳，这是形式逻辑和初等数学任务所需的能力。在主题类别方面，Gemini Pro只在安全研究和高中微观经济学方面优于GPT-3.5，而在其他所有类别中都落后。
一些基准测试差异可能是由于谷歌的保护机制导致模型在MMLU评估中无法回答一些问题。然而，研究人员还发现，Gemini Pro在多选题、大数字数学推理、任务提前终止以及侵略性内容过滤导致的失败响应方面表现不佳。
Gemini Pro模型的准确性与GPT3.5Turbo相当，但略逊一筹，并且远不如GPT-4。然而，在某些长而复杂的推理任务中，Gemini表现优于GPT3.5Turbo，并在无过滤响应的多语境任务中表现出色。
这项研究也可能是GPT-4Turbo的第一个MMLU基准测试。根据这个基准测试，最新的OpenAI模型在重要的语言理解基准测试中明显落后于原始的GPT-4。尽管有这些结果，GPT-4Turbo目前在聊天机器人领域评分最高，显示基准测试的价值有限。
这一研究结果强调了仅仅依赖大公司自我报告的基准测试并不是衡量巨型语言模型性能的可靠手段。同时，它也表明，尽管谷歌竭尽全力，但其在追赶OpenAI方面仍然表现不佳，对整个AI行业而言并非好消息。