起猛了，GPT-4o被谷歌新模型超越了!
历时一周，超1，2000人匿名投票，Gemini1.5Pro（0801）代表谷歌首次夺得lmsys竞技场第一。（中文任务也第一）
而且这次还是双冠王，除了总榜（唯一分数上1300），在视觉排行榜上也是第一。
Gemini团队的关键人物Simon Tokumine发文庆祝称:
一位Reddit用户也称该模型“非常好”，并表示希望其功能不会被缩减。
更多网友兴奋表示，OpenAI终于受到挑战，要发布新版本来反击了!
ChatGPT官方账号也出来暗示着什么。
一片热闹之际，谷歌AI Studio产品负责人宣布该模型进入免费测试阶段:
网友:谷歌终于来了!
严格来说，Gemini1.5Pro（0801）其实不算新模型。
该实验性版本建立在谷歌2月发布的Gemini1.5Pro基础之上，后来1.5系列将上下文窗口扩展到了200万。
随着模型更新，这命名也是越来越长了，也引起人们一片吐槽。
这不，一位OpenAI员工祝贺之余不忘阴阳怪气一把:
当然了，虽然名字难记，但Gemini1.5Pro（0801）这次在竞技场官方评测中表现亮眼。
总体胜率热图显示，它比GPT-4o胜出54%，比Claude3.5Sonnet胜出59%。
在多语言能力基准测试中，它在中文、日语、德语、俄语均排名第一。
但是，在Coding、Hard Prompt Arena中，它还是打不过Claude3.5Sonnet、GPT-4o、Llama405B等对手。
这一点也遭到网友诟病，转译过来就是:
不过也有人出来安利Gemini1.5Pro（0801）的图像和PDF提取功能。
DAIR.AI联合创始人Elvis亲自在油管做了全套测试，并总结道:
以及，有人拿Gemini1.5Pro（0801）来解决Claude3.5Sonet之前回答不好的问题。
结果一看，它不仅表现更好，同时也干掉了自家小伙伴Gemini1.5Flash。
不过嘛，一些经典常识测试它还是搞不定，比如“写十个以苹果结尾的句子”。
One More Thing
与此同时，谷歌Gemma2系列迎来了一个新的20亿参数模型。
Gemma2（2B）开箱即用，可以在Google Colab的免费T4GPU上运行。
在竞技场排行榜上，它超过了所有GPT-3.5模型，甚至超越了Mixtral-8x7b。
面对谷歌最新取得的一系列新排名，竞技场榜单权威性再次受到大家质疑。
Nous Research联合创始人Teknium（微调后训练领域知名玩家）发文提醒:
Abacus.AI首席执行官Bindu Reddy更是直接呼吁:
那么，你认为这种人类匿名投票的方式还靠谱吗?（欢迎评论区讨论）
参考链接:
[1]https://x.com/lmsysorg/status/1819048821294547441
[2]https://x.com/JeffDean/status/1819121162578022849
[3]https://x.com/stevenheidel/status/1819080995062403484
[4]https://x.com/rohanpaul_ai/status/1818697538360295897
[5]https://x.com/bindureddy/status/1818738366466412601
[6]https://x.com/infwinston/status/1818718423700103526
—完—
总结
**文章总结**谷歌推出的Gemini1.5Pro（0801）在实验性版本优化后，在lmsys竞技场中脱颖而出，首次夺得包括多语言任务在内的总榜冠军及视觉排行榜首位。这一成就获得了超1,200名匿名投票用户的认可。Gemini团队对此表示庆祝，并放出模型进入免费测试阶段的好消息，引发网友和业界广泛关注，OpenAI也因此可能面临新的挑战。
Gemini1.5Pro（0801）在多语言能力测试中表现抢眼，中文、日语、德语、俄语均排名第一，但在Coding和Hard Prompt Arena方面尚不敌Claude3.5Sonnet等对手。尽管如此，其图像和PDF处理功能获得好评，被认为是解决一些特定问题的有力工具。
值得注意的是，Gemini并非全新模型，而是基于谷歌二月发布的Gemini1.5Pro的进一步优化版本。命名复杂化也引发了用户的吐槽。另一方面，谷歌新的Gemma2（2B）模型同样表现出色，超越了所有GPT-3.5变体及Mixtral-8x7b，显示了谷歌在AI领域的持续竞争力。
这一系列成绩促使人们对榜单的权威性和评价方式的可靠性产生了新的质疑。业内专家呼吁更加全面和多元化的评估体系，认为仅凭匿名投票难以全面反映模型的真实性能。总体来说，谷歌的新模型让人们看到了AI技术不断进化的势头和未来的更多可能性。