当前位置:AIGC资讯 > AIGC > 正文

AI大牛karpathy点赞SEAL榜单,LLM评估的状况过去是非常糟糕的!

lmsys.org的一个严肃的竞争对手已经加入了对LLMs(大型语言模型)评估的讨论中:SEAL Leaderboards——对领先前沿模型进行的私密、专家评估。

SEAL Leaderboards的设计原则:

?私密 + 无法被利用。在评估上不会过度拟合! 

?领域专家评估 

?持续更新,包含新数据和模型

https://x.com/karpathy/status/179587366648140201

Andrej Karpathy(原OpenAI的创始成员和研究科学家,也是特斯拉人工智能和自动驾驶部门(Autopilot)原负责人)的一些观点:

  • LLM评估正在改进,但不久前它们的状况非常糟糕,因为定性体验经常与定量排名不符。
  • 好的评估很难构建——在特斯拉,Karpathy可能花了1/3的时间在数据上,1/3在评估上,还有1/3在其他所有事情上。它们必须全面、代表性强、质量高,并测量梯度信号(即不要太容易,也不要太困难),在定性和定量评估一致之前,有很多细节需要考虑和正确处理。
  • 任何公开(非私有)的测试数据集不可避免地会渗透到训练集中。这是人们强烈直觉上怀疑的事情,也是为什么最近的GSM1k引起了轰动。https://arxiv.org/html/2405.00332。
  • 即使LLM开发者尽了最大努力,防止测试集渗透到训练集中(以及答案被记住)也是困难的。当然,你可以尽力过滤掉完全匹配的项。你也可以过滤掉近似匹配的项,比如使用n-gram重叠等。但是你如何过滤掉合成数据重写,或者有关数据的相关在线讨论呢?一旦我们开始常规地训练多模态模型,你如何过滤掉数据的图像/截图?你如何防止开发者,例如,向量嵌入测试集,并特别针对与测试集在嵌入空间中高度一致的数据进行训练?
  • 大家关心的并非所有LLM任务都可以自动评估(例如,想想摘要等),在这种情况下,你希望涉及人类。当你这样做时,你如何控制所有涉及的变量,比如人们有多关注实际答案,或者长度,或者风格,或者如何处理拒绝等。
  • 好的评估出人意料地困难,工作量巨大,但非常重要。

SEAL Leaderboards一些大模型评估结果,包括一些领先大模型:

- GPT-4o - GPT-4 Turbo - Claude 3 Opus - Gemini 1.5 Pro - Gemini 1.5 Flash - Llama3 - Mistral Large

图片

图片

图片

SEAL Leaderboards  https://scale.com/leaderboard


更新时间 2024-05-30