随着大语言模型的发展，各模型的语言对话能力也都得到了大家的认可，随之而来推理分析能力成为大模型下一轮角逐的一个要点。以下也是一家奥林匹克评测机构对于大模型推理能力的评分。
权威评测机构固然测评全面，但是其设计的问题并不一定适合我们日常产品设计，对价格和响应时间等因素考虑也不多，更多是对响应结果进行的考核。
奥林匹克太远，生活还是柴米油盐。
接下来我们使用日月摘星AI竞技场，结合我们自身的场景对各大主流模型的推理分析能力进行简单的测评。供您参考，您也可以输入您的场景，以测试大模型与您的产品和场景的契合程度。
Round 1 搜索拆解
第一个问题我们对让大模型对用户的搜索意图进行分析，并据此收取出对应搜索引擎搜索所需要的关键词。
对于简单的搜索逻辑问题，我们可以看到各模型给出的结果keywords基本都算ok, 但是对于用户意图分析和逻辑判断上Gemini Pro, Claude 3.5 Sonnet, GPT4 Turbo, 月之暗面， Llama3确实更胜一筹。
另外我们可以观察到
Claude 3.5 Sonnet与Claude 3 Opus的推理结果相差无几，甚至还略胜一筹，但是价格上和响应速度上Opus相差数倍。
GLM4系列在逻辑推理判断上差别都不大。
Round 2 设计分析
第二轮，我们进一步让大模型为我们设计一组红包封面，我们的问题指令输入如下：
我要设计一个红包封面，主题是<辛苦的打工人>，包含一个主封面也就是封面的主题内容，另外也包含一个小挂件，与主封面配套展示。整个内容需要体现出打工人的辛苦，心酸，不易，内容打动人心，画面有感染力。
请分别设计主封面与挂件的页面内容，包含绘画内容，风格，用光，视角等。便于后续的绘制工作。
请返回如下内容：
purpose: <你对用户搜索意图的判断>,
main_content: <主封面的绘画内容说明>,
secondary_content: <封面挂件的绘画内容说明>,
thought: <你对这个问题的判断思考>
应该说这个问题并不容易，有点像老板给我们的任务，其实并不清晰（虽然他自己觉得已经很清晰了），需要很多我们自己发挥判断，甚至创造的能力。
我们接下来欣赏一下各大模型的答卷。
在我们这个场景下的第二轮测试中，我们发现Gemini Pro, Claude 3.5 Sonnet, GPT 4o 的逻辑能力确实更胜一筹，但是在我们这个场景下其实相差不大，甚至GPT4o的发挥除了价格上和响应时间上，其他并不出色。反倒是GLM4和月之暗面在简单分析和设计的场景下没有掉队，Llama3的表现也算中规中矩，没有辱没推理能力的口碑。
在第二轮的比拼下，个人对于场景契合的喜好，决定选择了Gemini Pro和Claude 3.5 Sonnet作为结果的胜出，GLM4 Air更多是胜在了不可忽略的价格优势。
我们来回顾一下两轮比拼的结果。
也欢迎您亲自上手使用日月摘星AI竞技场，从让人眼花缭乱的大模型中，选择最适合您的产品和场景的大模型为您所用。日月摘星AI竞技场编辑https://www.riyuexinzhu.com/dashboard/arena/https://www.riyuexinzhu.com/dashboard/arena/
欢迎您查看日月摘星AI竞技场的说明，便于您更好的了解和使用。
“日月摘星AI竞技场”，一站式AI模型评估，助您轻松找到最佳AI伙伴选择合适的AI模型一直是用户的痛点。市面上琳琅满目的AI模型,专业性和实际应用脱节,令用户选择困难。日月摘星AI竞技场应运而生,为用户提供一站式AI选品体验。平台集合多家顶级AI提供商,用户可以在此进行模型对比测试,快速评估响应速度、价格优势等关键指标,轻松找到最适合自身需求的AI伙伴。简单易用的操作界面,让您无需专业知识也能游刃有余。摆脱AI选型困扰,日月摘星AI竞技场为您铺就通往成功的捷径。立即体验,开启AI赋能之旅!,https://docs.riyuexinzhu.com/ai-arena-post/
总结
**总结文章：大模型推理能力评测与产品契合度实战**在大语言模型飞速发展的背景下，推理分析能力成为评价模型性能的重要标准之一。本文先是对奥林匹克评测机构的全面测评表示认可，但也指出其问题设计常与日常产品需求脱节，缺乏对价格、响应时间等实际应用因素的考量。
为此，引入“日月摘星AI竞技场”这一平台，结合具体场景，对主流的大模型进行推理分析能力实战评测，帮助用户更直观地了解各模型与自身产品的契合度。
**评测内容概述**：
**Round 1：搜索拆解**
- **测试目标**：分析用户搜索意图并提取关键词。
- **表现亮点**：Gemini Pro、Claude 3.5 Sonnet、Sonnet、GPT4 Turbo、月之暗面、Llama3在用户意图理解和逻辑判断上表现突出，其中Claude 3.5 Sonnet与Opus相比，推理效果相近但更具性价比。
**Round 2：设计分析**
- **测试任务**：设计包含主题“辛苦的打工人”的红包封面及小挂件，需体现辛苦、心酸、内容打动人心等要点。
- **结果分析**：Gemini Pro、Claude 3.5 Sonnet、GPT 4o在逻辑与创意上更有优势，但GLM4和月之暗面等也在简单设计与分析场景中保持稳定表现，未显逊色。个人偏好及价格等因素综合考量，Gemini Pro和Claude 3.5 Sonnet脱颖而出为推荐选择的模型。
**结语与平台介绍**
- 强调通过“日月摘星AI竞技场”，用户可以更便捷地测试和对比各AI模型的性能，找到合适的AI伙伴。
- 平台特点：集合多家顶级AI提供商，可即时评估响应速度、价格等多维度指标，提供一站式AI模型评估体验。
**呼吁行动**
- 鼓励用户体验“日月摘星AI竞技场”，选择合适的AI模型以提升产品和服务的智能化水平。
本文不仅为大模型推理能力的评测提供了生动案例，也通过实战展示了如何根据具体需求选择合适的AI合作伙伴，助力AI技术的务实应用。