-
李沐团队发布Higgs-Llama-3-70B，角色扮演专用模型
前言 近年来，大语言模型（LLM）在各个领域都展现出强大的能力，尤其是其在对话、写作、代码生成等方面的应用越来越广泛。然而，想要让 LLM 真正地融入人类社会，扮演各种角色，还需要具备更强大的角色扮演能力。 为了解决这一问题，李沐团队（Boson AI...
-
4轮暴训，Llama 7B击败GPT-4！Meta等让LLM「分饰三角」自评自进化
【新智元导读】Meta、UC伯克利、NYU共同提出元奖励语言模型，给「超级对齐」指条明路:让AI自己当裁判，自我改进对齐，效果秒杀自我奖励模型。 LLM对数据的大量消耗，不仅体现在预训练语料上，还体现在RLHF、DPO等对齐阶段。 后者不仅依赖昂贵的人工标...
-
LLM 评估汇总：真的吊打 LLaMA-3，媲美 GPT-4 吗？
一、背景 在过去的一年多里，国内在大模型领域的发展异常迅速，涌现出上百个大模型，许多模型已经迭代了多个版本，并且各种指标不断刷新。与此同时，我们也经常在国内的一些文章中看到声称“吊打 LLaMA 3”或“媲美 GPT-4”的说法。那么，国内的大模型真的已...
-
OpenAI把GPT-4原始版给了他们：研究不微调只靠提示词能走多远
除了OpenAI自己，居然还有别人能用上GPT-4-Base版？？ 也就是未经微调的预训练版，还不会对话聊天，只会补全句子的模型。 EPFL（瑞士洛桑联邦理工）团队申请到了访问权限，用于研究“上下文学习足以让大模型跟随指令吗？”。 也就是不用监督微调、...
-
全面超越DPO：陈丹琦团队提出简单偏好优化SimPO，还炼出最强8B开源模型
为了将大型语言模型（LLM）与人类的价值和意图对齐，学习人类反馈至关重要，这能确保它们是有用的、诚实的和无害的。在对齐 LLM 方面，一种有效的方法是根据人类反馈的强化学习（RLHF）。尽管经典 RLHF 方法的结果很出色，但其多阶段的过程依然带来了一些...
-
一块钱100万token，超强MoE模型开源，性能直逼GPT-4-Turbo
开源大模型领域，又迎来一位强有力的竞争者。 近日，探索通用人工智能（AGI）本质的 DeepSeek AI 公司开源了一款强大的混合专家 (MoE 语言模型 DeepSeek-V2，主打训练成本更低、推理更加高效。 项目地址：https://gi...
-
大型语言模型如何教会自己遵循人类指令？
译者 | 李睿 审校 | 重楼 如今，人们对能够使大型语言模型(LLM 在很少或没有人为干预的情况下改进功能的技术越来越感兴趣。大型语言模型(LLM 自我改进的领域之一是指令微调(IFT ，也就是让大型语言模型教会自己遵循人类指令。 指令微调(IFT ...
-
模型偏好只与大小有关？上交大全面解析人类与32种大模型偏好的定量组分
在目前的模型训练范式中，偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中，偏好数据通常被用作对齐（alignment）时的训练优化目标，如基于人类或 AI 反馈的强化学习（RLHF/RLAIF）或者直接偏好优化（DPO），而在模型评估中，由于任务...
-
通义千问再开源，Qwen1.5带来六种体量模型，性能超越GPT3.5
赶在春节前，通义千问大模型（Qwen）的 1.5 版上线了。今天上午，新版本的消息引发了 AI 社区关注。 新版大模型包括六个型号尺寸：0.5B、1.8B、4B、7B、14B 和 72B，其中最强版本的性能超越了 GPT 3.5、Mistral-Medi...
-
像人类一样在批评中学习成长，1317条评语让LLaMA2胜率飙升30倍
现有的大模型对齐方法包括基于示例的监督微调（SFT）和基于分数反馈的强化学习（RLHF）。然而，分数只能反应当前回复的好坏程度，并不能明确指出模型的不足之处。相较之下，我们人类通常是从语言反馈中学习并调整自己的行为模式。就像审稿意见不仅仅是一个分数，还包...
-
Llama 2打败GPT-4！Meta让大模型自我奖励自迭代，再证合成数据是LLM终局
Llama 2-70B一夜之间打败GPT-4，让整个AI社区为之震惊！ 甚至，在AlpacaEval 2.0排行榜中，微调后的模型胜率完全碾压Claude 2、Gemini Pro等模型。 Meta和NYU研究团队究竟提出了什么秘制配方，才能让Llam...
-
大模型自我奖励：Meta让Llama2自己给自己微调，性能超越了GPT-4
大模型领域中，微调是改进模型性能的重要一步。随着开源大模型逐渐变多，人们总结出了很多种微调方式，其中一些取得了很好的效果。 最近，来自 Meta、纽约大学的研究者用「自我奖励方法」，让大模型自己生成自己的微调数据，给人带来了一点新的震撼。 在新方法中，作者...
-
得物大模型平台，业务效果提升实践
一、背景 得物大模型训练与推理平台上线几个月后，我们与公司内部超过 10 个业务领域展开了全面的合作。在一些关键业务指标方面，取得了显著的成效，例如： 效率相关部门的合作，多维度打标总正确率取得 2 倍以上提升。利用大模型开辟了新的业务，提升了效...
-
零一万物Yi-34B-Chat微调模型上线，登陆多个权威榜单
最近，业内众多大模型基准又迎来了一轮 “实力值” 更新。 继 11 月初零一万物发布 Yi-34B 基座模型后，Yi-34B-Chat 微调模型在 11 月 24 日开源上线 ，短时间登陆了全球多个英文、中文大模型权威榜单，再度获得了全球开发者的关注。...
-
首个开源MoE大模型发布！7Bx8个专家，离GPT-4最近的一集
“取消今晚所有计划！”，许多AI开发者决定不睡了。 只因首个开源MoE大模型刚刚由Mistral AI发布。 MoE架构全称专家混合（Mixture-of-Experts），也就是传闻中GPT-4采用的方案，可以说这是开源大模型离GPT-4最近的一集...
-
专用于手机、笔记本，Stability.ai开源ChatGPT基因的大模型
12月8日，著名开源生成式AI平台stability.ai在官网开源了，30亿参数的大语言模型StableLM Zephyr3B。 Zephyr3B专用于手机、笔记本等移动设备，主打参数小、性能强、算力消耗低的特点，可自动生成文本、总结摘要等，可与70亿、...
-
研究人员发布Starling-7B：基于AI反馈的大语言模型 媲美GPT-3.5
UC伯克利的研究人员最近发布了Starling-7B，这是一款基于AI反馈强化学习（RLAIF）的开放式大语言模型(LLM 。该模型基于精调的Openchat3.5，并继承了Mistral-7B的特性。 在RLAIF中，研究人员借助其他AI模型的反馈来训练...
-
伯克利分校推开放大模型Starling-7B 接受人工智能反馈训练
加州大学伯克利分校的研究人员推出了一款名为Starling-7B的开放式大型语言模型（LLM），采用了一种称为Reinforcement Learning from AI Feedback(RLAIF 的创新训练方法。 RLAIF的独特之处在于利用其他人...
-
最好7B模型再易主！打败700亿LLaMA2，苹果电脑就能跑
花500刀“调教”的70亿参数模型，打败700亿参数的Llama 2！ 且笔记本就能轻松跑，效果媲美ChatGPT。 重点：免费、不要钱。 HuggingFace H4团队打造的开源模型Zephyr-7B，鲨疯了。 其底层模型是前段时间爆火、由有着“欧...
-
评论能力强于GPT-4，上交开源13B评估大模型Auto-J
随着生成式人工智能技术的快速发展，确保大模型与人类价值（意图）对齐（Alignment）已经成为行业的重要挑战。 虽然模型的对齐至关重要，但目前的评估方法往往存在局限性，这也让开发者往往困惑：大模型对齐程度如何？这不仅制约了对齐技术的进一步发展，也引发了...