-
智能创作与优化新时代：【ChatGPT-4o】在【数学建模】、【AI绘画】、【海报设计】与【论文优化】中的创新应用
目录 1. 引言 什么是ChatGPT4o？ 背景与发展历史 2.chatgpt4o数学建模 常见的数学建模专业术语及其简要说明 一个具体的代码例子 问题描述 代码实现 代码说明 运行结果 3.chatgpt4o在论文 1.例如生...
-
GPT-4批评GPT-4实现「自我提升」！OpenAI前超级对齐团队又一力作被公开
今天，OpenAI悄悄在博客上发布了一篇新论文——CriticGPT，而这也是前任超级对齐团队的「遗作」之一。CriticGPT同样基于GPT-4训练，但目的却是用来指正GPT-4的输出错误，实现「自我批评」。 OpenAI最近的拖延症状逐渐严重，不仅GP...
-
AI学会篡改奖励函数、欺骗研究者！Claude团队：无法根除的行为，令人不安
坏了!AI被发现偷偷篡改自己的奖励函数，并且欺骗研究人员，隐瞒这一行为。 只需要给AI一个隐藏的“草稿纸”，研究人员假装不会查看，AI就会在上面自言自语着写下计划并暗中执行。 参与这项试验的Claude团队表示: 具体来说，实验中让AI可以访问自己的强...
-
多模态模型学会打扑克：表现超越GPT-4v，全新强化学习框架是关键
只用强化学习来微调，无需人类反馈，就能让多模态大模型学会做决策！ 这种方法得到的模型，已经学会了看图玩扑克、算“12点”等任务，表现甚至超越了GPT-4v。 图片 这是来自UC伯克利等高校最新提出的微调方法，研究阵容也是相当豪华： 图灵奖三巨头之一、M...
-
LeCun新作：分层世界模型，数据驱动的人型机器人控制
有了大模型作为智能上的加持，人型机器人已然成为新的风口。 科幻电影中「安能辨我不是人」的机器人似乎已经越来越近了。 不过，要想像人类一样思考和行动，对于机器人，特别是人型机器人来说，仍是个艰巨的工程问题。 就拿简单的学走路来说，利用强化学习来训练可能会演...
-
港科大最新！Vista：一种具有高保真度和多功能可控的世界模型
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability 论文链接...
-
笔记1--Llama 3 超级课堂 | Llama3概述与演进历程
1、Llama 3概述 https://github.com/SmartFlowAI/Llama3-Tutorial.git【Llama 3 五一超级课堂 | Llama3概述与演进历程】 2、Llama 3 改进点 【最新【大模型微调】大模...
-
全面超越DPO：陈丹琦团队提出简单偏好优化SimPO，还炼出最强8B开源模型
为了将大型语言模型（LLM）与人类的价值和意图对齐，学习人类反馈至关重要，这能确保它们是有用的、诚实的和无害的。在对齐 LLM 方面，一种有效的方法是根据人类反馈的强化学习（RLHF）。尽管经典 RLHF 方法的结果很出色，但其多阶段的过程依然带来了一些...
-
加州大学最新！CarDreamer：全面、灵活的自动驾驶算法测试开源平台
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 为了在复杂的真实世界场景中安全导航，自动驾驶汽车必须能够适应各种道路条件并预测未来事件。基于世界模型的强化学习（RL）已经成为一种有前景的方法，通过学习和预测各种环境...
-
KAN核心团队震撼力作！MIT华人用AI首次发现物理学全新方程
就在刚刚，MIT物理学家用AI发现了物理学中的新方程。 论文地址：https://arxiv.org/abs/2405.04484 作者表示：这篇论文并没有解决价值数百万美元的核聚变问题，而是在更简单的设置中，引入一个有前途的概念验证。 偏微分方程（P...
-
瑜伽球上遛「狗」！入选英伟达十大项目之一的Eureka有了新突破
机器狗在瑜伽球上稳稳当当的行走，平衡力那是相当的好： 各种场景都能拿捏，不管是平坦的人行道、还是充满挑战的草坪都能 hold 住： 甚至是研究人员踢了一脚瑜伽球，机器狗也不会歪倒： 给气球放气机器狗也能保持平衡： 上述展示都是 1 倍速，没有经过...
-
这就是OpenAI神秘的Q*？斯坦福：语言模型就是Q函数
还记得去年 11 月底爆出来的 Q* 项目吗？这是传说中 OpenAI 正在秘密开展、或将带来颠覆性变革的 AI 项目。如果你想回忆一下，可参看机器之心当时的报道《全网大讨论：引爆 OpenAI 全员乱斗的 Q * 到底是什么？》简而言之，Q* 很可能是...
-
十个大型语言模型(LLM)常见面试问题和答案解析
今天我们来总结以下大型语言模型面试中常问的问题 一、哪种技术有助于减轻基于提示的学习中的偏见? A.微调 Fine-tuning B.数据增强 Data augmentation C.提示校准 Prompt calibration D.梯度裁剪 Gra...
-
「大模型+强化学习」最新综述！港中文深圳130余篇论文：详解四条主流技术路线
强化学习（RL）通过与环境交互的试错反馈来优化顺序决策问题。 虽然RL在允许大量试错的复杂电子游戏环境中实现了超越人类的决策能力（例如王者荣耀，Dota 2等），但很难在包含大量自然语言和视觉图像的现实复杂应用中落地，原因包括但不限于：数据获取困难、样本...
-
大模型实时打《街霸》捉对PK，GPT-4居然不敌3.5，新型Benchmark火了
让大模型直接操纵格斗游戏《街霸》里的角色，捉对PK，谁更能打? GitHub上一种你没有见过的船新Benchmark火了。 与llmsys大模型竞技场中，两个大模型分别输出答案，再由人类评分不同——街霸Bench引入了两个AI之间的交互，且由游戏引擎中确...
-
LLaMA-Factory参数的解答
打开LLaMA-Factory的web页面会有一堆参数 ，但不知道怎么选，选哪个，这个文章详细解读一下，每个参数到底是什么含义这是个人写的参数解读，我并非该领域的人如果那个大佬看到有参数不对请反馈一下，或者有补充的也可以！谢谢（后续该文章可能会持续更新）...
-
扩散模型如何构建新一代决策智能体？超越自回归，同时生成长序列规划轨迹
设想一下，当你站在房间内，准备向门口走去，你是通过自回归的方式逐步规划路径吗？实际上，你的路径是一次性整体生成的。 近期的研究表明，采用扩散模型的规划模块能够同时生成长序列的轨迹规划，这更加符合人类的决策模式。此外，扩散模型在策略表征和数据合成方面也能为...
-
可控核聚变新里程碑！AI成功预测等离子体撕裂登Nature，清洁能源「圣杯」更近一步
可控核聚变，又有新突破了！ 长期以来，核聚变一直受着一个「幽灵」的困扰——等离子体不稳定性问题。 而最近，普林斯顿团队用AI提前300毫秒预测了核聚变等离子不稳定态，这个时间，就足够约束磁场调整应对等离子体的逃逸！ 从此，科学家可以防止可控核聚变的中断，...
-
llama/llama2论文解读
llama 摘要 llama在约1.4T的token上，训练出参数量7B到65B的模型，其模型规模如下 在仅使用开源数据集的情况下，llama-13B在多数benchmarks上与GPT-3效果相当；llama-65B也与最好的模型（Chin...
-
大语言模型之LlaMA系列- LlaMA 2及LLaMA2_chat(上)
LlaMA 2是一个经过预训练与微调的基于自回归的transformer的LLMs，参数从7B至70B。同期推出的Llama 2-Chat是Llama 2专门为对话领域微调的模型。 在许多开放的基准测试中Llama 2-Chat优于其他开源的聊天模型，此外...
-
链世界：一种简单而有效的人类行为Agent模型强化学习框架
强化学习是一种机器学习的方法，它通过让智能体（Agent）与环境交互，从而学习如何选择最优的行动来最大化累积的奖励。强化学习在许多领域都有广泛的应用，例如游戏、机器人、自动驾驶等。强化学习也可以用于干预人类的行为，帮助人类实现他们的长期目标，例如戒烟、减...
-
CMU华人18万打造高能机器人，完爆斯坦福炒虾机器人！全自主操作，1小时学会开12种门
比斯坦福炒虾机器人还厉害的机器人来了！ 最近，CMU的研究者只花费2.5万美元，就打造出一个在开放世界中可以自适应移动操作铰接对象的机器人。 论文地址：https://arxiv.org/abs/2401.14403 厉害之处就在于，它是完全自主完成操作...
-
LLM巫师，代码预训练是魔杖！UIUC华人团队揭秘代码数据三大好处
大模型时代的语言模型（LLM）不仅在尺寸上变得更大了，而且训练数据也同时包含了自然语言和形式语言（代码）。 作为人类和计算机之间的媒介，代码可以将高级目标转换为可执行的中间步骤，具有语法标准、逻辑一致、抽象和模块化的特点。 最近，来自伊利诺伊大学香槟分校...
-
使用 DPO 微调 Llama 2
简介 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步，它可以确保语言模型的输出符合人类在闲聊或安全...
-
性能大涨20%！中科大「状态序列频域预测」方法：表征学习样本效率max
强化学习算法（Reinforcement Learning, RL）的训练过程往往需要大量与环境交互的样本数据作为支撑。然而，现实世界中收集大量的交互样本通常成本高昂或者难以保证样本采集过程的安全性，例如无人机空战训练和自动驾驶训练。 为了提升强化学习算...
-
Llama 2- Open Foundation and Fine-Tuned Chat Models＜2＞
3.2 人类反馈强化学习（RLHF） RLHF 是一种模型训练过程，应用于微调的语言模型，以进一步使模型行为与人类偏好和指令遵循保持一致。我们收集代表根据经验采样的人类偏好的数据，人类注释者可以选择他们更喜欢的两个模型输出中的哪一个。这种人类反馈随后用...
-
何为交互感知？全面回顾自动驾驶中的社会交互动态模型与决策前沿！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 交互感知自动驾驶（IAAD）是一个迅速发展的研究领域，专注于开发能够与人类道路使用者安全、高效交互的自动驾驶车辆。这是一项具有挑战性的任务，因为它要求自动驾驶车辆能够理...
-
「灌篮高手」模拟人形机器人，一比一照搬人类篮球招式，看一遍就能学会，无需特定任务的奖励
投篮、运球、手指转球…这个物理模拟人形机器人会打球： 图片 会的招数还不少： 图片 一通秀技下来，原来都是跟人学的，每个动作细节都精确复制： 图片 这就是最近一项名为PhysHOI的新研究，能够让物理模拟的人形机器人通过观看人与物体交互（HOI）的演示，...
-
大模型微调非得依赖人类数据吗？DeepMind：用带反馈的自训练更好
如你我所见，大语言模型（LLM）正在改变深度学习的格局，在生成人类质量的文本和解决各种语言任务方面展现出了卓越的能力。虽然业界通过对人类收集的数据进行监督微调进一步提升了在具体任务上的性能，但获取高质量人类数据却面临着重大瓶颈。这对于要解决复杂问题的任务...
-
OpenAI 的超级对齐团队在做什么
今年11月17日，OpenAI 首席执行官萨姆·奥尔特曼 (Sam Altman 在首席科学家伊利亚·苏茨克韦尔 (Ilya Sutskever 的政变下被罢免，但三天后复职。不到一个月，OpenAI 宣布一切恢复正常，而这一切导火索是团队内部的有...
-
论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models
论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models 1. 文章简介 2. 文章概括 3 文章重点技术 3.1 预训练Pretraining 3.1.1 预训练细节 3.1.2...
-
首个「创造式任务」基准来了！北大清华联手发布Creative Agents：专为想象力而生！
近年来，许多研究通过训练服从自然语言指令的智能体，让智能体具有了解决各种开放式任务的能力。 例如，SayCan[1]利用语言模型实现了根据语言描述解决各种室内机器人任务的智能体，Steve-1[2]训练端到端的策略实现了能够在《我的世界》（Minecra...
-
驶向未来，首个多视图预测+规划自动驾驶世界模型来了
近期，世界模型的概念引发了火热浪潮，而自动驾驶领域岂能隔岸观「火」。来自中科院自动化所的团队，首次提出了一种名为 Drive-WM 的全新多视图世界模型，旨在增强端到端自动驾驶规划的安全性。 网站：https://drive-wm.github.io...
-
Llama-Factory的baichuan2微调
Llama-Factory：https://github.com/hiyouga/LLaMA-Factory/tree/main 请使用 --quantization_bit 4/8 来启用 QLoRA 训练。 默认模块应作...
-
大模型之Bloom&LLAMA----RHLF(强化学习)
0. 简介 随着chatgpt的爆火，最近也有很多大模型在不断地出现，比如说Bloom系列以及以LLAMA为基础的ziya和baichuan。这些模型相较于chatglm来说，更加具有发展前景，因为其是完全可商用，并可以不断迭代更新的。最近作者在跟着h...
-
Llama 2 论文《Llama 2: Open Foundation and Fine-Tuned Chat Models》阅读笔记
文章目录 Llama 2: Open Foundation and Fine-Tuned Chat Models 1.简介 2.预训练 2.1 预训练数据 2.2 训练详情 2.3 LLAMA 2 预训练模型评估 3. 微调 3.1 s...
-
OpenAI神秘新模型Q*曝光，太强大让董事会警惕，或是奥特曼被开除导火索
OpenAI宫斗大戏刚刚落幕，马上又掀起另一场轩然大波！ 路透社曝光，在奥特曼被解雇之前，几位研究人员给董事会写的警告信可能是整个事件导火索： 内部名为Q （发音为Q-Star）*的下一代AI模型，过于强大和先进，可能会威胁人类。 Q*正是由这场风暴的中...
-
“大模型本质就是两个文件！”特斯拉前AI总监爆火LLM科普，时长1小时，面向普通大众
特斯拉前AI总监Andrej Karpathy的新教程火了。 这次，他专门面向普通大众做了一个关于大语言模型的科普视频。 时长1小时，全部为“非技术介绍”，涵盖模型推理、训练、微调和新兴大模型操作系统以及安全挑战，涉及的知识全部截止到本月（非常新）。...
-
BeautifulPrompt：PAI 推出自研 Prompt 美化器，赋能 AIGC一键出美图
背景 Stable Diffusion（SD）是一种流行的AI生成内容（AI Generated Content，AIGC）模型，能在文字输入的基础上生成各种风格多样的图像。在目前的AIGC方向，SD是开源社区最热门的模型。然而，SD能够生成高颜值的图像...
-
一文盘点2023人工智能进展，不止大模型而已
2023年大模型千帆竞发，除此外AI领域还有哪些新突破？ 来来来，畅销书《Python机器学习》作者Sebastian Raschka的年末总结已经准备好了。 看完才知道： RLHF今年虽然爆火，但实打实用到的模型并不多，现在还出现了替代方案，有望从开...
-
北大全新「机械手」算法：辅助花式抓杯子，GTX 1650实现150fps推断
手是人类与世界交互的重要部分，手的缺失（如上肢残障）会大大影响人类的正常生活。 北京大学董豪团队通过将扩散模型和强化学习结合，使机械手能根据人手腕部的移动轨迹，自适应的抓取物体的不同部位，满足人类多样化的抓取需求，目前该工作已被NeurIPS 2023接...
-
刚刚，出行行业首个！百亿估值玩家联合国有运营商开卷大模型
首个落地的交通出行大模型，它来了! 这两年的出行行业，有的卷补贴、规模，有的卷自动驾驶、卷定制车，终于有人开始卷大模型了! 名为“阡陌”，背后是国家队级别的选手:T3出行和中国电信。 T3出行，出行领域快速崛起的明星玩家，曾创造77亿元融资业内纪录，估值早...
-
斯坦福提出对比偏好学习：无需强化学习即可从人类反馈中学习
在模型与人类意图对齐方面，根据人类反馈的强化学习（RLHF）已经成为一大流行范式。通常来说，RLHF 算法的工作过程分为两个阶段：一、使用人类偏好学习一个奖励函数；二、通过使用强化学习优化所学习的奖励来对齐模型。 RLHF 范式假定人类偏好的分布遵照奖励...
-
【网安AIGC专题10.11】2 ILF利用人类编写的 自然语言反馈 来训练代码生成模型：自动化反馈生成+多步反馈合并+处理多错误反馈+CODEGEN -M ONO 6.1 B model
Improving Code Generation by Training with Natural Language Feedback 写在最前面 主要工作 启发 背景介绍 应用 现有工作的不足 Motivation动机 方法 ILF...
-
基于Q学习的无人机WSN数据采集轨迹算法
针对无人机辅助采集无线传感器网络数据时各节点数据产生速率随机和汇聚节点状态不一致的场景，提出基于Q学习的非连续无人机轨迹规划算法Q-TDUD，以提高无人机能量效率和数据采集效率。基于各节点在周期内数据产生速率的随机性建立汇聚节点的汇聚延时模型，应用强化学...
-
强化学习与多任务推荐
一、短视频推荐两阶段约束强化学习算法 首先介绍的一项快手自研的 WWW 2023 Research Track 工作，主要解决短视频推荐场景下的带约束多目标优化问题。 在短视频推荐单列场景中，用户通过上下滑形式和系统进行交互，观看多个视频。用户对每个...
-
CMU清华MIT引爆全球首个Agent无限流，机器人「007」加班自学停不下来！具身智能被革命
全球首个生成式机器人Agent发布了！ 长久以来，相比于语言或者视觉模型可以在大规模的互联网数据上训练，训练机器人的策略模型需要带有动态物理交互信息的数据，而这些数据的匮乏一直是具身智能发展的最大瓶颈。 最近，来自CMU、清华、MIT，UMass等机构的...
-
使用Panda-Gym的机器臂模拟进行Deep Q-learning强化学习
强化学习(RL 是一种机器学习方法，它允许代理通过试错来学习如何在环境中表现。行为主体因采取行动导致预期结果而获得奖励，因采取行动导致预期结果而受到惩罚。随着时间的推移，代理学会采取行动，使其预期回报最大化。 RL代理通常使用马尔可夫决策过程(MDP ...
-
最好7B模型再易主！打败700亿LLaMA2，苹果电脑就能跑
花500刀“调教”的70亿参数模型，打败700亿参数的Llama 2！ 且笔记本就能轻松跑，效果媲美ChatGPT。 重点：免费、不要钱。 HuggingFace H4团队打造的开源模型Zephyr-7B，鲨疯了。 其底层模型是前段时间爆火、由有着“欧...
-
GPT4教机器人盘转笔，那叫一个丝滑！
那个在聊天中给数学家陶哲轩带来启发的GPT-4，最近又开始教机器人转笔了。 项目叫Agent Eureka，是由英伟达、宾州大学、加州理工学院和得克萨斯大学奥斯汀分校联手研发的。他们的研究结合了 GPT-4 结构的能力和强化学习的优势，让 Eureka...