-
【EMNLP 2023】面向Stable Diffusion的自动Prompt工程算法
近日,阿里云人工智能平台PAI与华南理工大学朱金辉教授团队合作在自然语言处理顶级会议EMNLP2023上发表了BeautifulPrompt的深度生成模型,可以从简单的图片描述中生成高质量的提示词,从而使文生图模型能够生成更美观的图像。BeautifulP...
-
AIGC从入门到入坑01(初学者适用版)
AIGC从入门到入坑系列文章 AIGC系列第一章--简述 AIGC从入门到入坑系列文章 前言 学习路径 AI时间线 人工智能简史 AI绘画简史 AI名词解释 小白从0-1必看5篇资料 初学者进阶必读8篇资料 总结 前...
-
Sora创建病毒式视频全网疯转,OpenAI密谋推出TikTok竞品?专家猜测:这是计划的一部分
OpenAI,到底想用TikTok做什么? 最近,大家都被TikTok上这堆Sora的视频闪到了。 AI视频,已经天衣无缝地混入了人类世界。 如果不特意说明,很难拿看出AI视频和真实视频的区别! 图片 才入驻TikTok几天,OpenAI的账号就已经涨粉...
-
Llama 2论文详解
摘要 Llama 2是一组经过预训练和微调的大语言模型,参数规模从70亿到700亿不等,其中,Llama 2-Chat是针对对话用例进行优化的微调模型。在大多数基准测试中优于开源chat模型,在人类评估中表现出色,特别是在有用性和安全性方面。因此,Lla...
-
全球最强开源大模型一夜易主!谷歌Gemma 7B碾压Llama 2 13B,重燃开源之战
一声炸雷深夜炸响,谷歌居然也开源LLM了?! 这次,重磅开源的Gemma有2B和7B两种规模,并且采用了与Gemini相同的研究和技术构建。 有了Gemini同源技术的加持,Gemma不仅在相同的规模下实现SOTA的性能。 而且更令人印象深刻的是,还...
-
爆火Sora的背后 | 聊聊什么是world models!
本文经自动驾驶之心公众号授权转载,转载请联系出处。 随着媒体狂炒Sora,OpenAI的介绍材料中称Sora是 “world simulator”,世界模型这个词又进入视野,但很少有文章来介绍世界模型。这里回顾一下什么是世界模型,以及讨论Sora是不是...
-
OpenAI员工自曝996作息表,网友:真正的卷不需要强迫
OpenAI也996,实锤了(doge)。 思维链作者、从谷歌跳槽OpenAI的Jason Wei刚刚分享了自己在OpenAI的一天: [9:00am] 起床[9:30am] 搭乘Waymo前往Mission SF,途中在Tartine买个牛油果吐司[9...
-
20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类
近年来,机器人强化学习技术领域取得显著的进展,例如四足行走,抓取,灵巧操控等,但大多数局限于实验室展示阶段。将机器人强化学习技术广泛应用到实际生产环境仍面临众多挑战,这在一定程度上限制了其在真实场景的应用范围。强化学习技术在实际应用的过程中,任需克服包括...
-
英伟达NeMo框架在AI领域的综合应用与优势总结
一、NeMo 框架介绍 NVIDIA NeMo 是基于 PyTorch 和 PyTorch Lightning 的一个开源训练框架,源代码完全公开在 GitHub 上。NeMo 的主要目标是使 AI 开发者能够快速构建对话式 AI 模型并开发相关应用。...
-
100万token,一次能分析1小时YouTube视频,「大世界模型」火了
最近几天,我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到,前者可以处理的上下文窗口达百万级别,而后者生成的视频能够理解运动中的物理世界,被很多人称为「世界模型」。然而,这些刷屏无数的模型真的能很好...
-
AI自动化标注崛起,数据标注员要失业了?
在数据标注行业流行着一句话:“有多少智能,就有多少人工”。 由于需要标注的数据规模庞大且成本较高,一些互联网巨头及一些AI公司很少自己设有标注团队,大多交给第三方数据服务公司或者数据标注团队来做。 这也衍生出了专为AI而生的人力密集型的数据标注产业链。...
-
AIGC内容分享(三十四):AIGC+信息流广告
目录 AIGC发展概览 AIGC发展的重要里程碑事件 媒体平台AIGC功能 媒体平台AIGC功能-广点通 媒体平台AIGC功能 AIGC在广告各场景应用 AIGC在广告各场景应用—文生文 AIGC在广告各场景应用—文生图 视频生成...
-
羊驼2:开放的基础和微调聊天模型--Llama 2论文阅读
论文地址:https://arxiv.org/pdf/2307.09288.pdfd 代码地址:GitHub - facebookresearch/llama-recipes: Examples and recipes for Llama 2 model...
-
无需RLHF显著提升GPT-4/Llama2性能,北大团队提出Aligner对齐新范式
背景 大语言模型(LLMs)虽展现出了强大的能力,但也可能产生不可预测和有害的输出,例如冒犯性回应、虚假信息和泄露隐私数据,给用户和社会造成伤害。确保这些模型的行为与人类意图和价值观相对齐,是一个紧迫的挑战。 尽管基于人类反馈的强化学习(RLHF)提供了...
-
7B开源数学模型干翻千亿GPT-4,中国团队出品
7B开源模型,数学能力超过了千亿规模的GPT-4! 它的表现可谓是突破了开源模型的极限,连阿里通义的研究员也感叹缩放定律是不是失效了。 无需借助任何外部工具,它就能在竞赛水平的MATH数据集上达到51.7%的准确率。 在开源模型中,它第一个在该数据集上...
-
近屿智能引领行业前沿,精心打造AIGC大模型工程师和产品经理的进阶之路(附完整版学习路径图)
近屿智能,倾力打造了一套独特的AIGC大模型工程师和产品经理学习路径图。该路径图清晰地展示了从初学者到专家水平的技能进阶过程,为工程师和产品经理提供了明确的学习目标和成长路径。 这套学习路径图适用于不同背景和经验的学习者,无论您是初涉AIGC领域的新...
-
PokéLLMon官网体验入口 AI智能代理战术游戏工具软件免费使用地址
PokéLLMon是首个在战术战斗游戏中实现人类水平性能的LLM体现代理。它融合了三种关键策略:1)基于上下文的强化学习,即时利用从战斗中提取的文本描述反馈,迭代地优化其生成策略;2)知识增强生成,利用外部知识对抗幻觉,使代理能够及时和正确地行动;3)具有...
-
MedicalGPT:基于LLaMA-13B的中英医疗问答模型(LoRA)、实现包括二次预训练、有监督微调、奖励建模、强化学习训练[LLM:含Ziya-LLaMA]。
项目设计集合(人工智能方向):助力新人快速实战掌握技能、自主完成项目设计升级,提升自身的硬实力(不仅限NLP、知识图谱、计算机视觉等领域):汇总有意义的项目设计集合,助力新人快速实战掌握技能,助力用户更好利用 CSDN 平台,自主完成项目设计升级,提升自身...
-
2023-12-12 AIGC-AI工具的基本工作原理
摘要: 2023-12-12 AIGC-AI工具的基本工作原理 AI工具的基本工作原理 AI工具的基本工作原理涉及到一系列复杂的技术和算法。这些原理可以根据不同类型的AI工具进行概括,包括机器学习、自然语言处理、图像识别等。以下是一些关键的A...
-
CMU&ETH实现突破:机器狗点满敏捷值天赋,超高速穿越障碍,速度与安全兼备!
在高速机器人运动领域,实现同时兼顾速度和安全一直是一大挑战。但现在,卡内基梅隆大学(CMU)和苏黎世联邦理工学院(ETH)的研究团队带来了突破性进展。他们开发的新型四足机器人算法,不仅能在复杂环境中高速行进,还能巧妙避开障碍,真正做到了「敏捷而安全」。...
-
人工智能大时代——AIGC综述
生成式AI分类 模型按照输入输出的数据类型分类,目前主要包括9类。 有趣的是,在这些已发布大模型的背后,只有六个组织(OpenAI, Google, DeepMind, Meta, runway, Nvidia)参与部署了这些最先进的模型。...
-
详解“小而优”的大语言模型Zephyr 7B
Zephyr是Hugging Face发布的一系列大语言模型,使用蒸馏监督微调(dSFT 在更庞大的模型上进行训练,显著提高了任务准确性。 2023年是属于大语言模型(LLM 和开源的一年。许多初创公司和企业开放了模型和权重的源代码,以应对ChatGPT...
-
像人类一样在批评中学习成长,1317条评语让LLaMA2胜率飙升30倍
现有的大模型对齐方法包括基于示例的监督微调(SFT)和基于分数反馈的强化学习(RLHF)。然而,分数只能反应当前回复的好坏程度,并不能明确指出模型的不足之处。相较之下,我们人类通常是从语言反馈中学习并调整自己的行为模式。就像审稿意见不仅仅是一个分数,还包...
-
【书籍】强化学习第二版(英文版电子版下载、github源码)-附copilot翻译的中英文目录...
Python代码:https://github.com/ShangtongZhang/reinforcement-learning-an-introduction 英文原版书籍下载:http://incompleteideas.net/bo...
-
张晴晴:对话数据推动AIGC——大模型底层数据探索
“Training data is technology” . 数据即科技,OpenAI的联合创始人IlyaSutskever在与知名科技媒体The Verge访谈中提到。ChatGPT自发布以来热度席卷全球,一周前惊艳亮相的GPT-4更是...
-
LLaMA、Baichuan、ChatGLM、Qwen、天工等大模型对比
12.10更新:Qwen技术报告核心解读 Baichuan Baichuan 2: Open Large-scale Language Models 数据处理:数据频率和质量,使用聚类和去重方法,基于LSH和dense embedding方...
-
学习AIGC大模型必知的强化学习RL的核心代码示例,速进!!!
Look!?我们的大模型商业化落地产品 ?更多AI资讯请??关注 Free三天集训营助教在线为您火热答疑??? 在人工智能的发展历程中,强化学习(RL)已成为推动技术突破的关键动力,尤其在自动化内容生成(AIGC)和大型语言模型(LLM)的领域中...
-
对比分析ChatGPT 和文心一言。
目录 ChatGPT 和文心一言哪个更好用? ChatGPT 文心一言 对人工智能的看法 ChatGPT 和文心一言哪个更好用? ChatGPT和文心一言是目前两种比较流行的大语言模型,他们的出现迎来了人工智能时代。那么,这两种语言哪...
-
AIGC内容分享(四十):生成式人工智能(AIGC)应用进展浅析
目录 0 引言 1 以ChatGPT为代表的AIGC发展现状 1.1 国外AIGC应用发展现状 1.2 国内AIGC应用发展现状 2 AIGC的技术架构 (1)数据层 (2)算力基础设施层 (3)算法及大模型层 (4)AI...
-
ChatGPT is not all you need,一文看尽SOTA生成式AI模型:6大公司9大类别21个模型全回顾(三)
文章目录 ChatGPT is not all you need,一文看尽SOTA生成式AI模型:6大公司9大类别21个模型全回顾(三) Text-to-Text 模型 ChatGPT LaMDA PEER Meta AI Speech f...
-
多模态LLM多到看不过来?先看这26个SOTA模型吧
当前 AI 领域的关注重心正从大型语言模型(LLM)向多模态转移,于是乎,让 LLM 具备多模态能力的多模态大型语言模型(MM-LLM)就成了一个备受关注的研究主题。 近日,腾讯 AI Lab、京都大学和穆罕默德・本・扎耶德人工智能大学的一个研究团队发布...
-
【探索科技 感知未来】文心一言大模型
【探索科技 感知未来】文心大模型 ?本文介绍 文心一言大模型是由中国科技巨头百度公司研发的一款大规模语言模型,其基于先进的深度学习技术和海量数据训练而成。这款大模型具备强大的自然语言处理能力,可以理解并生成自然语言,为用户提供自然、流畅的语言交...
-
大家都在用的AI作画Python几行代码就可实现
一、通过openai实现的作品: 要想快速实现功能,咱们先了解一下OpenAI,OpenAI是一家人工智能公司,专注于开发强化学习、机器学习、自然语言处理等技术。OpenAI的主要目标是创造一套安全的人工智能系统,以帮助人们在各行各业中利用这项技术.接...
-
百川智能发布千亿参数大模型,中文能力超越GPT-4!
“追上ChatGPT水平,我觉得今年内可能就能够实现,但对于GPT-4或者GPT-5,我认为可能需要3年左右的时间,应该不会低于两年。”去年4月,百川智能创始人王小川当初曾这样判断自己入局大模型赛道后的进度。就在昨天,千亿参数规模的百川大模型终于来了!...
-
链世界:一种简单而有效的人类行为Agent模型强化学习框架
强化学习是一种机器学习的方法,它通过让智能体(Agent)与环境交互,从而学习如何选择最优的行动来最大化累积的奖励。强化学习在许多领域都有广泛的应用,例如游戏、机器人、自动驾驶等。强化学习也可以用于干预人类的行为,帮助人类实现他们的长期目标,例如戒烟、减...
-
PAI-ChatLearn :灵活易用、大规模 RLHF 高效训练框架(阿里云最新实践)
PAI-ChatLearn 是阿里云机器学习平台 PAI 团队自主研发的,灵活易用、大规模模型 RLHF 高效训练框架,支持大模型进行 SFT(有监督指令微调)、RM(奖励模型)、RLHF(基于人类反馈的强化学习)完整训练流程。PAI-ChatLear...
-
2024年1月17日Arxiv最热论文推荐:清华提出多模态知识检索新框架、MIT新方法大幅提升LLMs的连贯性、浙大新模型助力视频任务新突破、Meta 革新搜索技术、Google革新AI写作
本文整理了今日发表在ArXiv上的AI论文中最热门的TOP5。 论文解读、论文热度排序、论文标签、中文标题、推荐理由和论文摘要均由赛博马良平台(saibomaliang.com)上的智能体 「AI论文解读达人」 提供。 如需查看其他热门论文,欢迎移步 ...
-
CMU华人18万打造高能机器人,完爆斯坦福炒虾机器人!全自主操作,1小时学会开12种门
比斯坦福炒虾机器人还厉害的机器人来了! 最近,CMU的研究者只花费2.5万美元,就打造出一个在开放世界中可以自适应移动操作铰接对象的机器人。 论文地址:https://arxiv.org/abs/2401.14403 厉害之处就在于,它是完全自主完成操作...
-
百川智能发布大模型Baichuan3 称中文评测超越GPT-4
百川智能于 1 月 29 日推出了拥有超过千亿参数的大型语言模型Baichuan 3。该模型在多个公认的通用能力评估,如CMMLU、GAOKAO和AGI-Eval等,都展示了卓越的表现,特别是在中文任务上更是超过了GPT- 4 的水平。同时,该模型在数学和...
-
大模型开山鼻祖!InstructGPT发布两周年了
今天是InstructGPT发布两周年的纪念日,它是现代大语言模型的开山鼻祖。Jim Fan介绍了InstructGPT的重要性并且说了几条关于InstructGPT非常有意思的点。还展示了InstructGPT中非常经典的三步LLM训练方法的图片,我也顺...
-
LLM巫师,代码预训练是魔杖!UIUC华人团队揭秘代码数据三大好处
大模型时代的语言模型(LLM)不仅在尺寸上变得更大了,而且训练数据也同时包含了自然语言和形式语言(代码)。 作为人类和计算机之间的媒介,代码可以将高级目标转换为可执行的中间步骤,具有语法标准、逻辑一致、抽象和模块化的特点。 最近,来自伊利诺伊大学香槟分校...
-
Llama 2: Open Foundation and Fine-Tuned Chat Models
文章目录 TL;DR Introduction 背景 本文方案 实现方式 预训练 预训练数据 训练细节 训练硬件支持 预训练碳足迹 微调 SFT SFT 训练细节 RLHF 人类偏好数据收集 奖励模型 迭代式微调(RLHF) 拒...
-
强化学习和世界模型中的因果推断
一、世界模型 “世界模型”源于认知科学,在认知科学里面有一个等价的词汇 mental models,也就是心智模型。那么什么是心智模型?在认知科学里有一个假设,认为人在大脑内部会有一个对于真实外在世界的表征,它对于认知这个世界,特别是推理和决策有很关...
-
全世界机器人共用一个大脑,谷歌DeepMind已经完成了第一步
过去一年,生成式人工智能发展的核心关键词,就是「大」。 人们逐渐接受了强化学习先驱 Rich Sutton 充分利用算力「大力出奇迹」的思潮,庞大的数据量是 AI 模型展现出惊人智慧的核心原因。数据规模越大、质量越高、标注越细,模型就能了解到更全面的世界...
-
马作的卢飞快!上海AI Lab发布首个模仿人类学习范式的自动驾驶决策框架DiLu
本文经自动驾驶之心公众号授权转载,转载请联系出处。 DiLu(的卢)是首个基于AI Agent范式的知识驱动自动驾驶框架,其结合了常识知识和大语言模型,通过记忆模块以实现闭环自动驾驶决策制定并拥有持续进化的能力。通过不断对环境的交互积累经验,自我反思纠...
-
多智能体系统的合作之道:对MAS不确定性、社会机制与强化学习的探索
多智能体系统(MAS)是由多个自主智能体组成的系统,它们可以相互交互和协作,以完成一些共同或个人的目标。多智能体系统在许多领域都有广泛的应用,如机器人、交通、电力、社交网络等。但是如何促进智能体之间的合作行为一直是这一领域的难题,特别是在激励机制不确定的...
-
人工智能数学基础 - 线性代数之矩阵篇
本文将从矩阵的本质、矩阵的原理、矩阵的应用三个方面,带您一文搞懂人工智能数学基础-线性代数之矩阵。 一、矩阵的本质 点积(Dot Product):点积作为向量间的一种基本运算,通过对应元素相乘后求和来刻画两向量的相似度和方向关系。 点积(Dot Pr...
-
使用SPIN技术对LLM进行自我博弈微调训练
2024年是大型语言模型(llm 的快速发展的一年,对于大语言模型的训练一个重要的方法是对齐方法,它包括使用人类样本的监督微调(SFT 和依赖人类偏好的人类反馈强化学习(RLHF 。这些方法在llm中发挥了至关重要的作用,但是对齐方法对人工注释数据有的大...
-
清华、小米、华为、 vivo、理想等多机构联合综述,首提个人LLM智能体、划分5级智能水平
嘿 Siri、你好小娜、小爱同学、小艺小艺、OK Google、小布小布…… 想必这些唤醒词中至少有一个曾被你的嘴发出并成功呼唤出了一个能给你导航、讲笑话、添加日程、设置闹钟、拨打电话的智能个人助理(IPA)。可以说 IPA 已经成了现代智能手机不可或缺...
-
AIGC的初识
?欢迎来到自然语言处理的世界 ?博客主页:卿云阁 ?欢迎关注?点赞?收藏⭐️留言? ?本文由卿云阁原创! ?首发时间:?2023年12月26日? ✉️希望可以和大家一起完成进阶之路! ?作者水平很有限,如果发现错误,请留言轰炸哦!万分...