-
【LLM】大语言模型学习之LLAMA 2：Open Foundation and Fine-Tuned Chat Model
大语言模型学习之LLAMA 2：Open Foundation and Fine-Tuned Chat Model 快速了解 预训练 预训练模型评估 微调 有监督微调（SFT） 人...
-
AIGC｜AGI究竟是什么？为什么大家都在争先入场？
一、AI大语言模型进入爆发阶段 2022年12月ChatGPT突然爆火，原因是其表现出来的智能化已经远远突破了我们的常规认知。虽然其呈现在使用者面前仅仅只是一个简单的对话问答形式，但是它的内容化水平非常强大，甚至在某些方面已经超过人类了，这是人工智能...
-
AI首次攻克难倒陶哲轩数学难题，DeepMind里程碑算法登Nature！LLM搜代码自我进化
上限集问题，是困扰数学家们多年的开放性问题。 著名数学家陶哲轩，就曾将上限集问题描述为自己最喜欢的开放性问题。 陶哲轩博客 而大语言模型，竟然在这个问题上做出了新发现。 今天，Google DeepMind、威斯康星大学麦迪逊分校和里昂大学的研究人员联...
-
UC伯克利DeepMind等联合发布真实世界模拟器，打破虚实边界
真实世界模拟器来啦！ 还在发愁训练出的大模型无法适应真实的物理世界吗？ AI Agent想要进入我们的生活还有多远的距离？ ——UC伯克利、谷歌DeepMind、MIT和阿尔伯塔大学的研究人员告诉你答案。 在NeurlPS 2023上，研究人员将展示他们...
-
用GPT-2监督GPT-4，防止AI毁灭人类? OpenAI Ilya超级对齐团队首篇论文出炉
就在刚刚，OpenAI首席科学家Ilya领衔的超级对齐团队，发布了成立以来的首篇论文！ 团队声称，已经发现了对超人类模型进行实证对齐的新研究方向。 未来超级AI系统对齐的一个核心挑战——人类需要监督比自己更聪明人工智能系统。 OpenAI的最新研究做了...
-
OpenAI开源超级对齐方法：用GPT-2，监督、微调GPT-4
12月15日，OpenAI在官网公布了最新研究论文和开源项目——如何用小模型监督大模型，实现更好的新型对齐方法。 目前，大模型的主流对齐方法是RLHF（人类反馈强化学习）。但随着大模型朝着多模态、AGI发展，神经元变得庞大、复杂且难控制，RLHF便有点力...
-
GPT-2能监督GPT-4，Ilya带头OpenAI超级对齐首篇论文来了：AI对齐AI取得实证结果
人类无法监督超级人工智能，但人工智能可以。 过去一年，以「预测下一个 Token」为本质的大模型已经横扫人类世界的多项任务，展现了人工智能的巨大潜力。 在近日的一次访谈中，OpenAI 首席科学家 Ilya Sutskever 大胆预言，如果模型能够很好地...
-
DeepMind论文登上Nature：困扰数学家几十年的难题，大模型发现全新解
作为今年 AI 圈的顶流，大型语言模型（LLM）擅长的是组合概念，并且可以通过阅读、理解、写作和编码来帮助人们解决问题。但它们能发现全新的知识吗？ 由于 LLM 已被证明存在「幻觉」问题，即生成与事实不符的信息，因此利用 LLM 来做可验证的正确发现是一...
-
首个「创造式任务」基准来了！北大清华联手发布Creative Agents：专为想象力而生！
近年来，许多研究通过训练服从自然语言指令的智能体，让智能体具有了解决各种开放式任务的能力。 例如，SayCan[1]利用语言模型实现了根据语言描述解决各种室内机器人任务的智能体，Steve-1[2]训练端到端的策略实现了能够在《我的世界》（Minecra...
-
使用LLama和ChatGPT为多聊天后端构建微服务
微服务架构便于创建边界明确定义的灵活独立服务。这种可扩展的方法使开发人员能够在不影响整个应用程序的情况下单独维护和完善服务。然而，若要充分发挥微服务架构的潜力、特别是针对基于人工智能的聊天应用程序，需要与最新的大语言模型（LLM，比如Meta LLama ...
-
微软小模型击败大模型：27亿参数，手机就能跑
上个月，微软 CEO 纳德拉在 Ignite 大会上宣布自研小尺寸模型 Phi-2 将完全开源，在常识推理、语言理解和逻辑推理方面的性能显著改进。 今天，微软公布了 Phi-2 模型的更多细节以及全新的提示技术 promptbase。这个仅 27 亿参...
-
用RLHF 2%的算力让LLM停止有害输出，字节提出LLM遗忘学习
随着大型语言模型（LLM）的发展，从业者面临更多挑战。如何避免 LLM 产生有害回复？如何快速删除训练数据中的版权保护内容？如何减少 LLM 幻觉（hallucinations，即错误事实）? 如何在数据政策更改后快速迭代 LLM？这些问题在人工智能法律...
-
微软首次推出27亿参数的Phi-2模型，性能超过许多大型语言模型
微软发布了一款名为Phi-2的人工智能模型，该模型表现出了不凡的能力，其性能可媲美甚至超越规模是其25倍的、更大、更成熟的模型。 微软在近日的一篇博文中宣布，Phi-2是一个拥有27亿参数的语言模型，与其他基础模型相比，它在复杂的基准测试中表现出了 "先...
-
什么是AIGC（AI Generated Content, 人工智能生成内容）？
AI生成内容（AIGC，人工智能生成内容）是一种新型的内容创作方式，它继承了专业生产内容（PGC，Professional-generated Content）和用户生成内容（UGC，User-generated Content）的优点，并充分发挥技术优势...
-
火星探测器背后的人工智能：从原理到实战的强化学习
本文详细探讨了强化学习在火星探测器任务中的应用。从基础概念到模型设计，再到实战代码演示，我们深入分析了任务需求、环境模型构建及算法实现，提供了一个全面的强化学习案例解析，旨在推动人工智能技术在太空探索中的应用。 关注TechLead，分享AI全...
-
【原创】AIGC之ChatGPT工作原理
AIGC是什么 AIGC - AI Generated Content （AI生成内容），对应我们的过去的主要是 UGC（User Generated Content）和 PGC（Professional user Generated Content...
-
ChatGPT在图灵测试研究中败给上世纪60年代的计算机程序 ELIZA
近日，加利福尼亚大学圣迭戈分校的研究人员进行了一项有趣的实验，将上世纪60年代的计算机程序ELIZA与现代AI聊天机器人ChatGPT进行了图灵测试比较。该研究引发了对OpenAI的尴尬评价，认为ELIZA在这一测试中表现得更为出色。 图灵测试是评估计算机...
-
Stability AI发布30亿参数语言模型StableLM Zephyr 3B 更小更快更节省资源
Stability AI以其stable diffusion文本到图像的生成人工智能模型而闻名，但这已不再是该公司的全部业务。 最新发布的StableLM Zephyr3B是一款30亿参数的大语言模型，专为聊天应用场景进行了优化，包括文本生成、摘要和内容个...
-
每个人工智能工程师都应该了解的十大人工智能工具和框架
为了在竞争中保持领先地位，我们在此博客中列出了每位 AI 工程师都应该了解的2023 年最佳 AI 工具，包括 TensorFlow、PyTorch、sci-kit-learn 和 Apache Spark。准备好在2023 年获得最佳AI 工程师认证，...
-
Google Gemini官方体验入口在哪 谷歌AI模型介绍
Google Gemini是一个由Google开发的下一代人工智能（AI）项目，它旨在创建一个强大的多模态AI模型，能够处理不同类型的内容，如文本、图像、代码等，并具有高级的语言、对话、创造和分析能力。Gemini软件的体验入口在哪呢，这里我们来看下Gem...
-
AIGC技术研究与应用 ---- 下一代人工智能：新范式！新生产力！（2.3-大模型发展历程 之 图像、视频生成与视觉大模型）
文章大纲 GAN 模型与强化学习 强化学习 生成式对抗网络 ( Generative Adversarial Nets， GAN VAE 扩散模型 扩散 逆扩散 参考...
-
大模型免微调解锁对话能力，RLHF没必要了！一作上交大校友：节省大量成本和时间
要搞大模型AI助手，像ChatGPT一样对齐微调已经是行业标准做法，通常分为SFT+RLHF两步走。 来自艾伦研究所的新研究却发现，这两步都不是必要的？？？ 新论文指出，预训练完成刚出炉的基础模型已经掌握了遵循指令的能力，只需要提示工程就能引导出来，引起...
-
麦肯锡：银行业每年有望从生成式AI获得2000亿至3400亿美元利润
《麦肯锡》最新文章强调，生成式人工智能（gen AI）在银行业具有巨大的潜在价值，全球范围内可为各产业每年增加2.6万亿至4.4万亿美元的价值。在这其中，银行有望获得年度潜在利润达2000亿至3400亿美元，相当于运营利润的9%至15%。 为了充分利用这一...
-
新AI框架DreamSync:结合图像理解模型的反馈 改善文本到图像合成
来自南加州大学、华盛顿大学、巴伊兰大学和谷歌研究团队的研究人员推出了DreamSync，这是一种新型人工智能框架，致力于解决扩散型文本到图像（T2I）模型中对齐和审美吸引力的问题，而无需进行人工标注、修改模型架构或使用强化学习。 DreamSync的方法是...
-
AI绘画突然爆火？快速体验二次元画师NovelAI(diffusion)
目录 0 写在前面 1 diffusion vs GAN 2 NovelAI 3 AI绘画环境搭建 4 体验AI创作 0 写在前面 机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学...
-
开源语言大模型演进史：向LLaMA 2看齐
本文是开源 LLM 发展史系列文章的第三部分。此前，第一部分《开源语言大模型演进史：早期革新》回顾了创建开源 LLM 的最初尝试。第二部分《开源语言大模型演进史：高质量基础模型竞赛》研究了目前可用的最受欢迎的开源基础模型（即已进行预训练但尚未微...
-
WPS AI最全申请与使用手册；AIGC制作游戏音乐；便宜快捷使用完整版SD；人人都能看懂的ChatGPT原理课 | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? 面向虚拟世界的生成式AI市场全景图 作者在这篇文章中探讨了生成式AI在虚拟世界的应用，并绘制了 Market Map V3.0 (市场全景图 ，来...
-
深度强化学习：智能机器中的头号玩家
Labs 导读 你是否想象过机器人也可以成为游戏领域的超级高手？是时候让你的幻想成为现实，深度强化学习这位头号玩家来啦！这是一个令人兴奋又神秘的领域，简单来说，它就是让计算机像人类一样学习和玩游戏。深度强化学习的学习过程就像是一场盛大的冒险，只不过主角...
-
为什么本周整个人工智能世界都在谈论 OpenAI 的「Q*」项目？
在上周令人震惊的 OpenAI 权力斗争之后，有一个最后的启示充当了这一错综复杂事件的尾声：路透社揭露了这家初创公司一个被认为是惊人的突破。这一突破据称是通过一个鲜为人知的名为「Q-Star」或「Q*」的项目实现的。 根据该报道，可能引发这家有影响力的...
-
用GPT-4V和人类演示训练机器人：眼睛学会了，手也能跟上
如何将语言 / 视觉输入转换为机器人动作？ 训练自定义模型的方法已经过时，基于最近大语言模型（LLM）和视觉语言模型（VLM）的技术进展，通过 prompt 工程使用 ChatGPT 或 GPT-4 等通用模型才是时下热门的方法。 这种方法绕过了海量数据...
-
AIGC系列：1.chatgpt可以用来做哪些事情？
上图的意思：神器轩辕剑 那么，在现在AI盛行的信息时代， 你是否知道如何获得和利用ChatGPT这一把轩辕剑来提升你的攻击力和生存能力呢？ 故事 程序员小张： 刚毕业，参加工作1年左右，日常工作是CRUD 架构师老李： 多个大型项目经验...
-
今日思考（1） — 算力对机器人的影响（基于文心一言的回答）
目录 1.高tops的算力能支持什么水平的复合机器人控制 2.什么情况下控制机器人需要更高的算力 3.为什么使用人工智能算法，例如深度学习、强化学习等，需要更多的计算资源来实现更精准的决策和控制。 4.将已经训练好的人工智能算法模型，例...
-
【赠书第10期】从概念到现实：ChatGPT和Midjourney的设计之旅
文章目录 前言 1 ChatGPT的崛起 2 Midjourney的探索 3 技术创新的交汇 4 对未来的影响 5 结论 6 推荐图书 7 粉丝福利 前言 在过去的几年里，自然语言处理和聊天模型的领域取得了飞速的发展。ChatGPT...
-
【人工智能】AI写作能力大比拼：《人工智能的数学基础》写下这本书的目录。
文心一言：《人工智能的数学基础》写下这本书的目录。 《人工智能的数学基础》 第一章 人工智能与数学基础 1.1 人工智能简介 1.2 数学在人工智能中的作用 1.3 本书内容概述 第二章 线性代数基础 2.1 向量与矩阵 2.2 行列式与...
-
人工智能的博弈论——初探智能体（Agents）与人、智能体和环境之间的博弈关系
人工智能（AI）是研究如何使计算机和机器具有智能行为的学科，它涉及到多个领域和应用，如机器学习、深度学习、自然语言处理、计算机视觉、机器人、自动驾驶等。人工智能的发展和应用，不仅给人类带来了便利和效率，也带来了挑战和风险，如数据安全、隐私保护、伦理道德、...
-
微软亚洲研究院韦福如：人工智能基础创新的第二增长曲线
从人工智能的发展历程来看，GPT 系列模型（例如 ChatGPT 和 GPT-4）的问世无疑是一个重要的里程碑。由它所驱动的人工智能应用已经展现出高度的通用性和可用性，并且能够覆盖多个场景和行业 —— 这在人工智能的历史上前所未有。 然而，人工智能的科研...
-
AI进化史之“技术兵分两路“
1. 前文回顾上一篇我们讲到了AI历史上的两位开创人物： Marvin Minsky：发明了世界上第一个强化学习神经网络SNARC Frank Rosenblatt：发明了世界上第一台感知器（Perceptron）实现AI历史上最初级的图像识别。 Mar...
-
百度CTO王海峰：全栈AI技术加持，打造新一代大语言模型文心一言
3月16日，百度在北京总部召开新闻发布会，百度创始人、董事长兼首席执行官李彦宏和百度首席技术官王海峰出席，李彦宏展示了新一代知识增强大语言模型文心一言在文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成五个使用场景中的综合能力，王海峰解读了文心一言...
-
使用 RLHF 训练 LLaMA 的实践指南：StackLLaMA
由于LLaMA没有使用RLHF，后来有一个初创公司 Nebuly AI使用LangChain agent生成的数据集对LLaMA模型使用了RLHF进行学习，得到了ChatLLaMA模型，详情请参考：Meta开源的LLaMA性能真如论文所述吗？如果增加RLH...
-
AIGC+机器人=具身智能?硅谷最酷的两个男人不谋而合预演“下个浪潮”
收集整理|小鱼 新的AI题材层出不穷，这次轮到“机器人+AI"融合而成的具身智能概念。 “硅谷钢铁侠"马斯克和热爱黑色皮衣的"显卡教父”黄仁勋均作出积极表态，可谓不谋而合。 当地时间5月16日，特斯拉2023年年度股东大会召开，马斯克在会，...
-
chatgpt VS 文心一言使用对比实测
chatgpt VS 文心一言使用对比实测 什么是文心一言 文心一言（英语：ERNIE Bot）是由百度公司开发的聊天机器人，能够与人交互、回答问题及协作创作。该产品被传媒称为国际著名聊天机器人ChatGPT的中国版及其竞争对手[1][2]。...
-
研究人员发布Starling-7B：基于AI反馈的大语言模型 媲美GPT-3.5
UC伯克利的研究人员最近发布了Starling-7B，这是一款基于AI反馈强化学习（RLAIF）的开放式大语言模型(LLM 。该模型基于精调的Openchat3.5，并继承了Mistral-7B的特性。 在RLAIF中，研究人员借助其他AI模型的反馈来训练...
-
DeepMind发现，AI代理可以通过模仿人类和其他动物进行社会学习
Google DeepMind的机器学习研究团队最近宣布，他们成功证明了人工智能（AI）代理可以通过社会学习的方式获取技能，类似于人类和其他动物的学习过程。这一成果被认为是在人工智能领域的重大突破，为实现人工通用智能迈出了一步。 研究团队由Google D...
-
【LLM系列之LLaMA2】LLaMA 2技术细节详细介绍！
Llama 2 发布！ Meta 刚刚发布了 LLaMa 2，它是 LLaMA 的下一代版本，具有商业友好的许可证。?? LLaMA 2 有 3 种不同的尺寸：7B、13B 和 70B。 7B & 13B 使用与 LLaMA 1 相同的架构，并且是...
-
人工智能十大基础术语
这里有10个关键的术语，每个人工智能爱好者都应该知道并了解。 人工智能(AI 已经成为各行各业的变革力量，塑造了我们与技术和周围世界互动的方式。对于那些深入人工智能领域的人而言，理解基础术语至关重要。 1、人工智能(AI ：人工智能的核心是指开发能够执...
-
谷歌 DeepMind 团队研究显示 AI 能够通过社会学习过程获得技能
谷歌 DeepMind 的机器学习研究团队声称，他们已经证明人工智能可以通过类似于人类和其他动物的社会学习过程来获取技能。 社会学习——即一个个体通过模仿另一个个体来获取技能和知识——对于人类以及大部分动物界的发展过程至关重要。DeepMind 团队声称...
-
Llama-Factory的baichuan2微调
Llama-Factory：https://github.com/hiyouga/LLaMA-Factory/tree/main 请使用 --quantization_bit 4/8 来启用 QLoRA 训练。 默认模块应作...
-
大模型之Bloom&LLAMA----RHLF(强化学习)
0. 简介 随着chatgpt的爆火，最近也有很多大模型在不断地出现，比如说Bloom系列以及以LLAMA为基础的ziya和baichuan。这些模型相较于chatglm来说，更加具有发展前景，因为其是完全可商用，并可以不断迭代更新的。最近作者在跟着h...
-
谷歌：LLM找不到推理错误，但能纠正它
今年，大型语言模型（LLM）成为 AI 领域关注的焦点。LLM 在各种自然语言处理（NLP）任务上取得了显著的进展，在推理方面的突破尤其令人惊艳。但在复杂的推理任务上，LLM 的表现仍然欠佳。 那么，LLM 能否判断出自己的推理存在错误？最近，剑桥大学和...
-
OpenAI宫斗剧引出神秘项目Q*
Q* “出局-跳槽-返岗”，5天之后，Sam Altman最终重新拿回CEO一职，与力挺他的原董事会主席Greg Brockman一同回到了OpenAI。 当人们以为这家AI巨头上演的宫斗剧彻底落下帷幕时，路透社甩出一个大瓜:在Altman被罢免之前，Op...