-
大模型培训讲师叶梓:Llama Factory 微调模型实战分享提纲
LLaMA-Factory ——一个高效、易用的大模型训练与微调平台。它支持多种预训练模型，并且提供了丰富的训练算法，包括增量预训练、多模态指令监督微调、奖励模型训练等。 LLaMA-Factory的优势在于其简单易用的界面和强大的功能。用户可以在不编写...
-
Llama 3.1大模型的预训练和后训练范式解析
Meta的Llama大型语言模型每次出新版本，都会是一大事件。前段时间他们不仅发布了3.1的一个超大型的405亿参数模型，还对之前的8亿和70亿参数的模型做了升级，让它们在MMLU测试中的表现更好了。 不同模型在MMLU基准测试中的表现 他们还...
-
AI与AIGC是孪生兄妹吗？
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 一、引言 二、AI（人工智能） 三、AIGC（人工智能生成内容） 四、AI与AIGC的异同解析 五、实际应用案例展示 六、未来盈利蓝海 七、展望...
-
在矩池云使用 Llama-3.2-11B-Vision 详细指南
Llama 3.2-Vision是Meta开发的一系列多模态大型语言模型（LLMs），包含11B和90B两种规模的预训练和指令调整模型。 这些模型专门优化用于视觉识别、图像推理、字幕生成和回答有关图像的一般问题。Llama 3.2-Vision模型在常见...
-
AIGC从入门到实战：带上 AI 化身，开启全球大冒险，燃爆朋友圈
1. 背景介绍 1.1 问题的由来 在信息技术日新月异的今天，人工智能（AI）已经渗透到了我们生活的方方面面。它给我们带来了许多便利，也给我们带来了许多挑战。而在所有的挑战中，最大的一个就是如何将AI技术应用到实际问题中去。而人工智能游戏角色（AIGC...
-
AI几小时设计芯片超越人类！谷歌AlphaChip登Nature，已设计出三代旗舰TPU
【新智元导读】谷歌的AlphaChip，几小时内就能设计出芯片布局，直接碾压人类专家!这种超人芯片布局，已经应用在TPU、CPU在内的全球硬件中。人类设计芯片的方式，已被AI彻底改变。 能设计芯片的AI黑科技来了! 就在刚刚，谷歌DeepMind推出名为A...
-
姚期智院士大模型新研究：思维图DoT，用数学理论确保AI逻辑一致性
姚期智院士领衔，推出大模型新推理框架，CoT“王冠”戴不住了。 提出思维图（DiagramofThought），让大模型思考更像人类。 团队更是为这种推理过程提供了数学基础，通过拓扑斯理论（Topos Theory）正式化（formalize）DoT，确保...
-
Llama模型家族之拒绝抽样(Rejection Sampling)（五）蒙特卡罗算法在拒绝抽样中：均匀分布与样本接受标准
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
GPT-4o能玩《黑神话》！精英怪胜率超人类，无强化学习纯大模型方案
AI玩黑神话，第一个精英怪牯护院轻松拿捏啊。 有方向感，视角也没有问题。 躲闪劈棍很丝滑。 甚至在打鸦香客和牯护院时，AI的胜率已经超过人类。 而且是完全使用大模型玩，没有使用强化学习。 阿里巴巴的研究人员们提出了一个新型VARP（视觉动作角色扮演...
-
o1研发团队首次集体访谈：教AI数r用了一年半
笑死，原来o1也像人类一样喜欢赶ddl。 这是在o1团队的“大型见面会”上，OpenAI创始成员Wojciech Zaremba揭开的o1“黑历史”。 包括Zaremba在内的18名团队成员，在首席研究官Bob McGrew的带领之下围坐一团。 o1核心贡...
-
速通LLaMA2：《Llama 2: Open Foundation and Fine-Tuned Chat Models》全文解读
文章目录 概览 LLaMA和LLaMA2的区别 Abstract Introduction Pretraining Fine-tuning 1. 概括 2、Supervised Fine-Tuning（SFT） 3、⭐Reinforcemen...
-
【ChatGPT技术2】科技大厂竞逐AIGC，中国的ChatGPT在哪？
最近，AI（人工智能）圈一股以“ChatGPT”为核心的热潮从美国“硅谷”涌入中国。 2022年11月底，初创公司OpenAI发布了名为ChatGPT的对话式聊天机器人模型，一经推出，便在网络上迅速走红。 ...
-
LLAMA-FACTORY：100+语言模型的统一高效微调框架
24年3月来自北航和北大的论文“LLAMA-FACTORY: Unified Efficient Fine-Tuning of 100+ Language Models”。 高效的微调对于将大语言模型 (LLM 适应下游任务至关重要。然而，在不同模型上...
-
大模型时代下的新一代广告系统
• 歧义词的多意图：多意图query下，基于样本生成逻辑，会偏向主意图，弱化甚至丢失次意图，导致召回问题，例如：小米（粮食or手机？），苹果（水果or手机？）； • 长尾类目冷启：由于用户点击数据的马太效应，使得大量的长尾类目没有...
-
OpenAI o1智商120，还是被陶哲轩称为「平庸的研究生」，但实力究竟如何？
o1消息满天飞。 自从 OpenAI 发布了新模型 o1后，它就承包了 AI 领域近几天的热搜: 有人用门萨智商测试题「拷问」它，竟测得 o1智商高达120; 数学大佬陶哲轩要求 o1回答一个措辞含糊的数学问题，最终得出一个结论:o1是个平庸但不无能的研究...
-
LLaMA-QRLHF 项目使用教程
LLaMA-QRLHF 项目使用教程 llama-qrlhf Implementation of the Llama architecture with RLHF + Q-learning 项目地址: https://gitcode.com/g...
-
OpenAI o1惊现自我意识？陶哲轩实测大受震撼，门萨智商100夺模型榜首
【新智元导读】OpenAI o1，在门萨智商测试中果然取得了第一名。数学大神陶哲轩实测发现，o1竟然能成功识别出克莱姆定理。而OpenAI的研究副总裁也在此时跳出来表明:大型神经网络可能已经有了足够算力，表现出意识了。 OpenAI o1，在IQ测试中拿到...
-
OpenAI“草莓”值万亿吗？
奥特曼和马保国有什么共同点?答:都爱搞偷袭。 “草莓”的消息已经传了几个月，据说这是OpenAI内部的一个神秘项目，似乎和前代模型颇有些不同。但OpenAI一直讳莫如深，最接近曝光的时刻，是此前CEO山姆·奥特曼（Sam Altman）在社交媒体上发布的一...
-
16年老程序员当场“退休”，OpenAI o1这么强吗？
谁能想到，o1刚出来工作，就被吐槽“懒惰”。 9月13日，OpenAI创始成员、AI大牛Andrej Karpathy发文吐槽OpenAI刚发布的最新模型:“o1-mini一直拒绝为我解决黎曼猜想，模型懒惰还是主要问题，很悲伤。” 9月13日凌晨，Op...
-
刚刚，OpenAI震撼发布o1大模型！强化学习突破LLM推理极限
大语言模型还能向上突破，OpenAI 再次证明了自己的实力。 北京时间9月13日午夜，OpenAI 正式公开一系列全新 AI 大模型，旨在专门解决难题。这是一个重大突破，新模型可以实现复杂推理，一个通用模型解决比此前的科学、代码和数学模型能做到的更难的问题...
-
OpenAI发布具推理能力的人工智能模型 o1系列模型已开放
9月13日，OpenAI发布了全新的AI大模型——o1系列，标志着大模型技术发展迈入了一个新的里程碑。o1模型专注于解决复杂问题，通过强化学习实现了在复杂推理任务上的突破，使得一个通用模型能够处理比以往科学、代码和数学模型更加困难的问题。 o1模型在多项高...
-
腾讯最新万亿参数异构MoE上线，技术细节首次曝光！权威评测国内第一，直逼GPT-4o
近期，腾讯混元推出新一代旗舰大模型——混元Turbo。 作为国内率先采用MoE结构大模型的公司，腾讯继续在这一技术路线上进行技术创新。 相较上一代混元Pro的同构MoE大模型结构，混元Turbo采用了全新的分层异构MoE结构，在参数总规模上依然保持万亿级。...
-
【大模型】llama系列模型基础
前言：llama基于transformer架构，与GPT相似，只用了transformer的解码器部分。本文主要是关于llama，llama2和llama3的结构解读。 目录 1. llama 1.1 整体结构 1.2 RoPE 1...
-
一文搞懂AIGC
目录 AIGC的核心技术 AIGC的主要应用 AIGC的未来趋势与挑战 🎈边走、边悟🎈迟早会好 AIGC（AI-Generated Content，人工智能生成内容）是指利用人工智能技术自动生成各种类型的内容，包括文本、图像、音频、视频等...
-
了解一点智能体（Agent）
百度百科对智能体的定义：智能体，顾名思义，就是具有智能的实体，英文名是Agent。以云为基础，以AI为核心，构建一个立体感知、全域协同、精准判断、持续进化、开放的智能系统。 1 智能体（Agent）是什么？ 在计算机科学和人工智能领域，智能体（A...
-
浅谈AIGC的底层技术
人工智能生成内容（Artificial Intelligence Generated Content, 简称AIGC）是近年来AI技术发展的一个重要领域，它利用机器学习和自然语言处理等技术，让计算机能够自主创作文章、音乐、图像等多种类型的内容。本文将深入浅...
-
普通人如何零基础进入AIGC大模型人形机器人赛道，自学攻略，应用转化项目案例
要进入人形机器人赛道，普通人需要了解和掌握一系列的技能和知识，包括机器人设计、编程、电子工程、机械工程以及团队合作和项目管理。以下是一个详细的指南，帮助你从零基础开始，逐步进入这个充满挑战和机遇的领域。 基础教育和技能培养 进入人形机器人领域，基础...
-
使用 ORPO 微调 Llama 3
原文地址：https://towardsdatascience.com/fine-tune-llama-3-with-orpo-56cfab2f9ada 更便宜、更快的统一微调技术 2024 年 4 月 19 日 ORPO 是一种新的令人兴奋的微调技...
-
智能创作与优化新时代：【ChatGPT-4o】在【数学建模】、【AI绘画】、【海报设计】与【论文优化】中的创新应用
目录 1. 引言 什么是ChatGPT4o？ 背景与发展历史 2.chatgpt4o数学建模 常见的数学建模专业术语及其简要说明 一个具体的代码例子 问题描述 代码实现 代码说明 运行结果 3.chatgpt4o在论文 1.例如生...
-
初识LLM大模型：入门级工程知识探索与解析
前言 源自脉脉上面刷到的大模型业务工程落地可以做的方向。其实如果不是接触相关工作，有的人可能不会想了解这方面，自己实习做的方向与之相关，因此想调研总结一下行业热点方向与基础入门知识，还有一些的专业词汇的解释。包括但不限于Prompt工程、模型微调fin...
-
whisper安装
安装Whisper 首先需要下载ffmpeg并添加环境变量。打开网站：https://github.com/BtbN/FFmpeg-Builds/releases，选择压缩包并下载到本地。 解压后，找到bin文件夹下的“ffmpeg.exe”，将它复...
-
一文看懂llama2 (原理&模型&训练)
LLaMA2是一种基于Transformer架构的先进语言模型，广泛应用于自然语言处理（NLP）任务，如文本生成、机器翻译和问答系统等。本文将从其核心原理、模型结构以及训练方法三个方面进行详细探讨。 一、核心原理 LLaMA2的核心原理是基于自注意力机...
-
【从Qwen2,Apple Intelligence Foundation,Gemma 2,Llama 3.1看大模型的性能提升之路】
从早期的 GPT 模型到如今复杂的开放式 LLM，大型语言模型 (LLM 的发展已经取得了长足的进步。最初，LLM 训练过程仅侧重于预训练，但后来扩展到包括预训练和后训练。后训练通常包括监督指令微调和校准，这是由 ChatGPT 推广的。 自 Chat...
-
AIGC创新应用技术实践：成都技术生态沙龙全回顾
AIGC创新应用技术实践：成都技术生态沙龙全回顾 2024年8月17日下午，我有幸作为CSDN校园主理人参加了在成都举办的AIGC创新应用技术实践沙龙活动。 此行也见到了许许多多的行业大佬，得到的收获非常之多，赶了1300公里的路，值了！ 这次活...
-
全球首个语音指挥FPS AI ，腾讯魔方携最新AI成果亮相科隆展
AI究竟会如何改变游戏?这应该是全球游戏行业近年最为关注的问题之一。在最近正在德国举办的全球最大游戏展—科隆游戏展上，腾讯游戏魔方工作室群技术中心联合《暗区突围:无限》项目组，首次对外公布其全球首个语音指挥FPSAIF.A.C.U.L.的技术Demo。这是...
-
具身智能又进一步！卡内基梅隆&Meta&苏黎世联邦实现虚拟人超灵活抓取
论文链接：https://arxiv.org/pdf/2407.11385 github链接：https://www.zhengyiluo.com/Omnigrasp-Site/ 亮点直击 本文设计了一种灵巧且通用的人形机器人运动表示，这显...
-
【Reflextion论文总结】
Reflextion论文总结 文章目录 Reflextion论文总结 1、简介 2、创新点 3、主要内容 整体框架 记忆组件 流程 4、自我反思适用情形 5、实验结果 6、Langchain实现 AnswerQuestion I...
-
隆重推出 Llama 3.1： 迄今为止最强大的开源模型
The gates of heaven open: Llama 3.1 405B, the most capable models to date from Meta, is competitive with leading foundation mode...
-
阿里开源新模型：超GPT-4o，数学能力全球第一！
阿里巴巴开源了最新数学模型Qwen2-Math，一共有基础和指令微调两种版本，包括1.5B、7B和72B三种参数。 根据阿里在主流数学基准测试显示，Qwen2-Math-72B指令微调版本的性能超过了GPT-4o、Cloude-3.5-Sonnet、Gem...
-
OpenAI高层巨变：联创辞职总裁休假，网友：领导层成了空壳
刚刚，OpenAI高层大地震: 联创John Schulman辞职跑路，联创&总裁Greg Brockman长期休假，产品副总裁Peter Deng也被曝离职。 John Schulman（约翰·舒曼），长年领导OpenAI强化学习团队，被誉为“C...
-
最强大模型 Llama 3.1-405B 架构设计剖析
—1— 最强大模型 Llama 3.1-405B 简介 在历经了两天的提前“泄露风波”后，Llama 3.1 终于正式揭开面纱，由官方对外公布。 新版 Llama 3.1 将其上下文处理能力扩展至 128K，推出了 8B、70B 及 405B 三个不...
-
LLM大语言模型-ChatGPT、LLaMA、ChatGLM、文心一言、通义千问
LLM大语言模型-ChatGPT、LLaMA、ChatGLM、文心一言、通义千问 一、LLM与PLM主要区别： LLM表现出PLM所没有的Emergent Abilities（涌现能力）,这些能力是LLM在复杂任务上表现惊人的关键，使得得人工智能算...
-
【机器学习】机器学习与医疗健康在疾病预测中的融合应用与性能优化新探索
文章目录 引言 第一章：机器学习在医疗健康中的应用 1.1 数据预处理 1.1.1 数据清洗 1.1.2 数据归一化 1.1.3 特征工程 1.2 模型选择 1.2.1 逻辑回归 1.2.2 决策树 1.2.3 随机森林 1.2...
-
【AI学习】LLaMA 系列模型的进化（二）
在前面LLaMA 系列模型的进化（一）中学习了LLama模型的总体进化发展，再来看看其中涉及的一些重要技术。 PreLayerNorm Layer Norm有Pre-LN和Post-LN两种。Layer Normalization（LN）在Trans...
-
LLaMA 3.1：开源大模型的新里程碑
7月23日，Meta公布了它的人工智能模型Llama的最新版本——Llama 3.1。这次更新推出了三种不同的版本，其中包括了Meta迄今为止最高级的人工智能模型。重要的是，Llama 3.1依旧是开源的，这意味着谁都可以免费使用这款模型。这次发布展示了M...
-
腾讯推出新自研AI引擎：游戏研发效率提升超40倍
快科技7月30日消息，日前在ChinaJoy高峰论坛上，腾讯公司副总裁张巍表示，AI在游戏领域已经成为研发标配”。 腾讯于今年推出了新的自研AI引擎，能够让游戏场景制作、内容生成等领域的部分工作效率提升40倍以上。 据了解，腾讯是较早系统化布局AI研发的企...
-
秘密打造「AI陶哲轩」 震惊数学圈！谷歌IMO梦之队首曝光，菲尔兹奖得主深度点评
【新智元导读】19秒破解几何难题，谷歌AI夺得IMO银牌在业界掀起了巨震。就连菲尔兹奖得主陶哲轩，前IMO美国队负责人罗博深都对此大加赞赏。更有AI大佬高调预测，若谷歌继续加码研究，应该可以造出一个「AI陶哲轩」。 谷歌DeepMind正在做的，是要打造出...
-
AI大模型原理（通俗易懂版）——AIGC
传送门：AI大模型原理（通俗易懂版）-CSDN博客 AIGC 说起近期的热门科技词汇，AIGC当之无愧位列其中。从某一天开始，我们突然发现AI可以帮忙生成文字图片音频视频等等内容了。而且让人难以分清背后的创作者到底是人类还是AI。 这些AI生...
-
OpenAI发布最新大模型安全对齐奖励方法——RBR
随着ChatGPT等产品的广泛应用，确保其输出的安全性成为场景化落地的关键。传统方法是使用RLHF（人类反馈强化学习）来进行安全对齐，但有两大局限性难以持续使用。 1）收集和维护人类反馈数据不仅成本高昂，并且随着大模型能力的提高以及用户行为的变化，现有的数...
-
AI多模态模型架构之LLM主干(3)：Llama系列
〔探索AI的无限可能，微信关注“AIGCmagic”公众号，让AIGC科技点亮生活〕 本文作者：AIGCmagic社区 刘一手 前言 AI多模态大模型发展至今，每年都有非常优秀的工作产出，按照当前模型设计思路，多模态大模型的架构主要包括...