-
Llama 3.1大模型的预训练和后训练范式解析
Meta的Llama大型语言模型每次出新版本，都会是一大事件。前段时间他们不仅发布了3.1的一个超大型的405亿参数模型，还对之前的8亿和70亿参数的模型做了升级，让它们在MMLU测试中的表现更好了。 不同模型在MMLU基准测试中的表现 他们还...
-
Llama 3.1 技术研究报告-3
四、后训练 我们通过对预训练检查点进⾏多轮后训练，或在预训练检查点的基础上与⼈类反馈（Ouyang等⼈，2022年；Rafailov等⼈，2024年）对⻬模型，以产⽣对⻬的Llama 3模型。每⼀轮后训练包括监督式微调（SFT）和直接偏好优化（DPO；...
-
给AI公司“打杂”，95后华人把估值做到138亿美元
在旧金山的 Showplace 广场，一栋曾经属于Airbnb的商业大楼最近迎来了新主人。在大部分科技公司都在业务收缩的当下，Scale AI，这家由95后华人创立的人工智能数据标注公司，大手一挥租下了旧金山市中心约18万平英尺的办公室。 就在不久前，Sc...
-
使用Stable Diffusion生成的图像合成数据集
使用Stable Diffusion生成图像合成数据集 相关论文Stable DiffusionDALL-E seriesDALL-E seriesImagen 一、Stable Diffusion的原理 Stable Diffusion是一种基...
-
AIGC时代，仅用合成数据训练模型到底行不行？来一探究竟 | CVPR 2024
首个针对使用合成数据训练的模型在不同稳健性指标上进行详细分析的研究，展示了如SynCLIP和SynCLR等合成克隆模型，其性能在可接受的范围内接近于在真实图像上训练的对应模型。这一结论适用于所有稳健性指标，除了常见的图像损坏和OOD（域外分布）检测。另一方...
-
微软用AI Agent生成2500万对高质量数据，极大提升大模型性能！
随着ChatGPT、Copliot等生成式AI产品的快速迭代，对训练数据的需求呈指数级增长，同时也是提升大模型性能的关键环节之一。 为了解决训练数据短缺和质量差的难题，微软研究院发布了一个专门用于生成高质量合成数据的的AI Agent——Agent Ins...
-
Llama 3.1 405B：4050亿参数史上最强开源大模型
01 。 概述 Meta公司推出了其最大的开源人工智能模型——Llama 3.1 405B，拥有4050亿个参数，与GPT-4o和Claude 3.5 Sonnet相媲美。该模型在16000个Nvidia H100 GPU上训练而成，现已在云平台上可用，...
-
【大模型理论篇】关于LLaMA 3.1 405B以及小模型的崛起
前不久，Meta开源了LLaMA 3.1 405B【1】，模型扩展了上下文长度至 128K，支持八种语言，效果非常惊艳，是首个在通用知识、可操控性、数学、工具使用和多语言翻译方面能够与最先进闭源 AI 模型媲美的公开可用模型，已经赶上截至目...
-
GPT-5降临，代号猎户座？OpenAI疑用草莓训练，数学推理暴涨超越所有模型
OpenAI的下一代旗舰大语言模型，要来了? 据悉，新模型代号Orion（猎户座），就是能超越GPT-4的下一代模型。 而猎户座的预训练数据，正是由草莓模型生成的。 而草莓模型驱动的聊天机器人，很可能就会在今年秋天上线! 关于OpenAI的草莓，外媒The...
-
突发！OpenAI展示草莓，很快发布“GPT-5”猎户座！
OpenAI不藏了，终于展示江湖流传已久的秘密项目“草莓”（Strawberry）和猎户座(Orion 。 根据Theinformation消息，OpenAI已经向美国国家安全官员展示了草莓这个秘密项目，保证会在安全、合理的范围内来开发和使用。同时Open...
-
LLaMA3技术报告解读
前言 LLaMA系列算法是Meta公司发布的开源大模型。近期Meta公司又发布了LLaMA 3.1系列的模型，在这一系列模型中参数量最大的高达405B，上下文窗口多达128K个token。同时对模型进行了广泛的实证评估，发现在很多任务中，LLaMA 3...
-
【从Qwen2,Apple Intelligence Foundation,Gemma 2,Llama 3.1看大模型的性能提升之路】
从早期的 GPT 模型到如今复杂的开放式 LLM，大型语言模型 (LLM 的发展已经取得了长足的进步。最初，LLM 训练过程仅侧重于预训练，但后来扩展到包括预训练和后训练。后训练通常包括监督指令微调和校准，这是由 ChatGPT 推广的。 自 Chat...
-
LLAMA 3.1 论文的见解
这有什么大不了的？ LLAMA 3.1 的发布标志着 AI 开发的一个重要里程碑。开源模型首次接近领先的闭源模型的性能水平。这一转变预示着未来开源模型同样有效，任何人都可以灵活地修改和调整它们。马克·扎克伯格将此与 Linux 的开源性质进行了比较，...
-
Llama 3.1深度解析：405B、70B及8B模型的多语言与长上下文处理能力
Llama 3.1 发布了！今天我们迎来了 Llama 家族的新成员 Llama 3.1 进入 Hugging Face 平台。我们很高兴与 Meta 合作，确保在 Hugging Face 生态系统中实现最佳集成。Hub 上现有八个开源权重模型 (3 个...
-
Transformer作者预警：只卖模型玩不过OpenAI！
Transformer八子中最年轻的Aidan Gomez在最新的采访中感叹: 谷歌版的Aidan Gomez，是给AI领域带来深远影响的Transformer作者之一。 而现在的Aidan Gomez，是估值飙升55亿美元的Cohere公司的联合创始人...
-
英伟达最新技术分享：手把手教你用Llama 3.1合成数据改进模型！附代码
【导读】 适逢Llama 3.1模型刚刚发布，英伟达就发表了一篇技术博客，手把手教你如何好好利用这个强大的开源模型，为领域模型或RAG系统的微调生成合成数据。 Epoch AI上个月刚刚发文[预言数据墙」迫近，结果英伟达转头就甩出了340B开源巨兽Ne...
-
通过剪枝与知识蒸馏优化大型语言模型：NVIDIA在Llama 3.1模型上的实践与创新
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
Llama 3.1 - 405B、70B 和 8B 的多语言与长上下文能力解析
Llama 3.1 发布了！Llama 3.1 有三种规格: 8B 适合在消费者级 GPU 上进行高效部署和开发，70B 适合大规模 AI 原生应用，而 405B 则适用于合成数据、大语言模型 (LLM 作为评判者或蒸馏。这三个规格都提供基础版和指令调优...
-
大模型格局变天：Llama3.1 诞生
前言 相信大家翘首企盼的都是同一个主角，Meta藏到现在的王牌、最被社区看好能直接叫板GPT-4o的新一代开源大模型—Llama 3.1系列，终于正式发布了。 鉴于4月公开的两个Llama 3小参数模型8B和70B表现不俗，令开发者们对*参数版本的强...
-
Post-Training有多重要？AI2研究员长文详解前沿模型的后训练秘籍
越来越多研究发现，后训练对模型性能同样重要。Allen AI的机器学习研究员Nathan Lambert最近发表了一篇技术博文，总结了科技巨头们所使用的模型后训练配方。 随着LLM学界和工业界日新月异的发展，不仅预训练所用的算力和数据正在疯狂内卷，后训练（...
-
最强模型Llama 3.1 405B正式发布，扎克伯格：开源引领新时代
刚刚，大家期待已久的 Llama 3.1 官方正式发布了！ Meta 官方发出了「开源引领新时代」的声音。 在官方博客中，Meta 表示：「直到今天，开源大语言模型在功能和性能方面大多落后于封闭模型。现在，我们正在迎来一个开源引领的新时代。我们公开...
-
【最新最热】开源引领未来：Llama 3.1震撼发布，405B参数超越闭源GPT-4，扎克伯格宣告AI分水岭到来
刚刚，备受瞩目的LIama 3.1震撼问世，荣耀加冕为大模型领域的最新王者！ 在横跨150余项基准测试的挑战中，LIama 3.1的405B版本以其卓越性能，不仅与当前顶尖的SOTA模型——GPT-4o及Claude 3.5 Sonnet并驾齐驱，更在多...
-
Llama 3.1横空出世！开源巨无霸首次击溃闭源，全民GPT-4时代来临
新智元2024-07-24 12:30北京 编辑：编辑部 【新智元导读】大模型格局，再次一夜变天。Llama 3.1 405B重磅登场，在多项测试中一举超越GPT-4o和Claude 3.5 Sonnet。史上首次，开源模型击败当今最强闭源模型。小扎大...
-
Meta发布新肥羊：Llama 3.1 大模型
Meta 的新 Llama 3.1 模型已经发布，开始与 GPT-4o 和 Claude 3.5 Sonnet 竞争。 Meta 在 23 号宣布其开源 AI 模型 Llama 已发布最新版本。据 Meta 称，随着 Llama 3.1 405B 的...
-
The Llama 3 Herd of Models 第8部分语音实验部分全文
第1,2,3部分，介绍、概览、预训练 第4部分，后训练 第5部分，结果 第6部分，推理 第7部分，视觉实验 8 Speech Experiments 我们进行了实验来研究将语音功能集成到Llama 3中的组合方法，类似于我们用于...
-
秒杀GPT-4、Devin，全球最强AI程序员来啦！
今年3月，AI初创公司Cognition发布的首个AI程序员Devin引起巨大轰动，它可以像人一样实现端到端的部署、调试、优化代码，几乎与编程相关的任务都能自动化完成。 今天，Cosine发布了同类产品Genie，但在权威测试平台SWE-Bench上的评分...
-
从LLaMa 3 技术报告，再看LLM构建过程 ——《带你自学大语言模型》系列（番外）
本系列目录 《带你自学大语言模型》系列部分目录及计划，完整版目录见：带你自学大语言模型系列 —— 前言 第一部分 走进大语言模型（科普向） 第一章 走进大语言模型 1.1 从图灵机到GPT，人工智能经历了什么？——《带你自学大语言模型...
-
开源模型也能强过闭源？Llama 3.1-405B数值对标GPT4！
Llama 3.1-405B引起AI浪潮：开源模型也能强过闭源？ Llama 3.1 就这几天，只要你有在关注AI相关的事，你就会看见一群人在讨论 Meta 新出的 Llama 3.1。外网无数的业内大佬都在为之疯狂，因为 Llama3...
-
LLMs之Llama 3.1：Llama 3.1的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama 3.1：Llama 3.1的简介、安装和使用方法、案例应用之详细攻略 导读：2024年7月23日，Meta重磅推出Llama 3.1。本篇文章主要提到了Meta推出的Llama 3.1自然语言生成模型。 >>...
-
AIGC助力ResNet分类任务：跃升10个百分点
目录 AIGC?缓解数据稀缺问题❓ 论文研究的动机✏️ 作者是怎么做的❓ 实验配置? 实验结果? 结论✅ 实践? 要增强的裂缝图片 按照论文中的参数在stable-diffusionv1-5上进行textual inversion微调...
-
Meta革命性发布：Llama 3.1——性能最强的AI开源模型，开启智能新时代！
前言 ? Meta隆重推出Llama 3.1：迄今为止性能最强的AI模型 Meta公司近日发布了他们最新的AI语言模型——Llama 3.1，这一消息迅速在科技界掀起了波澜。作为猫头虎技术团队，我们将为大家详细解析Llama 3.1的强大功能及其应用...
-
【AIGC】Llama-3 官方技术报告
Llama-3 技术报告（中文翻译） 欢迎关注【youcans的AGI学习笔记】原创作品 0. 简介 现代人工智能（AI）系统的核心驱动力来自于基础模型。 本文介绍了一组新的基础模型，称为 Llama 3。它是一个语言模型系列，原生支持多语言...
-
OpenAI发布最新大模型安全对齐奖励方法——RBR
随着ChatGPT等产品的广泛应用，确保其输出的安全性成为场景化落地的关键。传统方法是使用RLHF（人类反馈强化学习）来进行安全对齐，但有两大局限性难以持续使用。 1）收集和维护人类反馈数据不仅成本高昂，并且随着大模型能力的提高以及用户行为的变化，现有的数...
-
每日AIGC最新进展(36)：以色列Lightricks提出视频中眼镜擦除技术V-LASIK、史蒂文斯理工学院提出实时交互式数字头像框架RITA、清华大学提出神经残差扩散模型Neural-RDM
Diffusion Models专栏文章汇总：入门与实战 V-LASIK: Consistent Glasses-Removal from Videos Using Synthetic Data 本文介绍了一种名为V-LASIK的视频编辑技术，...
-
AI训AI惨遭投毒9次大崩溃，牛津剑桥等惊天发现登Nature封面！
9次迭代后，模型开始出现诡异乱码，直接原地崩溃!就在今天，牛津、剑桥等机构的一篇论文登上了Nature封面，称合成数据就像近亲繁殖，效果无异于投毒。有无破解之法?那就是——更多使用人类数据! 用AI生成的数据训练AI，模型会崩溃? 牛津、剑桥、帝国理工、多...
-
Llama 3.1有哪些功能免费吗？Meta AI最强大新模型怎么使用方法详细教程指南
Llama 3.1 是什么？ Llama 3. 1 是Meta AI推出的最新一代大型语言模型，具有128K的上下文长度扩展、支持八种语言，并首次开源了405B参数级别的前沿AI模型。该模型在通用知识、可控性、数学、工具使用和多语言翻译方面具有最先进的能力...
-
Llama 3.1功能介绍及免费使用指南 Meta AI最新一代模型体验地址入口
Llama 3. 1 简介 Llama 3. 1 是Meta AI推出的最新一代大型语言模型，具有128K的上下文长度扩展、支持八种语言，并首次开源了405B参数级别的前沿AI模型。它为开发者和技术研究者提供了强大的支持，无论是需要处理大量文本数据的编程助...
-
开源=最强大模型！Llama3.1发布，405B超越闭源GPT-4o，扎克伯格：分水岭时刻
刚刚，LIama3.1正式发布，登上大模型王座! 在150多个基准测试集中，405B版本的表现追平甚至超越了现有SOTA模型GPT-4o和Claude3.5Sonnet。 也就是说，这次，最强开源模型即最强模型。 在此之前，Llama3.1已经被多番曝光...
-
全球247亿美元豪赌GenAI，疯狂入局AI成高风险博弈？
【新智元导读】面对GenAI的技术浪潮，很多人都会在不断迭代更新的技术中逐渐迷失。站在潮头的Sapphire、Emergence、Menlo等风投公司，又会如何看待这场AI变局的现状与走向? 根据Sapphire Ventures的数据，GenAI领域从2...
-
8人半年肝出开源版GPT-4o，0延迟演示全网沸腾！背后技术揭秘，人人免费用
【新智元导读】GPT-4o或许还得等到今年秋季才对外开放。不过，由法国8人团队打造的原生多模态Moshi，已经实现了接近GPT-4o的水平，现场演示几乎0延迟，AI大佬纷纷转发。 没想到，「开源版」GPT-4o这么快就来了! 昨夜，来自法国AI实验室kyu...
-
AIGC现在的能力边界在那儿？
AIGC（人工智能生成内容）技术正迅速发展，并在多个领域展现出其强大的应用潜力。从历史信息和搜集到的结果来看，AIGC的能力边界不断扩展，同时也带来了对未来的无限畅想。 AIGC的能力边界 1. 内容生成的多样性与丰富性：AIGC技术能够生成多种风格...
-
每日一看大模型新闻（2024.1.20-1.21）英伟达新对话QA模型准确度超GPT-4，却遭吐槽：无权重代码意义不大；Llama 2打败GPT-4！Meta让大模型自我奖励自迭代，再证合成数据是LL
1.产品发布 1.1韩国Kakao：推出多模态大模型Honeybee 发布日期：2024.1.20 Kakao unveils multimodal large language model Honeybee - The Korea Ti...
-
Stable diffusion 3 正式开源
6月12日晚，著名开源大模型平台Stability AI正式开源了，文生图片模型Stable Diffusion 3 Medium（以下简称“SD3-M”）权重。 SD3-M有20亿参数，平均生成图片时间在2—10秒左右推理效率非常高，同时对硬件的需求...
-
对AIGC技术的一些看法
简介与看法 生成式人工智能（AIGC）确实是近年来人工智能领域的一个热门研究方向。基于生成对抗网络（GANs）、预训练的大型语言模型等技术，AIGC能够生成各种类型的内容，如文本、图像、音频等。以下是小鹿对AIGC未来发展趋势的一些看法： 多模态生成...
-
AIGC从入门到实战：AIGC 在工业领域的创新场景—合成数据集，助力机器人产品研发
1. 背景介绍 随着人工智能技术的不断发展，越来越多的企业开始将其应用于工业领域，以提高生产效率和产品质量。在机器人产品研发中，数据集是非常重要的资源，但是获取真实的数据集往往需要耗费大量的时间和成本。因此，合成数据集成为了一种备受关注的解决方案。 合...
-
开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA
前言 近年来，大型语言模型 (LLM 在医疗领域展现出巨大潜力，能够帮助医生和研究人员更快地获取信息、分析数据，并提高医疗服务效率。然而，目前市场上大多数医疗 LLM 都是闭源模型，限制了其在学术研究和应用领域的推广。为了打破这一现状，促进医疗 AI...
-
ChatGPT等模型疯狂训练，最快2026年消耗尽公开文本数据
AI发展科研机构Epochai在官网发布了一项，关于大模型消耗训练数据的研究报告。 目前，人类公开的高质量文本训练数据集大约有300万亿tokens。但随着ChatGPT等模大型的参数、功能越来越强以及过度训练，对训练数据的需求呈指数级增长，预计将在202...
-
大模型论文解读|| 数学新巅峰，微软&清华联合研究发现：7B级LLaMA-2模型数学能力惊人，准确率高达97.7%
开篇：数学能力在常规语言模型中的崭露头角 数学能力长期以来被认为是语言模型中难以攻克的领域，只有在模型规模极大或经过大量数学相关预训练的情况下才可能显现。然而，最新的研究表明，即使是规模较小的常规语言模型，如LLaMA-2 7B，也已经展现出了强大的数学...
-
聊聊大模型：开源LLaMA背后的底层逻辑与赚钱之道？大模型的发展瓶颈？如何一键部署LLaMA3？
如果我们相信未来比今天更好，坚信自己生活在一个好地方，所要做的便是认识到未来时代的特征和规律。把握住一些不变的道理，使用正确的方法，做那些能够不断让自己获得可叠加式进步的事情，这样便能立于不败之地。—吴军 最近关注两个方向，也是公司重点发展和投资的两个方...
-
英伟达开源3400亿巨兽，98%合成数据训出最强开源通用模型！性能对标GPT-4o
【新智元导读】刚刚，英伟达全新发布的开源模型Nemotron-4 340B，有可能彻底改变训练LLM的方式！从此，或许各行各业都不再需要昂贵的真实世界数据集了。而且，Nemotron-4 340B直接超越了Mixtral 8x22B、Claude sonn...