合成数据第2页 - AIGC资讯

Scaling Law触礁「数据墙」？Epoch AI发文预测LLM到2028年耗尽所有文本数据

【新智元导读】训练数据的数量和质量，对LLM性能的重要性已经是不言自明的事实。然而，Epoch AI近期的一篇论文却给正在疯狂扩展的AI模型们泼了冷水，他们预测，互联网上可用的人类文本数据将在四年后，即2028年耗尽。数据和算力，是AI大模型最重要的两把...

AIGC 2024-06-15 AIGC

257阅读

LLM | Yuan 2.0-M32：带注意力路由的专家混合模型

图片一、结论写在前面 Yuan 2.0-M32，其基础架构与Yuan-2.0 2B相似，采用了一个包含32位专家的专家混合架构，其中2位专家处于活跃状态。提出并采用了一种新的路由网络——注意力路由器，以更高效地选择专家，相比采用经典路由网络的模型，其准...

人工智能 2024-06-06 AIGC

240阅读

OpenAI CEO表示有足够数据培训下一代人工智能

OpenAI 的首席执行官 Sam Altman 在一次采访中强调了使用高质量数据来训练人工智能模型的重要性。他表示，无论是人类生成的数据还是合成数据，高质量数据对 AI 系统至关重要。 Altman 在 AI for Good Global Summi...

大数据 2024-06-05 AIGC

234阅读

32专家MoE大模型免费商用！性能全面对标Llama3，单token推理消耗仅5.28%

每个token只需要5.28%的算力，精度就能全面对标Llama 3。开源大模型，再添一位重量级选手—— 来自浪潮信息的32专家MoE模型，源2.0-M32。不仅拥有极高的回报投入比，而且全面开放，训练代码和模型权重都可任意下载，商业使用也免费、无需...

生成式AI 2024-05-30 AIGC

297阅读

自动驾驶场景中的长尾问题怎么解决？

本文经自动驾驶之心公众号授权转载，转载请联系出处。昨天面试被问到了是否做过长尾相关的问题，所以就想着简单总结一下。自动驾驶长尾问题是指自动驾驶汽车中的边缘情况，即发生概率较低的可能场景。感知的长尾问题是当前限制单车智能自动驾驶车辆运行设计域的主要原...

大数据 2024-05-20 AIGC

328阅读

70B模型秒出1000token，代码重写超越GPT-4o，来自OpenAI投资的代码神器Cursor团队

70B模型，秒出1000token，换算成字符接近4000！研究人员将Llama3进行了微调并引入加速算法，和原生版本相比，速度足足快出了快了13倍！不仅是快，在代码重写任务上的表现甚至超越了GPT-4o。这项成果，来自爆火的AI编程神器Curso...

人工智能 2024-05-17 AIGC

256阅读

微软发布 MatterSim 模型：模拟材料、预测性能，AI 探索材料设计的无限可能

5 月 15 日消息，微软研究院科学智能中心（Microsoft Research AI for Science）近日推出 MatterSim 模型，能够在广泛的元素、温度和压力范围内，准确高效地模拟材料和预测性能，助力材料设计的数字化转型。新材料探索...

生成式AI 2024-05-15 AIGC

244阅读

OpenAI发布Model Spec，揭示其期望AI如何行动

OpenAI推出了Model Spec，这是一个旨在塑造 OpenAI 应用程序编程接口(API 和 ChatGPT 中使用的 AI 模型行为的框架文件，并通过这里的网络表单征求公众反馈，开放至 5月22日。正如 OpenAI 的联合创始人兼 CE...

人工智能 2024-05-09 AIGC

224阅读

OpenAI神秘gpt2正在A/B测试，奥特曼抢先剧透，网友已玩嗨

OpenAI正在秘密A/B测试下一代模型，实力超强被怀疑是GPT-4.5或GPT-5。就在奥特曼当谜语人暗示之后，两款新模型悄悄上线大模型竞技场。图片 Im-a-good-gpt2-chatbot Im-also-a-good-gpt2-chatbo...

生成式AI 2024-05-08 AIGC

234阅读

手机可跑，3.8B参数量超越GPT-3.5！微软发布Phi-3技术报告：秘密武器是洗干净数据

过去几年，借助Scaling Laws的魔力，预训练的数据集不断增大，使得大模型的参数量也可以越做越大，从五年前的数十亿参数已经成长到今天的万亿级，在各个自然语言处理任务上的性能也越来越好。但Scaling Laws的魔法只能施加在「固定」的数据源上，...

AIGC 2024-05-07 AIGC

244阅读

「代理人战争」！微软、OpenAI 、谷歌、Meta用AI Agent疯狂搞钱

【新智元导读】为了搞钱，微软、OpenAI 、谷歌和Meta纷纷瞄准Agent这片蓝海，各顶尖高校也紧随其后。Agent才是商业学术两开花的未来! 大模型发展至今早已火成了一个「概念」。不管是学术界还是工业界，都要套上一层LLM的皮，方可彰显自己位于浪潮...

大数据 2024-05-06 AIGC

239阅读

AI学会隐藏思维暗中推理！不依赖人类经验解决复杂任务，更黑箱了

AI做数学题，真正的思考居然是暗中“心算”的? 纽约大学团队新研究发现，即使不让AI写步骤，全用无意义的“……”代替，在一些复杂任务上的表现也能大幅提升! 一作Jacab Pfau表示:只要花费算力生成额外token就能带来优势，具体选择了什么token无...

生成式AI 2024-05-06 AIGC

239阅读

终于有人调查了小模型过拟合：三分之二都有数据污染，微软Phi-3、Mixtral 8x22B被点名

当前最火的大模型，竟然三分之二都存在过拟合问题？刚刚出炉的一项研究，让领域内的许多研究者有点意外。提高大型语言模型的推理能力是当前研究的最重要方向之一，而在这类任务中，近期发布的很多小模型看起来表现不错，比如微软 Phi-3、Mistral 8x2...

人工智能 2024-05-06 AIGC

238阅读

震撼！GPT-4 Turbo级国产大模型登场，周冠宇F1赛事数据秒分析惊呆国际大佬

中国的大模型，已经震惊了外国科技圈。这不，这几天商量大模型的更新，直接让外国网友惊呼:太疯狂了，中国的AI界究竟还有多少我们不知道的巨变? 不怪这些网友太大惊小怪——最近全新升级的日日新·商量大模型5.0（SenseChat V5），在基础能力上再次重...

生成式AI 2024-04-27 AIGC

279阅读

微软3.8B模型媲美GPT-3.5！小到用iPhone就能跑起来，网友：Good data is all you need!

撰文、整理 | 伊风出品 | 51CTO技术栈（微信号：blog51cto）这周，“小模型”之战打得可谓精彩非凡，让人目不暇接。前脚，小扎刚在采访中自豪地宣布Llama3 80亿模型几乎与此前Llama2 700亿模型的性能差不多...

AIGC 2024-04-24 AIGC

267阅读

微软推出iPhone能跑的ChatGPT级模型，网友：OpenAI得把GPT-3.5淘汰了

Llama 3发布刚几天，微软就出手截胡了？刚刚发布的Phi-3系列小模型技术报告，引起AI圈热议。其中仅3.8B参数的Phi-3-mini在多项基准测试中超过了Llama 3 8B。为了方便开源社区使用，还特意设计成了与Llama系列兼容的结...

AIGC 2024-04-23 AIGC

265阅读

发布几小时，微软秒删媲美GPT-4开源大模型！竟因忘记投毒测试

上周，微软空降了一个堪称GPT-4级别的开源模型WizardLM-2。却没想到发布几小时之后，立马被删除了。有网友突然发现，WizardLM的模型权重、公告帖子全部被删除，并且不再微软集合中，除了提到站点之外，却找不到任何证据证明这个微软的官方项目。...

人工智能 2024-04-23 AIGC

262阅读

EMNLP 2023｜利用LLM合成数据训练模型有哪些坑？

大家好，我是HxShine 今天我们将介绍EMNLP2023的一篇大模型（LLMs）生成文本分类任务合成数据的文章，标题是《Synthetic Data Generation with Large Language Models for Text Cla...

AIGC 2024-04-21 AIGC

328阅读

AI无人商店竟是靠人工识别商品！七成交易需要人为

快科技4月10日消息，据媒体报道，亚马逊的AI无人商店项目竟然是靠人工来识别商品，并且每1000笔交易就有700笔需要人工审核。据了解，亚马逊有一个Just Walk Out”的项目，顾客可以在无人商店里选好商品之后，直接走出去而无需排队等待结账。因为...

生成式AI 2024-04-10 AIGC

257阅读

Llama架构比不上GPT2？神奇token提升10倍记忆？

一个 7B 规模的语言模型 LLM 能存储多少人类知识？如何量化这一数值？训练时间、模型架构的不同将如何影响这一数值？浮点数压缩 quantization、混合专家模型 MoE、以及数据质量的差异 (百科知识 vs 网络垃圾又将对 LLM 的知识容量...

大数据 2024-04-10 AIGC

237阅读

训出GPT-5短缺20万亿token！OpenAI被曝计划建「数据市场」

全网真的无数据可用了！外媒报道称，OpenAl、Anthropic等公司正在努力寻找足够的信息，来训练下一代人工智能模型。前几天，OpenAI和微软被曝出正在联手打造超算「星际之门」，解决算力难题。然而，数据也是训练下一代强大模型，最重要的一味丹...

AIGC 2024-04-09 AIGC

265阅读

OpenAI计划建立「数据市场」，训出GPT-5短缺20万亿 token

全网高质量数据集告急!据报道，AI 公司如 OpenAI、Anthropic 等正在努力寻找足够的信息来训练下一代人工智能模型。数据短缺问题日益突出，对训练下一代强大模型至关重要。面对这一挑战，AI 初创、互联网大厂开始寻找新的方法来解决算力和数据的瓶颈问...

AIGC 2024-04-08 AIGC

259阅读

守护生成式人工智能之门，规避人工智能进化中的安全挑战

想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 生成式人工智能(GenAI 代表了人工智能的一个重大飞跃，能够创建文本、音频、图像、代码等新颖而逼真的数据。虽然这项创新具有巨大的...

人工智能 2024-04-08 AIGC

316阅读

CVPR 2024满分论文，英伟达开源BOP排行榜6D物体姿态第一名方法

想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 物体姿态估计对于各种应用至关重要，例如机器人操纵和混合现实。实例级方法通常需要纹理 CAD 模型来生成训练数据，并且不能应用于测试时未...

大数据 2024-04-08 AIGC

288阅读

AI大模型对神秘学易经有什么用？

Mistral Trismegistus-7B 是一款由AI驱动的神秘学专用模型，专为那些对神秘学、玄学和灵性感兴趣的人设计，可提供从古代智慧到现代塔罗牌占卜等各种神秘主题的见解。 Mistral Trismegistus-7B 名字来源于Hermes...

人工智能 2024-04-08 AIGC

336阅读

你的自拍和聊天记录，正被硅谷大厂砸数十亿美元疯抢！

想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 谁能想到，我们多年前的聊天记录、社交媒体上的陈年照片，忽然变得价值连城，被大科技公司争相疯抢。现在，硅谷大厂们已经纷纷出动，买下所有能...

大数据 2024-04-07 AIGC

276阅读

谷歌DeepMind发布Gecko：专攻检索，与大7倍模型相抗衡

想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 文本嵌入模型在自然语言处理中扮演着重要角色，为各种文本相关任务提供了强大的语义表示和计算能力。在语义表示上，文本嵌入模型将文本转换为高...

生成式AI 2024-04-07 AIGC

242阅读

OpenAI 转录了超过一百万小时的 YouTube 视频来训练 GPT-4

近日，《华尔街日报》报道称，人工智能公司在收集高质量训练数据方面遇到了困难。随后，《纽约时报》详细介绍了一些公司处理这一问题的方法，其中涉及到了人工智能版权法的模糊灰色区域。故事从OpenAI开始。该公司迫切需要训练数据，据报道开发了Whisper音频转...

AIGC 2024-04-07 AIGC

249阅读

报告称 OpenAI 采集了超一百万小时的 YouTube 视频来训练 GPT-4

IT之家 4 月 7 日消息，本周早些时候，《华尔街日报》报道称 AI 公司在收集高质量训练数据方面遇到了困难。今天，《纽约时报》详细介绍了 AI 公司处理此问题的一些方法，其中涉及到属于 AI 版权法模糊灰色区域的内容。报道称，OpenAI 迫切需...

大数据 2024-04-07 AIGC

246阅读

AI无人商店背后，是上千个印度人通过摄像头看美国人买西蓝花？

想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 人们常说，有多少智能，就有多少人工。但是，亚马逊的这个项目，人工含量似乎有点高。这个项目名叫「Just Walk Out」。就像它的...

AIGC 2024-04-07 AIGC

270阅读

80M参数打平GPT-4！苹果发超强上下文理解模型ReALM，聪明版Siri马上就来

【新智元导读】苹果公司发布了一款参数量仅为80M的最新模型——ReALM，能够将各种形式的上下文转换为文本进行理解，包括解析屏幕、多轮对话以及上下文引用，提升了Siri等智能助手的反应速度和智能程度。会读心的Siri想不想要? 今天，苹果发布了自家的最新...

生成式AI 2024-04-03 AIGC

277阅读

80M参数打平GPT-4！苹果发超强上下文理解模型，聪明版Siri马上就来

想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 会读心的Siri想不想要？今天，苹果发布了自家的最新模型ReALM，仅需80M参数，就能在上下文理解能力上打平甚至超越GPT-4！...

AIGC 2024-04-03 AIGC

283阅读

开源！超越ZoeDepth！ DepthFM：快速且精确的单目深度估计！

本文经自动驾驶之心公众号授权转载，转载请联系出处。 0. 这篇文章干了啥？提出了DepthFM：一个多功能且快速的最先进的生成式单目深度估计模型。除了传统的深度估计任务外，DepthFM还展示了在深度修复等下游任务中的最先进能力。DepthFM效率高...

AIGC 2024-04-03 AIGC

293阅读

让Siri不再智障！苹果定义新的端侧模型，“大大优于GPT-4，摆脱文本，可视化模拟屏幕信息，最小参数模型相较基线系统仍提升5%

撰稿丨诺亚出品 | 51CTO技术栈（微信号：blog51cto）总被用户吐槽“有点智障”的Siri有救了！ Siri自诞生以来就是智能语音助手领域的代表之一，但很长一段时间里，其表现并不尽如人意。然而，苹果的人工智能团队最新...

人工智能 2024-04-02 AIGC

342阅读

突破障碍：生成式人工智能如何重塑数据分析领域

在当今市场状况下，企业必须不断寻求新方法来利用技术突破以保持领先地位。生成式人工智能是一个近年来迅速扩展的突出领域。 Gartner预测，到2026年，超过80%的组织将使用生成式人工智能API、模型或应用程序，而2023年这一比例不到5%。生成式人工智...

人工智能 2024-04-02 AIGC

254阅读

OpenAI把微软电网搞崩！GPT-6被曝25年发布，训练刷爆10万张H100

GPT-6也被电力卡脖子了——部署十万个H100时，整个电网发生了崩溃！就在刚刚，微软工程师爆料，10万个H100基建正在紧锣密鼓地建设中，目的就是训练GPT-6。微软工程师吐槽说，团队在部署跨区域GPU间的infiniband级别链接时遇到了困难。...

大数据 2024-03-27 AIGC

260阅读

AIGC狂飙对于普通人意味着什么？

AIGC 人工智能生成内容，相对更早的内容生产模式分别为专家生产内容 PGC 和用户生产内容 UGC。而随着 AIGC 出现，内容生产率变成指数级上升。那么AIGC发展对于普通人来说到底意味着什么? 先回顾一下时间轴， 2015年7月，谷歌推出 De...

AIGC 2024-03-21 AIGC

349阅读

苹果大模型MM1入场：参数达到300亿超半数作者是华人

苹果公司最新发布了一款名为MM1的大型多模态基础模型，拥有300亿参数，采用了MoE架构，并且超过一半的作者是华人。该模型在多模态领域具有重要意义，可能预示着苹果未来推出与此相关的产品。今年以来，苹果明显加大了对生成式人工智能（GenAI）领域的投入，这...

生成式AI 2024-03-15 AIGC

276阅读

LLaMA-2-7B数学能力上限已达97.7%？Xwin-Math利用合成数据解锁潜力

合成数据持续解锁大模型的数学推理潜力！数学问题解决能力一直被视为衡量语言模型智能水平的重要指标。通常只有规模极大的模型或经过大量数学相关预训练的模型才能有机会在数学问题上表现出色。近日，一项由 Swin-Transformer 团队打造，来自西安交通...

AIGC 2024-03-14 AIGC

237阅读

谷歌工程师硬核长篇预测，证实黄仁勋观点：AGI或在2029年出现，AI五年内通过人类测试

最近，英伟达CEO黄仁勋表示，AI会在五年内通过人类测试，AGI将很快到来！在斯坦福大学举行的一个经济论坛上，黄仁勋回答了这个问题：人类何时能创造像人类一样思考的计算机？这也是硅谷的长期目标之一。老黄是这样回答的：答案很大程度上取决于我们如何定义...

AIGC 2024-03-11 AIGC

244阅读

「AI透视眼」，三次马尔奖获得者Andrew带队解决任意物体遮挡补全难题

遮挡是计算机视觉很基础但依旧未解决的问题之一，因为遮挡意味着视觉信息的缺失，而机器视觉系统却依靠着视觉信息进行感知和理解，并且在现实世界中，物体之间的相互遮挡无处不在。牛津大学 VGG 实验室 Andrew Zisserman 团队最新工作系统性解决了任...

AIGC 2024-03-08 AIGC

314阅读

Midjourney封禁Stability AI 禁止后者员工使用软件

Midjourney封禁Stability AI引发了一场关于数据安全和道德责任的争议。事件起因于Stability AI的数据收集工程师对Midjourney服务器发起了恶意攻击，导致其服务中断24小时。尽管Stability AI CEO Emad声称...

大数据 2024-03-07 AIGC

257阅读

Midjourney封禁Stability AI：恶意爬取数据，致服务器瘫痪24小时

Midjourney 把 Stability AI 拉入黑名单了，禁止后者所有员工使用其软件，直至另行通知。这两家 AI 图像生成公司之间发生什么事了。虽然 AI 生图领域，看似百花齐放，但论资排辈，Midjourney、Stability AI 还是...

大数据 2024-03-07 AIGC

251阅读

Sora训练数据疑暴露，网友：绝对用了UE5

好消息，好消息，真·Sora视频上新了！走过路过不要错过！（不用苦苦等候，或撑大眼睛费劲吧啦鉴别真假Sora产品了）。就在过去短短几个小时里，包括Bill Peebles、Tim Brooks两位负责人在内的工作人员唰唰唰N连发。（好了好了，知...

大数据 2024-02-26 AIGC

305阅读

Sora神图惊掉下巴，好莱坞导演急撤掉8亿美元摄影棚！ Sora「内测」提前开放，影视失业潮将至

就在昨天，Sora又有全新「神作」炸出了！两位Sora作者，Bill Peebles、Tim Brooks纷纷甩出全新图片。（顺便还秀了一把基友情？）「一只小熊猫和一只巨嘴鸟是最好的朋友，在蓝色时刻漫步在圣托里尼岛」，Peebles称这个场景简直就和...

AIGC 2024-02-26 AIGC

286阅读

EgoGen官网体验入口微软AI合成数据生成自我感知工具使用指南

EgoGen是一个用于生成以自我为中心的合成数据的系统，它能够模拟头戴设备（HMDs）的相机装置，并从相机佩戴者的视角渲染多种传感器数据。该系统提供了丰富的多模态数据和准确的注释，适用于自我感知任务。点击前往EgoGen官网体验入口谁可以从EgoGe...

人工智能 2024-02-23 AIGC

313阅读

两亿参数时序模型替代LLM？谷歌突破性研究被批「犯新手错误」

最近，谷歌的一篇论文在 X 等社交媒体平台上引发了一些争议。这篇论文的标题是「A decoder-only foundation model for time-series forecasting（用于时间序列预测的仅解码器基础模型）」。简而言之，...

人工智能 2024-02-05 AIGC

319阅读

苹果研究团队揭示WRAP技术：用合成数据进行预训练大模型成本低准确性高

近几个月来，大型语言模型（LLMs）在人工智能社区中引起了极大的关注和流行。这些模型在文本摘要、问答、代码完成、内容生成等任务中展示出了强大的能力。然而，LLMs通常在不充分的网络抓取数据上进行训练。这些数据通常杂乱、无结构，表达不清晰。按照现有的扩展原...

大数据 2024-02-05 AIGC

271阅读

首个环视世界模型DrivingDiffusion: BEV数据和仿真新思路！

本文经自动驾驶之心公众号授权转载，转载请联系出处。笔者的一些个人思考在自动驾驶领域，随着BEV-based子任务/端到端方案的发展，高质量的多视图训练数据和相应的仿真场景构建愈发重要。针对当下任务的痛点，“高质量”可以解耦成三个方面：不同维度...

人工智能 2024-02-05 AIGC

438阅读