-
全球首个「开源GPT-4」出世！Llama 3震撼发布，Meta AI免登录可用
LLM界的「真·Open AI」，又来整顿AI圈了! 业内惊呼:首个开源GPT-4级的模型，终于来了!开源模型追上闭源模型的历史性一刻，或许就在眼前了? 一石激起千层浪，Llama3才刚刚发布没几小时，就破纪录地登顶了Hugging Face排行榜。 这...
-
Meta 发布Llama 3，能力直逼GPT-4,一己之力拉高开源大模型水位
编辑|伊风、诺亚 出品 | 51CTO技术栈（微信号：blog51cto） Meta麾下“羊驼”一路狂奔在开源的大道上。 在过去的一年里，Llama系列可以说开辟了开源LLM的半壁江山。 嫌弃开源模型能力只有GPT-3.5,不够用? 如今Llam...
-
5亿个token之后，我们得出关于GPT的七条宝贵经验
自 ChatGPT 问世以来，OpenAI 一直被认为是全球生成式大模型的领导者。2023年3月，OpenAI 官方宣布，开发者可以通过 API 将 ChatGPT 和 Whisper 模型集成到他们的应用程序和产品中。在 GPT-4发布的同时 OpenA...
-
开源大模型Llama 3王者归来！最大底牌4000亿参数，性能直逼GPT-4
扎克伯格:「有了 Llama3，全世界就能拥有最智能的 AI。」 ChatGPT 拉开了大模型竞赛的序幕，Meta 似乎要后来居上了。 本周四，AI 领域迎来重大消息，Meta 正式发布了人们等待已久的开源大模型 Llama3。 扎克伯格在 Faceboo...
-
GPT-4 Turbo重回王座，ChatGPT免费升级！数学暴涨10%/上下文全面碾压
今天起，最新版的GPT-4 Turbo，正式向ChatGPT Plus用户开放了！ 图片 有了GPT-4 Turbo加持后，ChatGPT写作、数学、逻辑推理和编码的能力得到提升。 小编小试，果然ChatGPT最新数据已经更新到了4月。 图片 根据基准测...
-
给AI当“奶妈”，是天涯们的生路吗？
老牌中文社区天涯已经住进“ICU”整整一年，破产看来已经注定，但最近一家美国同行搭上AI 快车的消息，又给天涯带来了一丝希望。 去年4月，因拖缴数据机房费用，天涯社区遭“断网”。 症结在缺钱。天涯社区称，危机来自于近几年资金流动性困难加剧，电信IDC欠费，...
-
OpenAI新GPT-4 Turbo模型上线：可供付费ChatGPT用户使用
快科技4月12日消息，据媒体报道，OpenAI的全新GPT-4 Turbo模型已全面上线，并正式向付费ChatGPT用户开放。 GPT-4 Turbo更新标志着人工智能领域的又一重要进步，为用户提供了更强大、更高效的文本处理、数学计算、逻辑推理以及编码能力...
-
一文搞懂Tokenization！
语言模型是对文本进行推理，文本通常是字符串形式，但是模型的输入只能是数字，因此需要将文本转换成数字形式。 Tokenization是NLP的基本任务，按照特定需求能把一段连续的文本序列（如句子、段落等）切分为一个字符串序列（如单词、短语、字符、标点等多个...
-
Next ’24 - 踏上云端新旅程
作者 ｜ Google Cloud CEO, Thomas Kurian 去年，全世界才开始想象生成式 AI 将为企业带来怎样的转变，如今这些转变正在逐步展开。 而 Google 一直遵循着相同的原则：打造人人都能受益的 AI 技术，尽力为更多人带来更...
-
如何使用 Midjourney？2024年最新更新
一：基础篇 1：注册 首先，你需要注册一个 Discord 账号，然后加入 Midjourney 的 Discord 服务器。或者去 Midjourney 的官网点击右下角的 Join the Beta： 2：在 Discord 公共服务器里使...
-
谷歌向微软英特尔全面宣战：首款自研Arm CPU，最强大模型公测，AI视频对垒Sora
昨晚的Google Cloud Next2024大会上，谷歌接连放出一堆模型和产品王炸:Gemini1.5Pro公开可用、上线音频处理能力;代码模型CodeGemma上新，首款自研Arm处理器Axion正式向微软和亚马逊宣战……这次，谷歌要以量取胜。 昨天...
-
英特尔突袭英伟达H100，新AI芯片训练快40%，推理快50%，CEO蹦迪庆祝
英特尔，开始正面硬刚英伟达了。 就在深夜，英特尔CEO帕特·基辛格手舞足蹈地亮出了最新AI芯片——Gaudi 3： 他为什么开心到现场直接蹦迪？ 看下Gaudi 3的性能结果，就一目了然了： 训练大模型：比英伟达H100快40% 推理大模型：比英伟...
-
全面突围，谷歌昨晚更新了一大波大模型产品
当地时间本周二，谷歌在 Google’s Cloud Next 2024 上发布了一系列 AI 相关的模型更新和产品，包括 Gemini 1.5 Pro 首次提供了本地音频（语音）理解功能、代码生成新模型 CodeGemma、首款自研 Arm 处理器 A...
-
陈巍：LLaMA-2的多模态版本架构与训练详解（收录于GPT-4/ChatGPT技术与产业分析）
陈巍：2023年9月，Meta的研究人员推出了AnyMAL（任意模态增强语言模型，Any-Modality Augmented Language Model）。该模型能够理解多种模态信号并生成文本回应，即多模态输入，单模态输出。输入的模态可包括图像、视频、...
-
万变不离AI！直击 Google Cloud Next 2024 大会更多细节，不只Gemini 1.5 Pro ！
AI显然成了谷歌Cloud Next 2024的一条主线！ 这一在拉斯维加斯举行的技术大会，自周二起持续至周四，谷歌宣布了大量新的以云为中心的产品和服务，涵盖从Gemin、平台、Workspace到网络安全工具等一切内容。 Google Cloud Ne...
-
Llama架构比不上GPT2？神奇token提升10倍记忆？
一个 7B 规模的语言模型 LLM 能存储多少人类知识？如何量化这一数值？训练时间、模型架构的不同将如何影响这一数值？浮点数压缩 quantization、混合专家模型 MoE、以及数据质量的差异 (百科知识 vs 网络垃圾 又将对 LLM 的知识容量...
-
大概是最全的开源大模型LLM盘点了吧！
LLM(Large Language Model, 大型语言模型 是指那些规模庞大、参数数量众多的深度神经网络模型，用于理解和生成自然语言文本。在自然语言处理（NLP）领域有着广泛的应用，因其强大的语言理解和生成能力，能够处理各种复杂的文本任务，包括但不...
-
JAVA项目接入百度文心一言文本对话功能
依赖 <dependency> <groupId>com.squareup.okhttp3</groupId> <artifactId>okh...
-
大模型在金融领域落地思路与实践
一、恒生电子的大模型应用实践 1. 大模型的发展趋势 （1）大模型推动第三次信息化浪潮 上图是恒生电子董事长刘曙峰先生经常引用的经典图，将金融领域的数字化推进分为三个阶段，恒生电子目前正处于 2.0 到 3.0 的过渡阶段。在迁徙的过程中，最重要的生产...
-
训出GPT-5短缺20万亿token！OpenAI被曝计划建「数据市场」
全网真的无数据可用了！ 外媒报道称，OpenAl、Anthropic等公司正在努力寻找足够的信息，来训练下一代人工智能模型。 前几天，OpenAI和微软被曝出正在联手打造超算「星际之门」，解决算力难题。 然而，数据也是训练下一代强大模型，最重要的一味丹...
-
破解36年前魔咒！Meta推出反向训练大法消除大模型「逆转诅咒」
【新智元导读】大语言模型的「逆转诅咒」，被解开了。近日，来自Meta FAIR的研究人员推出了反向训练大法，让模型从反方向上学到了事实之间的逻辑，终于改进了这个困扰人们已久的问题。 大语言模型的「逆转诅咒」，被解开了! 这个诅咒在去年9月首次被发现，一时间...
-
纯C语言手搓GPT-2，前OpenAI、特斯拉高管新项目火了
众所周知，大语言模型还在快速发展，应该有很多可以优化的地方。我用纯 C 语言来写，是不是能优化一大截？ 也许很多人开过这样的脑洞，现在有大佬实现了。 今天凌晨，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy...
-
120亿Stable LM 2上线即开源！2万亿token训练，碾压Llama 2 70B
继16亿轻量级Stable LM 2推出之后，12B参数的版本在今天亮相了。 见状，不少网友纷纷喊话：干的漂亮！但，Stable Diffusion 3啥时候出啊？ 总得来说，Stable LM 2 12B参数更多，性能更强。 120亿参数版本包含了...
-
五种常用于LLM的令牌遮蔽技术介绍以及Pytorch的实现
本文将介绍大语言模型中使用的不同令牌遮蔽技术，并比较它们的优点，以及使用Pytorch实现以了解它们的底层工作原理。 令牌掩码Token Masking是一种广泛应用于语言模型分类变体和生成模型训练的策略。BERT语言模型首先使用，并被用于许多变体(Ro...
-
解决AI接口调用问题，让电商更智能！
引言 各位亲爱的小米粉丝们，大家好！ 随着时代的进步，人工智能（AI）技术正以前所未有的速度和规模发展，它已经深刻地改变了我们的生活和工作方式。在这个激动人心的时刻，我司也积极跟随时代的步伐，不断探索创新，努力实现与AI技术的融合，以提升我们电商服务的...
-
1000行C语言搓出GPT-2！AI大神Karpathy新项目刚上线就狂揽2.5k星
【新智元导读】训大模型的方法可能要被革新了!AI大神Karpathy发布的新项目仅用1000行的C语言训完GPT-2，而不再依赖庞大的GPT-2库。他本人预告，即将上线新课。 断更近一个月，Karpathy终于上线了。 这次不是AI大课，而是带来一个新项目...
-
破除36年前魔咒！Meta推出反向训练大法消除大模型「逆转诅咒」
大语言模型的「逆转诅咒」，被解开了！ 这个诅咒在去年9月首次被发现，一时间引起LeCun、Karpathy、马库斯等一众大佬的惊呼。 因为风光无两、不可一世的大模型竟存在着“阿克琉斯之踵”：一个在「A是B」上训练的语言模型，并不能正确回答出「B是A」。...
-
大模型技术实践（二）｜关于Llama 2你需要知道的那些事儿
在上期文章中，我们简要回顾了Llama模型的概况，本期文章我们将详细探讨【关于Llama 2】，你需要知道的那些事儿。 01-Llama 2的性能有多好？ 作为Meta新发布的SOTA开源大型语言模型，Llama 2是Llama模型的延续和升级。Lla...
-
GPT-4推理能力为0？开发者悬赏1万美金被打脸，神秘提示正确率直冲100%
【新智元导读】小孩子都会的脑筋急转弯推理题，GPT-4和Claude3做不出?国外一位开发者小哥坚称这一观点，认为GPT模型在训练集外毫无推理能力，无法实现AGI，甚至悬赏1万美元，发起比赛。然而，他当天就被光速打脸了!网友用高能的prompt，让GPT-...
-
OpenAI计划建立「数据市场」，训出GPT-5短缺20万亿 token
全网高质量数据集告急!据报道，AI 公司如 OpenAI、Anthropic 等正在努力寻找足够的信息来训练下一代人工智能模型。数据短缺问题日益突出，对训练下一代强大模型至关重要。面对这一挑战，AI 初创、互联网大厂开始寻找新的方法来解决算力和数据的瓶颈问...
-
抱抱脸Open了OpenAI的秘密武器，网易参与复现
OpenAI的秘密武器、ChatGPT背后功臣RLHF，被开源了。 来自Hugging Face、加拿大蒙特利尔Mila研究所、网易伏羲AI Lab的研究人员从零开始复现了OpenAI的RLHF pipeline，罗列了25个关键实施细节。 最终成功展示...
-
[NLP]使用Alpaca-Lora基于llama模型进行微调教程
Stanford Alpaca 是在 LLaMA 整个模型上微调，即对预训练模型中的所有参数都进行微调（full fine-tuning）。但该方法对于硬件成本要求仍然偏高且训练低效。 [NLP]理解大型语言模型高效微调(PEFT 因此， Alpac...
-
玩转大模型！用Replicate一键部署
Replicate是一个云端的机器学习模型运行平台。它可以让用户使用云端API 直接运行机器学习模型，而无需了解复杂的机器学习模型内部构造。 Replicate允许用户在Python或Jupyter Notebook中运行模型，并在云端进行模型的部...
-
AI日报：北大Open Sora视频生成更强了；文心一言可以定制你自己的声音；天工 SkyMusic即将免费开放；比Suno好10倍AI音乐应用xgboost曝光
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 北大Open S...
-
什么是AI工厂？它是如何运作的？
随着生成式人工智能(GenAI 日益普及，很多组织的CIO开始优化他们的IT系统，以充分挖掘AI技术的潜力。例如，美国电信巨头AT&T部署了3000多个AI机器人实施重复性任务，达美航空公司(Delta Airlines 使用AI IT运营管理...
-
文心一言赋能问卷生成，打造高效问卷调研工具
当前，各种大语言模型（LLM，Large Language Model）井喷式发展，基于LLM的应用也不断涌现。但是，当开发者基于LLM开发下游应用时，LLM直接生成的结果在格式、内容等方面都存在许多不确定因素，难以与其他业务逻辑代码做数据交互，导致开发者...
-
多模态大模型有了统一分割框架，华科PSALM多任务登顶，模型代码全开源
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 最近，多模态大模型（LMM）取得了一系列引人注目的成就，特别是在视觉 - 语言任务上的表现令人瞩目。它们的成功不仅展现了多模态大模型在各...
-
llama.cpp部署
llama.cpp 介绍 部署 介绍 大模型的研究分为训练和推理两个部分： 训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化； 推理结果最优化的过程； 训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外...
-
攻陷短视频后，Sora将需要72万块H100 GPU
OpenAI 推出的 Sora 模型能够在各种场景下生成极其逼真的视频，吸引了全世界的目光。 近日，投资机构 factorial funds 发表了一篇博文，深入探讨了 Sora 背后的一些技术细节，并对这些视频模型可能产生影响进行了探讨。 最后，文中还...
-
10万美元训出Llama-2级大模型！全华人打造新型MoE，贾扬清SD前CEO围观
想了解更多AIGC的内容： https://www.51cto.com/aigc/ “只需”10万美元，训练Llama-2级别的大模型。 尺寸更小但性能不减的MoE模型来了： 它叫JetMoE，来自MIT、普林斯顿等研究机构。 性能妥妥超过同等规模的Ll...
-
大模型存储实践：性能、成本与多云
大模型应用领域的迅猛发展，也推动着基础技术领域持续探索和进步。文件存储服务在 AI 基础设施中成为不可或缺的重要部分。 在过去 18 个月的时间里，JuiceFS 团队与 MiniMax，阶跃星辰，智谱 AI，面壁智能，零一万物等大模型团队展开了交流与合...
-
Llama提速500%！谷歌美女程序员手搓矩阵乘法内核
谷歌的美女程序员，将Llama的推理速度提高了500%！ 近日，天才程序员Justine Tunney发推表示自己更新了Llamafile的代码， 图片 她重写了84个新的矩阵乘法内核，使得Llamafile可以更快地读取提示和图像。 与llama.cp...
-
(含代码)利用NVIDIA Triton加速Stable Diffusion XL推理速度
在 NVIDIA AI 推理平台上使用 Stable Diffusion XL 生成令人惊叹的图像 扩散模型正在改变跨行业的创意工作流程。 这些模型通过去噪扩散技术迭代地将随机噪声塑造成人工智能生成的艺术，从而基于简单的文本或图像输入生成令人惊叹的...
-
你的自拍和聊天记录，正被硅谷大厂砸数十亿美元疯抢！
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 谁能想到，我们多年前的聊天记录、社交媒体上的陈年照片，忽然变得价值连城，被大科技公司争相疯抢。 现在，硅谷大厂们已经纷纷出动，买下所有能...
-
揭秘AI幻觉：GPT-4V存在视觉编码漏洞，清华联合NUS提出LLaVA-UHD
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ GPT-4V 的推出引爆了多模态大模型的研究。GPT-4V 在包括多模态问答、推理、交互在内的多个领域都展现了出色的能力，成为如今最领先...
-
斯坦福团队大模型Octopus v2火了：手机就能运行 准确性超越GPT-4
近日，斯坦福大学研究人员发布的 Octopus v2模型引起了开发者社区的极大关注，其20亿参数的模型一夜下载量超过2k。 这一模型可以在智能手机、汽车、个人电脑等端侧设备上运行，并在准确性和延迟方面表现超越了 GPT-4，同时将上下文长度减少了95%。...
-
超越GPT-4，斯坦福团队手机可跑的大模型火了，一夜下载量超2k
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 在大模型落地应用的过程中，端侧 AI 是非常重要的一个方向。 近日，斯坦福大学研究人员推出的 Octopus v2 火了，受到了开发者社...
-
斯坦福推可以在手机端跑的大模型 Octopusv2超越GPT-4一夜爆火
斯坦福大学的研究团队近日推出了一款名为Octopusv2的新型人工智能模型，这款模型以其在端侧设备上的强大运行能力而受到广泛关注。 Octopusv2是一款拥有20亿参数的开源语言模型，专为在Android设备上运行而设计，同时也适用于汽车、个人电脑等其他...
-
[论文笔记]LLaMA: Open and Efficient Foundation Language Models
引言 今天带来经典论文 LLaMA: Open and Efficient Foundation Language Models 的笔记，论文标题翻译过来就是 LLaMA:开放和高效的基础语言模型。 LLaMA提供了不可多得的大模型开发思路，为很多国...
-
whisper-large-v3：速度快的令人翻译模型三种实用的调用方法
1、whisper-large-v3 是openai公司的模型，可使用Python代码调用； 2、whisper-large-v3基础上chenxwh 制作了开源库insanely-fast-whisper ，可本地指令运行，或 Google Colab...