-
Mamba超强进化体一举颠覆Transformer！单张A100跑140K上下文
之前引爆了AI圈的Mamba架构，今天又推出了一版超强变体！ 人工智能独角兽AI21 Labs刚刚开源了Jamba，世界上第一个生产级的Mamba大模型！ Jamba在多项基准测试中表现亮眼，与目前最强的几个开源Transformer平起平坐。 特别是...
-
Grok-1.5官网体验入口 马斯克xAI最新超长文本模型使用地址
当地时间 3 月 28 日，人工智能初创公司xAI宣布即将推出Grok-1.5模型，该模型具有长语境理解和高级推理能力。不久后，Grok-1.5将向X平台的用户和早期测试者开放。 Grok-1.5是一种先进的大型语言模型，具有出色的长文本理解和推理能力。它...
-
今日Arxiv最热NLP大模型论文：Llama-2上下文扩大48倍的方法来了，港大发布，无需训练
引言：大语言模型的长上下文理解能力 在当今的人工智能领域，大语言模型（Large Language Models，简称LLMs）的长上下文理解能力成为了一个重要的研究方向。这种能力对于模型来说至关重要，因为它使得LLMs能够有效地应对各种应用场景，例如在...
-
RAG 修炼手册｜RAG 敲响丧钟？大模型长上下文是否意味着向量检索不再重要
Gemini 发布后，由于其在处理长上下文方面表现出色，行业不乏“RAG 已死”的声音。RAG 到底有没有被杀死？向量数据库的还是 AI 应用开发者的最佳拍档吗？本文将一起探讨。 01.Gemini 发布后 AIGC 的迭代速度正以指数级的速度增长。G...
-
Kimi连续宕机打醒巨头，阿里百度360连夜出手长文本，大模型商业化厮杀开始了
一夜之间，国产大模型打起了长文本大战。 从昨晚到今天凌晨，各大厂排队官宣跟进长文本能力: 百度文心一言 下个月版本升级，开放200万-500万长度 360智脑 正在内测500万字，一完成就要入驻360AI浏览器 阿里通义千问 则一出手就是100...
-
又一国产大模型火了！Kimi每天获客成本超20万元
快科技3月25日消息，近日，月之暗面推出的国产大模型Kimi爆火出圈，由于使用量激增，这家公司的网络一度陷入瘫痪。 今日，据媒体报道，有投资人透露，目前Kimi用户获客成本达到12元-13元，根据下载量预估，Kimi近一个月来日均下载量为17805。 按此...
-
迎接国内AIGC时代！Kimi连续5次扩容：10分钟接近任何领域专家水平
快科技3月22日消息，月之暗面的Kimi火了，昨天下午，大模型应用Kimi的APP和小程序均显示无法正常使用。 随后其母公司月之暗面发布说明，称自20日以来Kimi流量增加的趋势远超预期规划，公司已经进行了5次扩容工作，推理资源会持续配合流量进行扩容，以承...
-
符尧大佬一作发文，仅改训练数据，就让LLaMa-2上下文长度扩展20倍！
引言：探索语言模型的长上下文能力 近日，谷歌推出了Gemini Pro 1.5，将上下文窗口长度扩展到100万个tokens，目前领先世界。而其他语言模型也正在不断探索长上下文能力，也就是模型处理和理解超出其训练时所见上下文长度的能力。例如，一个模型可能...
-
国产大模型kimi chat突然火了 Kimi概念股都有哪些？
3 月 21 日，三大指数集体高开高走。受Kimi的催化，影视院线板块在内的Kimi概念股盘中走高，影视院线板块延续昨日涨势，开盘后迅速拉升走强。 影视ETF（159855）领涨，截至发稿，该ETF涨3.45%，成交额突破 810 万元，换手率13.98%...
-
百万token上下文窗口也杀不死向量数据库？CPU笑了
“Claude 3、Gemini 1.5，是要把RAG（检索增强生成）给搞死了吗？” 随着新晋大语言模型们的上下文窗口（Context Window）变得越发得长，业界人士针对“RAG终将消亡”观点的讨论也是愈演愈烈。 之所以如此，是因为它们二者都是为...
-
如何扩展大模型的上下文长度
一、背景 大模型的上下文长度是指我们在使用大模型的时候，给大模型的输入加上输出的字符（Token）总数，这个数字会被限制，如果超过这个长度的字符会被大模型丢弃。目前开源的大模型上下文长度一般不长，比如 Llama 2 只有 4K，Code-Llama 系...
-
大模型“路由器”OpenRouter 为LLM何其他AI模型提供统一接口
OpenRouter是一个创新性的项目，它为大语言模型（LLM）和其他AI模型提供了一个统一的接口。通过这个接口，用户可以直接访问和使用几十种AI模型，包括GPT、LLama、Claude、Command-R等80多个模型，未来还将扩展到数百种。 Open...
-
零一万物大模型开放平台体验入口 01-ai API接口使用地址
零一万物大模型开放平台是一个通过API调用获取高品质Yi系列大模型的平台。Yi系列模型基于零一万物的前沿科研成果和高品质数据训练而成，曾在多个权威榜单中获得SOTA表现。 主要产品包括yi-34b-chat-0205、yi-34b-chat-200k和y...
-
【AIGC】重磅消息,GPT-4.5 Turbo将在6月发布？
2024 年 AI 辅助研发趋势 文章目录 强烈推荐 GPT-4.5 Turbo 竞争对手 Anthropic的Claude 3 谷歌的Gemini 1.5 Pro 总结 强烈推荐 专栏集锦 写在最后 强烈推荐 前些天...
-
零一万物发布API开放平台
3月14日，零一万物正式发布 Yi 大模型 API 开放平台，为开发者提供通用 Chat、200k 超长上下文、多模态交互等模型。 同时，零一万物表示，近期零一万物将为开发者提供更多更强模型和 AI 开发框架。主要亮点包括： 推出一系列的模型 API，...
-
论文笔记：Code Llama: Open Foundation Models for Code
导语 Code Llama是开源模型Llama 2在代码领域的一个专有模型，作者通过在代码数据集上进行进一步训练得到了了适用于该领域的专有模型，并在测试基准中超过了同等参数规模的其他公开模型。 链接：https://arxiv.org/abs/23...
-
GPT-4.5 Turbo提前泄露？Altman亲自暗示新模型要来，传言本周四上线
OpenAI的GPT-4.5 Turbo提前泄露了？ 就在今天，网友纷纷发现，一款号称是GPT-4.5 Turbo的模型，竟然同时出现在了Bing、谷歌、DuckDuck Go的搜索结果里！ 介绍信息显示：GPT-4.5 Turbo是OpenAI到目前为...
-
清华NLP组发布InfLLM：无需额外训练，「1024K超长上下文」100%召回！
大模型只能够记忆与理解有限的上下文已经成为大模型在真实应用中的能力瓶颈，例如对话式AI系统往往无法记忆你前一天对话的内容，利用大模型构建智能体会产生前后不一致的行为与记忆。 为了让大模型能够记忆并处理更长的上下文，来自清华大学、麻省理工学院和人民大学的研...
-
GPT-4时代已过？全球网友实测Claude 3，只有震撼
大模型的纯文本方向，已经卷到头了？ 昨晚，OpenAI 最大的竞争对手 Anthropic 发布了新一代 AI 大模型系列 ——Claude 3。 该系列包含三个模型，按能力由弱到强排列分别是 Claude 3 Haiku、Claude 3 Sonnet...
-
全面超越GPT-4，Claude 3终于来了，有大学生智商，支持百万token
大模型的纯文本方向，已经卷到头了? 刚刚，OpenAI 最大的竞争对手 Anthropic 发布了新一代 AI 大模型系列 ——Claude3。 该系列包含三个模型，按能力由弱到强排列分别是 Claude3Haiku、Claude3Sonnet 和 Cla...
-
RNN效率媲美Transformer，谷歌新架构两连发：同等规模强于Mamba
这一次，谷歌 DeepMind 在基础模型方面又有了新动作。 我们知道，循环神经网络（RNN）在深度学习和自然语言处理研究的早期发挥了核心作用，并在许多应用中取得了实功，包括谷歌第一个端到端机器翻译系统。不过近年来，深度学习和 NLP 都以 Transf...
-
DeepMind携Mamba华人作者推Transformer革命之作！性能暴涨媲美Llama 2，推理能效大幅碾压
Transformer又又又被挑战了！ 这次的挑战者来自大名鼎鼎的谷歌DeepMind，并且一口气推出了两种新架构，——Hawk和Griffin。 论文地址：https://arxiv.org/abs/2402.19427 这种将门控线性RNN与局部注...
-
DeepMind CEO：LLM+树搜索就是AGI技术线路，AI科研依赖工程能力，闭源模型就是比开源安全
谷歌在2月之后突然切换到了996模式，不到一个月的时间抛出了5个模型。 而DeepMind CEO Hassabis本人也是四处为自家的产品站台，曝出了很多幕后的开发内幕。 在他看来，虽然还需要技术突破，但是现在人类通往AGI之路已经出现。 而DeepM...
-
陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需1/6内存
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法： 它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。 最重要的是，在这个过程中，只需要原来1/6的内存，模型就获得了10倍吞吐量。 除此之外，它还能大大降低训练成本：...
-
谷歌开源大模型Gemma带来了什么，原来“中国制造”的机会早已到来
谷歌罕见open的AI，给开源大模型到底带来了什么？ Gemma从发布到现在已经时过四日，谷歌久违的这次开源，可谓是给全球科技圈投下了一枚重磅炸弹。 在最初发布之际，不论是从谷歌官方还是Jeff Dean的发文来看，都强调的是Gemma 7B已经全面超越...
-
谷歌10M上下文窗口正在杀死RAG？被Sora夺走风头的Gemini被低估了？
要说最近最郁闷的公司，谷歌肯定算得上一个：自家的 Gemini 1.5 刚刚发布，就被 OpenAI 的 Sora 抢尽了风头，堪称 AI 界的「汪峰」。 具体来说，谷歌这次推出的是用于早期测试的 Gemini 1.5 的第一个版本 ——Gemini 1...
-
零一万物发布 Yi 大模型 API 并启动公测：支持上下文 200K
零一万物发布了 Yi 大模型 API，并启动了公测。这次邀测提供了两种模型:Yi-34B-Chat（0205）和 Yi-34B-Chat-200K。 其中，Yi-34B-Chat-200K 支持处理超长上下文，达到了200K 的上下文支持，可以处理约20～...
-
这款对标ChatGPT的国产MoE大模型重磅更新！集AI对话、AI绘画、AI阅读、AI写作于一体！
大家好，我是木易，一个持续关注AI领域的互联网技术产品经理，国内Top2本科，美国Top10 CS研究生，MBA。我坚信AI是普通人变强的“外挂”，所以创建了“AI信息Gap”这个公众号，专注于分享AI全维度知识，包括但不限于AI科普，AI工具测评，AI效...
-
Gemini一眼识破Sora视频是AI生成？百万token上下文能力碾压GPT-4
当谷歌Gemini 1.5，遇上抢了它头条的「罪魁祸首」Sora会怎么样？ 这两天，拿到内测资格的AI圈大佬们，纷纷给广大网友来了一波在线测试。 这不，Gabor Cselle就让Gemini 1.5去分析了那个著名的樱花雪景视频。 对此，Gemini...
-
一图揽尽全球LLM崛起之路；LLM概念速查清单；DALL·E提示词红宝书·在线版；fast.ai新课带你从零实现Stable Diffusion | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? LLM 崛起之路：全球大语言模型「规模增长」可视化交互图 https://informationisbeautiful.net/visual...
-
国内首个！最火的MoE大模型APP来了，免费下载，人人可玩
MoE（混合专家）模型最近有多火，不用过多介绍了吧？ 作为当下最顶尖、最前沿的大模型技术方向，MoE能在不增加推理成本的前提下，为大模型带来性能激增。比如，在MoE的加持之下，GPT-4带来的用户体验较之GPT-3.5有着革命性的飞升。 但普通用户想要体...
-
Qwen1.5官网体验入口 阿里多语言开源AI聊天模型在线使用地址
Qwen1.5是Qwen系列的下一个版本，提供了基础和聊天模型的开源版本，覆盖了0.5B到72B的多个规模。它是一个多语言的AI工具，可以实现语言理解、聊天、翻译和对话等任务。Qwen1. 5 展现出强大的多语言理解能力，成功将中文文本翻译成英文。用户与Q...
-
通义千问再开源，Qwen1.5带来六种体量模型，性能超越GPT3.5
赶在春节前，通义千问大模型（Qwen）的 1.5 版上线了。今天上午，新版本的消息引发了 AI 社区关注。 新版大模型包括六个型号尺寸：0.5B、1.8B、4B、7B、14B 和 72B，其中最强版本的性能超越了 GPT 3.5、Mistral-Medi...
-
「天工2.0」MoE大模型发布
2月6日，昆仑万维正式发布新版MoE大语言模型「天工2.0」与新版「天工AI智能助手」APP，这是国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用。用户即日起可在各手机应用市场下载「天工AI智能助手」APP，体验昆仑万维「天...
-
昆仑万维发布「天工2.0」MoE大模型 新增多款 AI Agent
昆仑万维发布了新版 MoE 大语言模型「天工2.0」和新版「天工 AI 智能助手」APP。这是国内首个搭载 MoE 架构并免费向 C 端用户开放的大语言模型应用。用户可以在各手机应用市场下载「天工 AI 智能助手」APP，体验「天工2.0」的卓越性能。 「...
-
击败OpenAI，权重、数据、代码全开源，能完美复现的嵌入模型Nomic Embed来了
一周前，OpenAI 给广大用户发放福利，在下场修复 GPT-4 变懒的问题后，还顺道上新了 5 个新模型，其中就包括更小且高效的 text-embedding-3-small 嵌入模型。 我们知道，嵌入是表示自然语言或代码等内容中概念的数字序列。嵌入使...
-
谷歌再雪前耻，新Bard逆袭GPT-4冲上LLM排行榜第二！Jeff Dean高呼我们回来了
一夜之间，Bard逆袭GPT-4，性能直逼最强GPT-4 Turbo！ 这个听起来似乎像梦里的事情，确确实实地发生了。 就在昨天，谷歌首席Jeff Dean发推提前透露了谷歌的最新版模型——Gemini Pro-scale。 基于此，Bard相较于3月份...
-
群聊冷场怎么破？茴香豆用AI帮你解决问题
群聊冷场怎么破?这项有趣而实用的AI技术可以帮你解决问题，化解尴尬。茴香豆（HuixiangDou）是一个基于大语言模型的群聊知识助手，能够自动识别并回答群聊中的技术相关问题，同时避免被非技术内容干扰。其可集成到即时聊天工具中，如微信和飞书，主要服务于技术...
-
清华、小米、华为、 vivo、理想等多机构联合综述，首提个人LLM智能体、划分5级智能水平
嘿 Siri、你好小娜、小爱同学、小艺小艺、OK Google、小布小布…… 想必这些唤醒词中至少有一个曾被你的嘴发出并成功呼唤出了一个能给你导航、讲笑话、添加日程、设置闹钟、拨打电话的智能个人助理（IPA）。可以说 IPA 已经成了现代智能手机不可或缺...
-
国产开源模型标杆大升级，重点能力比肩ChatGPT！书生·浦语2.0发布，支持免费商用
1月17日，新一代大语言模型书⽣·浦语2.0（InternLM2）正式发布并开源。 2种参数规格、3种模型版本，共计6个模型，全部免费可商用。 它支持200K超长上下文，可轻松读200页财报。200K文本全文范围关键信息召回准确率达95.62%。 不...
-
七个值得关注的优秀大语言模型（LLM）
在LLM领域我们了解最多的很可能是OpenAI的ChatGPT，以及最近在多模态表现非常出色的Google Gemini，这些都是AI大模型的领头羊，代表着AI大模型发展的先进成果。然而，在大模型的实际应用中必须要综合考虑成本、信息安全等内容，因此，开源...
-
AI视野：Stability AI发布代码模型Stable Code3B；书生·浦语2.0正式开源；阿里推新项目MotionShop；Win11新增AI生成图像功能
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ????大模型动态 Stabili...
-
200亿「书生·浦语2.0」正式开源！数推性能比肩ChatGPT，200K超长上下文完美召回
就在今天，上海人工智能实验室与商汤科技联合香港中文大学和复旦大学，正式发布新一代大语言模型书⽣·浦语2.0（InternLM2）。 Github：https://github.com/InternLM/InternLM HuggingFace：https...
-
Transformer的无限之路：位置编码视角下的长度外推综述
在自然语言处理（Natural Language Processing，NLP）领域，Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。然而，Transformer 及在其基础之上的大语言模型（Large Language Model...
-
如何高效部署大模型？CMU最新万字综述纵览LLM推理MLSys优化技术
在人工智能（AI）的快速发展背景下，大语言模型（LLMs）凭借其在语言相关任务上的杰出表现，已成为 AI 领域的重要推动力。然而，随着这些模型在各种应用中的普及，它们的复杂性和规模也为其部署和服务带来了前所未有的挑战。LLM 部署和服务面临着密集的计算强...
-
Hyena成下一代Transformer？StripedHyena-7B开源：最高128k输入，训练速度提升50%
最近几年发布的AI模型，如语言、视觉、音频、生物等各种领域的大模型都离不开Transformer架构，但其核心模块「注意力机制」的计算复杂度与「输入序列长度」呈二次方增长趋势，这一特性严重限制了Transformer在长序列下的应用，例如无法一次性处理一...
-
谁能撼动Transformer统治地位？Mamba作者谈LLM未来架构
在大模型领域，一直稳站 C 位的 Transformer 最近似乎有被超越的趋势。 这个挑战者就是一项名为「Mamba」的研究，其在语言、音频和基因组学等多种模态中都达到了 SOTA 性能。在语言建模方面，无论是预训练还是下游评估，Mamba-3B 模...
-
研究发现，GPT 和其他 AI 模型无法分析 SEC 备案文件
一家名为 Patronus AI 的初创公司的研究人员发现，大型语言模型在分析美国证券交易委员会（SEC）备案文件时经常无法正确回答问题。即使是表现最佳的人工智能模型配置 OpenAI 的 GPT-4-Turbo，当给予几乎整个备案文件的阅读能力和相关问题...
-
【LLM】大语言模型学习之LLAMA 2：Open Foundation and Fine-Tuned Chat Model
大语言模型学习之LLAMA 2：Open Foundation and Fine-Tuned Chat Model 快速了解 预训练 预训练模型评估 微调 有监督微调（SFT） 人...
-
一句话解锁100k+上下文大模型真实力，27分涨到98，GPT-4、Claude2.1适用
各家大模型纷纷卷起上下文窗口，Llama-1时标配还是2k，现在不超过100k的已经不好意思出门了。 然鹅一项极限测试却发现，大部分人用法都不对，没发挥出AI应有的实力。 AI真的能从几十万字中准确找到关键事实吗？颜色越红代表AI犯的错越多。 默认情...