上下文窗口扩展

起猛了，GPT-4o被谷歌新模型击败，ChatGPT官号：大家深吸一口气

起猛了，GPT-4o被谷歌新模型超越了! 历时一周，超1，2000人匿名投票，Gemini1.5Pro（0801）代表谷歌首次夺得lmsys竞技场第一。（中文任务也第一）而且这次还是双冠王，除了总榜（唯一分数上1300），在视觉排行榜上也是第一。 G...

AIGC 2024-08-02 AIGC

210阅读

想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 基于Transformer的大语言模型（LLM）具有很强的语言理解能力，但LLM一次能够读取的文本量仍然受到极大限制。除了上下文窗口...

生成式AI 2024-04-07 AIGC

215阅读

Grok-1官宣开源不过半月，新升级的Grok-1.5出炉了。刚刚，马斯克xAI官宣，128K上下文Grok-1.5，推理能力大幅提升。并且，很快就会上线。 11天前，Grok-1模型的权重和架构开源，展示了Xai在去年11月之前取得的进展。 Gr...

生成式AI 2024-03-29 AIGC

224阅读

陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。最重要的是，在这个过程中，只需要原来1/6的内存，模型就获得了10倍吞吐量。除此之外，它还能大大降低训练成本：...

人工智能 2024-02-29 AIGC

224阅读

最近几天，我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到，前者可以处理的上下文窗口达百万级别，而后者生成的视频能够理解运动中的物理世界，被很多人称为「世界模型」。然而，这些刷屏无数的模型真的能很好...

大数据 2024-02-20 AIGC

239阅读

一提到提高大模型长文本能力，就想到长度外推或者上下文窗口扩展? 不行，这些都太费硬件资源了。来看一个奇妙新解: 和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。具体办法就是建一个临时Lora模块，让它仅在长文本生成过程中“流...

生成式AI 2024-02-04 AIGC

233阅读

一提到提高大模型长文本能力，就想到长度外推或者上下文窗口扩展？不行，这些都太费硬件资源了。来看一个奇妙新解：和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。具体办法就是建一个临时Lora模块，让它仅在长文本生成过程中“...

大数据 2024-02-02 AIGC

250阅读

国内规模最大的开源大模型来了：参数650亿、基于2.6-3.2万亿token训练。排名仅次于“猎鹰”和“羊驼”，性能媲美GPT3.5，现在就能无条件免费商用。它就是来自深圳元象公司的XVERSE。根据算力、资源限制和具体任务需求的不同，我们能对...

人工智能 2023-11-06 AIGC

234阅读