顺序依赖性 - AIGC资讯

【AIGC入门一】Transformers 模型结构详解及代码解析

Transformers 开启了NLP一个新时代，注意力模块目前各类大模型的重要结构。作为刚入门LLM的新手，怎么能不感受一下这个“变形金刚的魅力”呢？目录 Transformers ——Attention is all You Need 背景...

AIGC 2024-01-25 AIGC

328阅读

在大模型领域，一直稳站 C 位的 Transformer 最近似乎有被超越的趋势。这个挑战者就是一项名为「Mamba」的研究，其在语言、音频和基因组学等多种模态中都达到了 SOTA 性能。在语言建模方面，无论是预训练还是下游评估，Mamba-3B 模...

人工智能 2023-12-29 AIGC

243阅读

大型语言模型（LLM）在今年可谓是风光无限。不过惊艳的效果背后是一个巨大的模型以及夸张的硬件资源。 LLM在现实中部署时通常会面临两个难题：昂贵的KV缓存成本，以及对长序列的泛化能力差。近日，田渊栋团队发表了一篇论文，成功解决以上两个难题，并将推理...

大数据 2023-12-07 AIGC

204阅读

小羊驼团队的新研究火了。他们开发了一种新的解码算法，可以让模型预测100个token数的速度提高1.5-2.3倍，进而加速LLM推理。比如这是同一个模型（LLaMa-2-Chat 7B）面对同一个用户提问（苏格拉底采用了哪些方法来挑战他那个时代的主...

人工智能 2023-11-26 AIGC

227阅读

本文经自动驾驶之心公众号授权转载，转载请联系出处。 23年1月论文“Systems for Parallel and Distributed Large-Model Deep Learning Training“，来自UCSD。深度学习（DL）已经...

AIGC 2023-11-08 AIGC

203阅读