混合专家第2页 - AIGC资讯

再薅！Pika全球开放使用；字节版GPTs免费不限量；大模型应用知识地图；MoE深度好文；2024年AIGC发展轨迹；李飞飞最新自传 | ShowMeAI日报

?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? 终于！AI视频生成平台 Pika 面向所有用户开放网页端 https://twitter.com/pika_labs Pika...

大数据 2024-01-13 AIGC

253阅读

大规模语言模型（LLMs）在很多关键任务中展现出显著的能力，比如自然语言理解、语言生成和复杂推理，并对社会产生深远的影响。然而，这些卓越的能力伴随着对庞大训练资源的需求（如下图左）和较长推理时延（如下图右）。因此，研究者们需要开发出有效的技术手段去解决其...

人工智能 2024-01-02 AIGC

272阅读

?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? 看热闹不嫌事大！马斯克：OpenAI首席科学家 Ilya 应该跳槽到xAI https://www.businessinsider.com/...

人工智能 2024-01-01 AIGC

435阅读

在大模型领域，一直稳站 C 位的 Transformer 最近似乎有被超越的趋势。这个挑战者就是一项名为「Mamba」的研究，其在语言、音频和基因组学等多种模态中都达到了 SOTA 性能。在语言建模方面，无论是预训练还是下游评估，Mamba-3B 模...

人工智能 2023-12-29 AIGC

285阅读

? AI新闻 ? 谷歌的AI聊天工具Bard更新，增加中文支持摘要：谷歌的AI聊天工具Bard新增中文环境，用户可以使用简体和繁体中文进行交流。然而，与竞品相比，Bard的回复略显生硬，语义理解还有待提升。此外，谷歌还更新了Bard的日志页面，新...

大数据 2023-12-26 AIGC

247阅读

巴黎的人工智能初创公司Mistral AI宣布与Google Cloud签署战略合作，实现了一次重大突破。根据双方的非独占性协议，Mistral AI将利用Google Cloud的AI优化基础设施分发其开源LLM及优化的专有语言模型。谷歌云法国区总经理I...

生成式AI 2023-12-14 AIGC

244阅读

一条神秘磁力链接引爆整个AI圈，现在，正式测评结果终于来了：首个开源MoE大模型Mixtral 8x7B，已经达到甚至超越了Llama 2 70B和GPT-3.5的水平。（对，就是传闻中GPT-4的同款方案。）并且由于是稀疏模型，处理每个toke...

人工智能 2023-12-12 AIGC

231阅读

本文旨在为用户选择合适的开源或闭源语言模型提供指导，以便在不同任务需求下获得更高的性价比。通过测试比较 LLaMA-2 和 GPT-3.5 的成本和时延，本文作者分别计算了二者的 1000 词元成本，证明在大多数情况下，选择 GPT...

生成式AI 2023-12-02 AIGC

241阅读

从人工智能的发展历程来看，GPT 系列模型（例如 ChatGPT 和 GPT-4）的问世无疑是一个重要的里程碑。由它所驱动的人工智能应用已经展现出高度的通用性和可用性，并且能够覆盖多个场景和行业 —— 这在人工智能的历史上前所未有。然而，人工智能的科研...

AIGC 2023-12-01 AIGC

275阅读

2023年大模型千帆竞发，除此外AI领域还有哪些新突破？来来来，畅销书《Python机器学习》作者Sebastian Raschka的年末总结已经准备好了。看完才知道： RLHF今年虽然爆火，但实打实用到的模型并不多，现在还出现了替代方案，有望从开...

AIGC 2023-11-16 AIGC

292阅读

性质说明知识记忆（knowledge retention） √ LLM预训练后，具备世界知识，小规模finetune不易对LLM造成遗忘灾难。但大规模数据续训会造成。前向迁移（forward...

大数据 2023-11-08 AIGC

268阅读

随着GPT-4的架构被知名业内大佬「开源」，混合专家架构（MoE）再次成为了研究的重点。 GPT-4拥有16个专家模型，总共包含1.8万亿个参数。每生成一个token需要使用大约2800亿参数和560TFLOPs 然而，模型更快、更准确的代价，则是巨大...

人工智能 2023-10-31 AIGC

266阅读