-
中科院提出GPT-4o实时语音交互的开源对手：Llama-Omni
论文：LLaMA-Omni: Seamless Speech Interaction with Large Language Models地址：https://arxiv.org/pdf/2409.06666 研究背景 研...
-
详聊LLaMa技术细节：LLaMA大模型是如何炼成的？
本文介绍来自 Meta AI 的 LLaMa 模型，类似于 OPT，也是一种完全开源的大语言模型。LLaMa 的参数量级从 7B 到 65B 大小不等，是在数万亿个 token 上面训练得到。值得一提的是，LLaMa 虽然只使用公共的数据集，依然取得了强悍...
-
速通LLaMA1：《LLaMA: Open and Efficient Foundation Language Models》全文解读
文章目录 论文总览 1. 创新点和突破点 2. 技术实现与算法创新 3. 架构升级 4. 概念补充 SwiGLU激活函数 AdamW 5. 总结 Abstract Introduction Approach Pre-training...
-
[ComfyUI]Flux新纪元：Flux可控性新起点，第一个CN Canny硬边缘组件发布
大家我是安琪！！！ ComfyUI和Flux的结合，在AI艺术创作领域开启了新的纪元。本文将介绍Flux最新的CN Canny硬边缘组件，以及如何利用这一组件提升艺术创作的可控性和创意表达。 flux-controlnet-canny模型简介...
-
llama_fastertransformer对话问答算法模型
LLAMA 论文 https://arxiv.org/pdf/2302.13971.pdf 模型结构 LLAMA网络基于 Transformer 架构。提出了各种改进，并用于不同的模型，例如 PaLM。以下是与原始架构的主要区别： 预归一化。为了提高...
-
大模型学习笔记3【大模型】LLaMA学习笔记
文章目录 学习内容 LLaMA LLaMA模型结构 LLaMA下载和使用 好用的开源项目[Chinese-Alpaca](https://github.com/ymcui/Chinese-LLaMA-Alpaca Chinese-Alpaca...
-
NLP主流大模型如GPT3/chatGPT/T5/PaLM/LLaMA/GLM的原理和差异有哪些-详细解读
自然语言处理（NLP）领域的多个大型语言模型（如GPT-3、ChatGPT、T5、PaLM、LLaMA和GLM）在结构和功能上有显著差异。以下是对这些模型的原理和差异的深入分析： GPT-3 (Generative Pre-trained Transf...
-
AIGC从入门到实战：只缘身在此山中：GPT 模型靠什么取胜和出圈？
AIGC从入门到实战：只缘身在此山中：GPT 模型靠什么取胜和“出圈”？ 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM AIGC from Begi...
-
AIGC 生成对抗网络、大型预训练模型 LLM ChatGPT Transformer LLaMA LangChain Prompt Engineering 提示工程
AIGC AIGC（Artificial Intelligence Generated Content）是指基于生成对抗网络、大型预训练模型等人工智能的技术方法，通过已有数据的学习和识别，以适当的泛化能力生成相关内容的技术。AIGC的爆发得益于GAN、...
-
基于Llama 3的最强开源医疗AI模型OpenBioLLM-Llama3，刷新榜单
项目概述 OpenBioLLM-70B是一款先进的开源生物医学大型语言模型，由Saama AI实验室基于Llama 3技术精心开发并微调。此模型专为生物医学领域设计，利用尖端技术，在多种生物医学任务中实现了最先进的性能表现。 背景： Saam...
-
AI绘画工具Stable Diffusion【模型篇】：Embedding模型
大家好，我是画画的小强。 一. Embedding模型介绍 Embedding可以理解为一堆提示词的集合。它将很多的提示词汇总到一个文件里，我们需要的时候，只需要调用这个Embedding文件，就等同于输入了很多的提示词，对用户来说非常方便。 Emb...
-
Stable Diffusion【二次元模型】：质量高细节丰富的动漫风格大模型anima_pencil-XL
今天给大家介绍的是一个动漫风格的大模型anima_pencil-XL，这个模型出自一位日本的创作者。最早的版本是V1.0.0是今年1月份才发布的，短短的2个月已经更新了5个版本，最新的版本是V2.6.0，可见作者更新版本的频率有多高。 提到anima_p...
-
LLaMA: Open and Efficient Foundation Language Models
*背景 已有的大模型越来越多的追求更大的参数量以实现更高的性能，但有研究表明更小的模型在更大的数据集上同样可以表现良好，因此本文旨在通过大量公开可用的数据集来训练一个语言模型同时取得SOTA的性能，模型大小从7B到65B，并且开源相关模型代码。(htt...
-
LLaMA详细解读
LLaMA 是目前为止，效果最好的开源 LLM 之一。精读 LLaMA 的论文及代码，可以很好的了解 LLM 的内部原理。本文对 LLaMA 论文进行了介绍，同时附上了关键部分的代码，并对代码做了注释。 摘要 LLaMA是一个系列模型，模型参数量从7B...
-
【大模型】LLaMA-1 模型介绍
文章目录 一、背景介绍 二、模型介绍 2.1 模型结构 2.2 模型超参数 2.3 SwiGLU 三、代码分析 3.1 模型结构代码 3.2 FairScale库介绍 四、LLaMA家族模型 4.1 Alpaca 4.2 Vicuna...
-
LLaMa系列模型详解（原理介绍、代码解读）：LLaMa
LLaMA详解 LLaMA（Large Language Model Meta AI）是由Meta（前身为Facebook）开发的一种大规模语言模型，旨在提高自然语言处理（NLP）任务的性能。LLaMA基于变换器（Transformer）架构，并经过大...
-
【AI绘画/作图】风景背景类关键词模板参考
因为ds官网被墙,所以翻了IDE的源码整理了下stablestudio里的官方模板，顺便每个模板生成了一份…不知道怎么写关键词的可以参考 Stunning sunset over a futuristic city, with towering skys...
-
写代码神器！48个主流代码生成LLM大模型盘点，包含专用、微调等4大类Code llama
写代码神器！48个主流代码生成LLM大模型盘点，包含专用、微调等4大类 学姐带你玩AI 2023-12-06 18:20 代码大模型具有强大的表达能力和复杂性，可以处理各种自然语言任务，包括文本分类、问答、对话等。这些模型通常基于深度学习架构，如Tra...
-
大规模语言模型--LLaMA 家族
LLaMA 模型集合由 Meta AI 于 2023 年 2 月推出， 包括四种尺寸(7B 、13B 、30B 和 65B 。由于 LLaMA 的 开放性和有效性， 自从 LLaMA 一经发布， 就受到了研究界和工业界的广泛关注。LLaMA 模型在开放基准...
-
谷歌DeepMind：GPT-4高阶心智理论彻底击败人类！第6阶推理讽刺暗示全懂了
【新智元导读】刚刚，谷歌DeepMind、JHU、牛津等发布研究，证实GPT-4的心智理论已经完全达到成年人类水平，在更复杂的第6阶推理上，更是大幅超越人类!此前已经证实，GPT-4比人类更能理解语言中的讽刺和暗示。在心智理论上，人类是彻底被LLM甩在后面...
-
微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉
大型语言模型(llm 是在巨大的文本语料库上训练的，在那里他们获得了大量的事实知识。这些知识嵌入到它们的参数中，然后可以在需要时使用。这些模型的知识在培训结束时被“具体化”。在预训练结束时，模型实际上停止学习。 对模型进行对齐或进行指令调优，让模型学习...
-
CoT提出者Jason Wei：大模型评估基准的「七宗罪」
在 CV 领域，研究者一直把李飞飞等人创建的 ImageNet 奉为模型在下游视觉任务中能力的试金石。 在大模型时代，我们该如何评估 LLM 性能？现阶段，研究者已经提出了诸如 MMLU、GSM8K 等一些评估基准，不断有 LLM 在其上刷新得分。 但这...
-
Inflection AI揭示新团队和计划，将情感AI嵌入商业机器人
前不久，Inflection AI 的首席人工智能专家之一 Mustafa Suleyman 离职加入微软 AI 部门，这一消息在科技界引起了广泛的关注。然而，对于留在 Inflection AI 的命运，人们却没有过多讨论。Inflection AI 曾...
-
70亿LLaMA媲美5400亿PaLM！MIT惊人研究用「博弈论」改进大模型｜ICLR 2024
遇到一个问题用不同表达方式prompt时，大模型往往会给出两种不同的答案。 比如，「秘鲁的首都是什么」，「利马是秘鲁的首都吗」。 对于这种回答不一致的问题，科学家们纷纷为大模型的「智商」担忧起来。 正如了LeCun所言： LLM确实比狗积累了更多的事实知...
-
Meta训AI，成本已超阿波罗登月！谷歌豪言投资超千亿美元，赛过OpenAI星际之门
【新智元导读】近日访谈中，LeCun亲口证实:Meta为购入英伟达GPU已经花费了300亿美元，成本超过阿波罗登月。相比之下，微软和OpenAI打造的星际之门耗资1000亿美元，谷歌DeepMind CEO Hassabis则放出豪言:谷歌投入的，比这个数...
-
【总结】在嵌入式设备上可以离线运行的LLM--Llama
文章目录 Llama 简介 运用 另一种：MLC-LLM 一个令人沮丧的结论在资源受限的嵌入式设备上无法运行LLM（大语言模型）。 一丝曙光：tinyLlama-1.1b（10.1亿参数，需要至少2.98GB的RAM） Llam...
-
为什么大型语言模型都在使用 SwiGLU 作为激活函数？
如果你一直在关注大型语言模型的架构，你可能会在最新的模型和研究论文中看到“SwiGLU”这个词。SwiGLU可以说是在大语言模型中最常用到的激活函数，我们本篇文章就来对他进行详细的介绍。SwiGLU其实是2020年谷歌提出的激活函数，它结合了SWISH和...
-
[论文笔记]LLaMA: Open and Efficient Foundation Language Models
引言 今天带来经典论文 LLaMA: Open and Efficient Foundation Language Models 的笔记，论文标题翻译过来就是 LLaMA:开放和高效的基础语言模型。 LLaMA提供了不可多得的大模型开发思路，为很多国...
-
「有效上下文」提升20倍！DeepMind发布ReadAgent框架
想了解更多AIGC的内容， 请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 基于Transformer的大语言模型（LLM）具有很强的语言理解能力，但LLM一次能够读取的文本量仍然受到极大限制。 除了上下文窗口...
-
大语言模型中常用的旋转位置编码RoPE详解：为什么它比绝对或相对位置编码更好?
自 2017 年发表“ Attention Is All You Need ”论文以来，Transformer 架构一直是自然语言处理 (NLP 领域的基石。它的设计多年来基本没有变化，随着旋转位置编码 (RoPE 的引入，2022年标志着该领域的...
-
比人类便宜20倍！谷歌DeepMind推出「超人」AI系统
AI的同行评审来了！ 一直以来，大语言模型胡说八道（幻觉）的问题最让人头疼，而近日，来自谷歌DeepMind的一项研究引发网友热议： 大模型的幻觉问题，好像被终结了？ 论文地址：https://arxiv.org/pdf/2403.18802.pdf...
-
DeepMind终结大模型幻觉？标注事实比人类靠谱、还便宜20倍，全开源
DeepMind 这篇论文一出，人类标注者的饭碗也要被砸了吗? 大模型的幻觉终于要终结了? 今日，社媒平台 reddit 上的一则帖子引起网友热议。帖子讨论的是谷歌 DeepMind 昨日提交的一篇论文《Long-form factuality in la...
-
开源AI到底是什么？业界：超出开源软件范畴，需要重新界定
最近AI圈突然流行起开源概念。Meta承诺将会打造开源AI，马斯克起诉OpenAI，说它缺少开源模型。与此同时，一批科技领袖和科技企业纷纷为开源概念呐喊。不过科技界碰到一个难以解决的根本问题：它们对“开源AI”的概念无法达成共识。 照字面意思，开源A...
-
LLM性能最高60%提升！谷歌ICLR 2024力作：让大语言模型学会「图的语言」
在计算机科学领域，图形结构由节点（代表实体）和边（表示实体之间的关系）构成。 图无处不在。 互联网本身就像是一张庞大的网络图，甚至搜索引擎所使用的知识也是以图的形式进行组织和呈现。 但由于LLMs主要在常规文本上训练，并没有图的结构，将图转化为LLMs能...
-
谷歌承认“窃取”OpenAI模型关键信息：成本低至150元，调用API即可得手
什么？谷歌成功偷家OpenAI，还窃取到了gpt-3.5-turbo关键信息？？？ 是的，你没看错。 根据谷歌自己的说法，它不仅还原了OpenAI大模型的整个投影矩阵（projection matrix），还知道了确切隐藏维度大小。 而且方法还极其简单—...
-
前谷歌大佬离职创业，不到一年造出GPT3.5和Gemini Pro，惨痛忠告：GPU简直菜鸡，就像是买彩票！
作者 | Yi Tay 编译 | 云昭 出品 | 51CTO技术栈（微信号：blog51cto） 你敢相信吗？一位前谷歌大佬，离职成立公司，不到一年，从头训练出了“GPT3.5”/“Gemini Pro”，注意，后者是多模态大模型！ 本文主人公Y...
-
「还是谷歌好」，离职创业一年，我才发现训练大模型有这么多坑
如何在不到一年的时间里创办一家公司、筹集资金、购买芯片，并搭建出追赶 Gemini pro/GPT 3.5 的 LLM？ 很多人都对构建基础架构和训练大语言模型和多模态模型感到好奇，但真正走完「从零开始」这一流程的人很少。我们普遍认为，储备技术人才是前提...
-
谷歌发布最新「读屏」AI！PaLM 2-S自动生成数据，多项理解任务刷新SOTA
【新智元导读】谷歌在语言和声控计算机界面的漫长道路上又迈出了重要一步。最新ScreenAI视觉语言模型，能够完成各种屏幕QA问答、总结摘要等任务。 每个人想要的大模型，是真·智能的那种...... 这不，谷歌团队就做出来了一个强大的「读屏」AI。 研究人员...
-
从AI推理性能优化角度看LLaMA的模型结构和源码
本篇文章讲讲LLaMA的结构，已经有很多文章已经对LLaMA在一些结构上任务表现上做了一些解析，本文主要从优化的角度、实现kernel的角度解析一下LLaMA，读者事先对transformer的结构有基本认识最好。本文首发于我的公众号“AI不止算法”，文章...
-
AIGC专题：2023生成式人工智能发展与监管白皮书-中国AI治理的独立思考
今天分享的是AIGC系列深度研究报告：《AIGC专题：2023生成式人工智能发展与监管白皮书-中国AI治理的独立思考》。 （报告出品方：南方财经全媒体集团） 报告共计：42页 来源：人工智能学派 发展：生成式 AI 治理的第一视角 2022年 1...
-
参议员表示 AI 监管必要以解决潜在风险
美国参议员 Mark Warner（来自弗吉尼亚州）和 Todd Young(来自印第安纳州 在华盛顿特区约翰斯・霍普金斯大学布隆伯格中心举行的讨论会上，就人工智能政策展开了一场广泛的对话。他们在这场由 Punchbowl News 创始人兼首席执行官 A...
-
全球最强开源大模型一夜易主！谷歌Gemma 7B碾压Llama 2 13B，今夜重燃开源之战
一声炸雷深夜炸响，谷歌居然也开源LLM了？！ 这次，重磅开源的Gemma有2B和7B两种规模，并且采用了与Gemini相同的研究和技术构建。 有了Gemini同源技术的加持，Gemma不仅在相同的规模下实现SOTA的性能。 而且更令人...
-
GPT-4、Gemini同时被曝重大缺陷，逻辑推理大翻车！DeepMind上交校友团队发现LLM严重降智
最近，谷歌DeepMind和斯坦福的研究人员发现：大模型在处理逻辑推理任务时，问题中信息呈现的顺序对模型的表现有着决定性的影响。 论文地址：https://arxiv.org/abs/2402.08939 具体来说，当信息按照逻辑上的自然顺序排列时，模...
-
OpenAI和谷歌，AI对线中的飞驰人生
到底什么时候，才能有一家公司赶超OpenAI?这句问题，想必是过去一年多来，萦绕在不少读者心中的困惑。 如果全世界只有一家公司能赶超OpenAI，谷歌应该是最有希望的选手。 同为北美AI巨头的谷歌，与OpenAI有着相同的AGI目标、世界级的技术人才、全球...
-
开源大模型王座易主！谷歌Gemma杀入场，笔记本可跑，可商用
刚刚，谷歌杀入开源大模型。 开源领域大模型，迎来了重磅新玩家。 谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini，Gemma 更加轻量，同时保持免费可用，模型权重也一并开源了，且允许商用。 Gemma 官方页面：https://ai.goo...
-
全球最强开源大模型一夜易主！谷歌Gemma 7B碾压Llama 2 13B，重燃开源之战
一声炸雷深夜炸响，谷歌居然也开源LLM了？！ 这次，重磅开源的Gemma有2B和7B两种规模，并且采用了与Gemini相同的研究和技术构建。 有了Gemini同源技术的加持，Gemma不仅在相同的规模下实现SOTA的性能。 而且更令人印象深刻的是，还...
-
大语言模型之LlaMA系列-LlaMA 2及LlaMA_chat(下)
多转一致性的系统消息 - System Message for Multi-Turn Consistency 在对话设置中，某些指示应适用于所有对话轮次。 例如，简洁地响应，或"充当"某个公众人物。当我们向Llama 2-Chat提供此类指示时，后...
-
19｜Whisper+ChatGPT：请AI代你听播客
今天，我们的课程开始进入一个新的主题了，那就是语音识别。过去几周我们介绍的 ChatGPT 虽然很强大，但是只能接受文本的输入。而在现实生活中，很多时候我们并不方便停下来打字。很多内容比如像播客也没有文字版，所以这个时候，我们就需要一个能够将语音内容转换成...
-
OpenAI豪赌7万亿，能买4个英伟达！奥特曼芯片帝国占全球GDP 10%，或引世界经济末日？
昨天，Sam Altman筹资7万亿美元建芯片帝国的新闻一出，舆论哗然。 7万亿美元，是全球GDP的10%，大约是美国GDP的1/4，或者2/5个中国的GDP。 这个数字实在令人难以理解，除非OpenAI确信，自己的技术就从根本上重塑整个世界。否则，人...
-
羊驼2:开放的基础和微调聊天模型--Llama 2论文阅读
论文地址：https://arxiv.org/pdf/2307.09288.pdfd 代码地址：GitHub - facebookresearch/llama-recipes: Examples and recipes for Llama 2 model...