-
【LLM】LLaMA简介：一个650亿参数的基础大型语言模型
LLaMA简介：一个650亿参数的基础大型语言模型 Paper Setup 其他资料 作为 Meta 对开放科学承诺的一部分，今天我们将公开发布 LLaMA (大型语言模型 Meta AI ，这是一个最先进的大型语言基础模型，旨在帮...
-
Llama 2免费托管及API提供
Llama 2 是 Meta 最新的文本生成模型，目前其性能优于所有开源替代方案。 推荐：用 NSDT编辑器 快速搭建可编程3D场景 1、强大的Llama 2 它击败了 Falcon-40B（之前最好的开源基础模型），与 GPT-3....
-
【AI大模型】Google Bard (PaLM2) 大模型写代码能力实测: LSM Tree, DAG Scheduler, AI大模型加持自然语言零代码平台设计（福利O：文末附PaLM2访问链接）
禅与计算机程序设计艺术评测结论：当前AI大模型写代码能力当之无愧的 No.1. Google Bard (PaLM2 文章目录 禅与计算机程序设计艺术评测结论：当前AI大模型写代码能力当之无愧的 No.1. Google Bard...
-
Llama 架构分析
从代码角度进行Llama 架构分析 Llama 架构分析 前言 Llama 架构分析 分词 网络主干 DecoderLayer Attention MLP 下游任务 因果推理 文本分类 Llama 架构分析...
-
LLaMA中ROPE位置编码实现源码解析
1、Attention中q，经下式，生成新的q。m为句长length，d为embedding_dim/head θ...
-
2024 年八大生成式 AI 工具类别
需要为组织的开发项目提供特定于生成式 AI 的工具？探索这些工具所属的主要类别及其功能。 ChatGPT 等生成式AI 服务的普及激发了将这些新工具应用于实际企业应用的兴趣。如今，几乎每个企业应用程序都通过生成式 AI 功能进行了增强。 大多数 AI、...
-
【大模型】LLaMA
目录 1. 模型介绍 2. 权重下载 1. 模型介绍 LLaMA 是 2023 年 Meta 发布的基础大语言模型，该模型有四个版本，分别是7B、13B、33B、65B参数的模型。相对于 GPT 类的模型，LLaMA 更加轻量一些，主要体现在...
-
大模型那么火，教你一键Modelarts玩转开源LlaMA(羊驼)大模型
图1.1 GPT-2 模型结构 关于训练集，其来源都是公开数据集，无任何定制数据集，保证了其工作与开源兼容和可复现。整个训练数据集在 token 化之后大约包含 1.4T 的 token。其中，LLaMA-65B 和 LLaMA-33B 是在 1.4万亿...
-
可令 AI 模型计算复杂离散数学问题，谷歌 DeepMind 公布“FunSearch”训练法
12 月 15 日消息，谷歌 DeepMind 日前公布了一种名为“FunSearch”的模型训练法，号称能够计算包含“上限级问题”、“装箱问题”在内的一系列“涉及数学、计算机科学领域的复杂问题”。 ▲ 图源 谷歌 DeepMind（下同） 据悉，F...
-
LLaMA-META发布单卡就能跑的大模型
2023年2月25日，Meta使用2048张A100 GPU，花费21天训练的Transformer大模型LLaMA开源了。 1.4T tokenstakes approximately 21 days 以下是觉得论文中重要的一些要点 1）...
-
下一代自动驾驶系统，少不了大模型，系统调研来了
随着大语言模型 (LLM 和视觉基础模型 (VFM 的出现，受益于大模型的多模态人工智能系统有潜力像人类一样全面感知现实世界、做出决策。在最近几个月里，LLM 已经在自动驾驶研究中引起了广泛关注。尽管 LLM 具有巨大潜力，但其在驾驶系统中的关键挑战...
-
论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models
论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models 1. 文章简介 2. 文章概括 3 文章重点技术 3.1 预训练Pretraining 3.1.1 预训练细节 3.1.2...
-
AI首次攻克难倒陶哲轩数学难题，DeepMind里程碑算法登Nature！LLM搜代码自我进化
上限集问题，是困扰数学家们多年的开放性问题。 著名数学家陶哲轩，就曾将上限集问题描述为自己最喜欢的开放性问题。 陶哲轩博客 而大语言模型，竟然在这个问题上做出了新发现。 今天，Google DeepMind、威斯康星大学麦迪逊分校和里昂大学的研究人员联...
-
DeepMind论文登上Nature：困扰数学家几十年的难题，大模型发现全新解
作为今年 AI 圈的顶流，大型语言模型（LLM）擅长的是组合概念，并且可以通过阅读、理解、写作和编码来帮助人们解决问题。但它们能发现全新的知识吗？ 由于 LLM 已被证明存在「幻觉」问题，即生成与事实不符的信息，因此利用 LLM 来做可验证的正确发现是一...
-
首个GPT-4驱动的人形机器人！无需编程+零样本学习，还可根据口头反馈调整行为
让GPT-4操纵人形机器人，事先不做任何编程or训练，能搞成啥样儿？ 答案是：太 猎 奇 了！ 这不，要求机器人表演“在昏暗电影院里狂炫爆米花，却突然发现吃的是隔壁陌生人的?”。 在GPT-4的操纵下，机器人笑容凝固，“尴尬”得摇头扶额后仰： 但在尴尬...
-
LLaMA及其子孙模型概述
文章目录 LLaMA Alpaca Vicuna Koala Baize (白泽 骆驼(Luotuo BELLE Guanaco LLaMA 与原始transformer的区别: 预归一化[GPT3]。为了提高训练稳定性，对...
-
华科大发布AI大模型猴子：部分超越GPT-4
快科技12月12日消息，华中科技大学官方发文称，该校软件学院一团队发布了多模态大模型Monkey”。 该模型擅长图像描述和视觉问答，能够实现对世界的观察”，对图片进行深入问答交流和精确描述。 官方介绍称，在18个数据集上的实验中，华科大Monkey模型表...
-
2024年AI趋势看这张图，LeCun：开源大模型要超越闭源
2023 年即将过去。一年以来，各式各样的大模型争相发布。当 OpenAI 和谷歌等科技巨头正在角逐时，另一方「势力」悄然崛起 —— 开源。 开源模型受到的质疑一向不少。它们是否能像专有模型一样优秀？是否能够媲美专有模型的性能？迄今为止，我们一直还只能说...
-
Relevance AI：让每个团队都拥有自己的AI同事
澳大利亚初创公司Relevance AI推出了一款低代码平台，旨在帮助企业建立自定义AI团队，提高生产力。该平台已成功筹集1000万美元的A轮融资，由King River Capital领投，全球投资者Peak XV、Galileo Venture和Ins...
-
揭秘！我用AI写了一部精彩小说；搭建AI视频创作工作流；一键生成摘要工具清单；大模型创业生死5问 | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? 『大型语言模型 (LLM 进化树』追踪近年来语言模型的发展 作者团队梳理了自2018年以来大语言模型的发展历程，并可视化成了这棵树的生长过程。对...
-
大模型就是「造梦机」，Karpathy一语惊人！人类才是「幻觉问题」根本原因
幻觉，早已成为LLM老生常谈的问题。 然而，OpenAI科学家Andrej Karpathy今早关于大模型幻觉的解释，观点惊人，掀起非常激烈的讨论。 在Karpathy看来: 另外，Karpathy的另一句话，更是被许多人奉为经典。他认为，与大模型相对的...
-
触手可及的 GPT —— LLaMA
出品人：Towhee 技术团队 最近几个月 ChatGPT 的出现引起广泛的关注和讨论，它在许多领域中的表现都超越了人类的水平。它可以生成人类级别的语言，并且能够在不同的任务中学习和适应，让人们对人工智能的未来充满了希望和憧憬。 ChatGPT 之...
-
更强的Llama 2开源，可直接商用：一夜之间，大模型格局变了
已上微软 Azure，即将要上 AWS、Hugging Face。 一夜之间，大模型格局再次发生巨变。 一直以来 Llama 可以说是 AI 社区内最强大的开源大模型。但因为开源协议问题，一直不可免费商用。 今日，Meta 终于发布了大家期待...
-
集体暴雷！自动化攻击可一分钟内越狱主流大语言模型
大语言模型应用面临的两大安全威胁是训练数据泄漏和模型滥用（被应用于网络犯罪、信息操弄、制作危险品等违法活动）。 本周内，这两大安全威胁相继“暴雷”。 本周一，GoUpSec曾报道研究人员成功利用新的数据提取攻击方法从当今主流的大语言模型（包括开源和封闭...
-
首个精通3D任务的具身通才智能体：感知、推理、规划、行动统统拿下
想要迈向通用人工智能，必须要构建一个能够理解人类生活的真实世界，并掌握丰富技能的具身通用智能体。 今年以来，以 GPT-4 (V [1]、LLaVA [2]、PALM-E [3] 等为代表的多模态大语言模型（Multi-modal Large Langu...
-
是时候开始拥抱大模型和AIGC了
“不要和我竞争大模型，请用文心一言和别人竞争。“ ——李彦宏 文章目录 前言 国内外主要大模型盘点 AI生成网站 AI 创作音乐 AI 写诗 AI 写小说 古文创作 AI 作画 AI出题和解题 辅助编码 附录 大模型相关链接 AI编...
-
谷歌将 Gemini AI 工具视为「有益的协作者」，而不是一个智能软件
谷歌于当地时间周三（12 月 6 日）发布了备受期待的 Gemini，并称其为「规模最大、功能最强的 AI 模型」。 在产品发布前的活动中，谷歌表示，Gemini 是其创建的最灵活的人工智能（AI）模型，因为它有不同大小的版本，从可以在智能手机上运行的版...
-
思维链提出者Jason Wei：关于大模型的6个直觉
还记得 Jason Wei 吗?这位思维链的提出者还曾共同领导了指令调优的早期工作，并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文。目前他正在 OpenAI 参与 ChatGPT 的开发工作。机器之心曾经报道过他为年轻 AI 研...
-
思维链提出者Jason Wei：关于大模型的六个直觉
还记得 Jason Wei 吗？这位思维链的提出者还曾共同领导了指令调优的早期工作，并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文。目前他正在 OpenAI 参与 ChatGPT 的开发工作。机器之心曾经报道过他为年轻 AI...
-
Google Gemini官方体验入口在哪 谷歌AI模型介绍
Google Gemini是一个由Google开发的下一代人工智能（AI）项目，它旨在创建一个强大的多模态AI模型，能够处理不同类型的内容，如文本、图像、代码等，并具有高级的语言、对话、创造和分析能力。Gemini软件的体验入口在哪呢，这里我们来看下Gem...
-
谷歌CEO皮查伊深度解析谷歌史上最强大模型Gemini及即将到来的人工智能时代
12月7日消息，美国当地时间周三，谷歌发布了其新一代人工智能模型Gemini。Gemini反映了谷歌内部多年来在首席执行官桑达尔·皮查伊（Sundar Pichai）的监督和推动下所做的努力。 此前负责Chrome和安卓业务的皮查伊是出了名的产品迷。2...
-
颠覆Transformer霸权！CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍
深度学习进入新纪元，Transformer的霸主地位，要被掀翻了？ 2017年6月12日横空出世，让NLP直接变天，制霸自然语言领域多年的Transformer，终于要被新的架构打破垄断了。 Transformer虽强大，却有一个致命的bug：核心注意力...
-
谷歌I/O大会重磅发布：Bard编码能力优化后仍不支持中文，开发者选择CodeGeeX更佳
谷歌I/O大会今天凌晨发布，打出系列AI组合拳。除了发布升级版语言模型PaLM2之外，Bard能力也要起飞。 凭借改进的数学、逻辑和推理技能，Bard 现在可以帮助生成、解释和调试 20 多种编程语言的代码，开发者们需要输入prompt，来得到完整的...
-
Transformer挑战者出现！斯坦福CMU联合团队，开源模型及代码，公司已创办
现在ChatGPT等大模型一大痛点： 处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑战者，引起大量关注： Mamba（曼巴，一种蛇），在语...
-
性能直追GPT-4，5000个H100训成！DeepMind联创发全新一代大模型
最近，InflectionAI发布了全新的一款AI模型。 更炸裂的是InfectionAI对这款模型的评价——性能直超谷歌和Meta开发的两款模型，紧随OpenAI的GPT-4之后。 到底是什么样的表现让InflectionAI能夸下如此海口呢？ 在介绍...
-
外媒：谷歌已将下一代AI模型Gemini发布时间推迟至明年1月
12月4日消息，据外媒报道，谷歌已将其下一代人工智能（AI）模型Gemini的发布时间推迟到了明年1月。 据外媒报道，在谷歌“发现该AI模型不能可靠地处理一些非英语查询”后，谷歌CEO桑达尔·皮查伊（Sundar Pichai）做出了推迟发布Gemini的...
-
GPT-4在医学问题上击败了专业调优的 MedPaLM 2 模型
在研究中，微软的研究人员展示了GPT-4在医学知识测试中的卓越表现，特别是当结合先进的提示工程技术时，其性能超过了专业调整的MedPaLM2。 研究结果显示，相较于费时费力的调优和模型训练，将更有效的提示工程应用于主流通用模型可能是实现更准确结果的更好途径...
-
谷歌Bard：ChatGPT之外的第三选择
2023年年初，为了对应ChatGPT方面的压力，谷歌Bard仓促上线，此后便进入了低调前行。目前为止已经迭代了9个版本，也就是在近期的版本更新中支持了中文（简体/繁体）语言，对国内用户可以说又友好了一步。 https://bard.go...
-
大模型入门（一）—— LLaMa/Alpaca/Vicuna
LLaMa模型是Meta开源的大模型，模型参数从7B到65B不等，LLaMa-7B在大多数基准测试上超过了GPT3-173B，而LLaMa-65B和Chinchilla-70B、PaLM-540B相比也极具竞争力。相比于ChatGPT或者GPT4来说，LL...
-
文献阅读：LLaMA: Open and Efficient Foundation Language Models
文献阅读：LLaMA: Open and Efficient Foundation Language Models 1. 文章简介 2. 模型训练 1. 训练数据 2. 模型结构 3. 模型训练 1. Optimiz...
-
【LLM系列之底座模型对比】LLaMA、Palm、GLM、BLOOM、GPT模型结构对比
LLama [GPT3] 使用RMSNorm（即Root Mean square Layer Normalization）对输入数据进行标准化，RMSNorm可以参考论文：Root mean square layer normalization。 [...
-
Google Bard使用初体验，与ChatGPT比较到底怎么样
文章目录 Google Bard 介绍 如何使用Google bard bard和ChatGPT3.5的区别 本文讲述了Google bard的入门教程和使用技巧，并且与竞争对手ChatGPT进行了一个全方面的比较。这是 Goo...
-
独立开发者案例：每周4h月入数万刀；国家数据局与时代红利；创业前先买个域名；工程师成长最重要的是什么 | ShowMeAI周刊
这是ShowMeAI周刊的第6期。聚焦AI领域本周热点，及其在各圈层泛起的涟漪；关注AI技术进步，并提供我们的商业洞察。欢迎关注与订阅！?日报合辑 ⌛ 独立开发者案例：每周只工作4小时，独立开发者打造月入数万美金的歌词网站 创业一定需要...
-
AI绘图软件Stable Diffusion 安装和使用
Stable Diffusion2是目前最流行开源AI绘图软件，它有两种使用方式:线上使用和本地部署。 线上使用有4种方式：（1） Stable Diffusion官网，（2） Huggingface，（3） 百度飞桨AI实训平台，（4）Google的C...
-
聊一聊大模型 | 京东云技术团队
事情还得从ChatGPT说起。 2022年12月OpenAI发布了自然语言生成模型ChatGPT，一个可以基于用户输入文本自动生成回答的人工智能体。它有着赶超人类的自然对话程度以及逆天的学识。一时间引爆了整个人工智能界，各大巨头也纷纷跟进发布了自家的大模...
-
AIGC+机器人=具身智能?硅谷最酷的两个男人不谋而合预演“下个浪潮”
收集整理|小鱼 新的AI题材层出不穷，这次轮到“机器人+AI"融合而成的具身智能概念。 “硅谷钢铁侠"马斯克和热爱黑色皮衣的"显卡教父”黄仁勋均作出积极表态，可谓不谋而合。 当地时间5月16日，特斯拉2023年年度股东大会召开，马斯克在会，...
-
谷歌：LLM找不到推理错误，但能纠正它
今年，大型语言模型（LLM）成为 AI 领域关注的焦点。LLM 在各种自然语言处理（NLP）任务上取得了显著的进展，在推理方面的突破尤其令人惊艳。但在复杂的推理任务上，LLM 的表现仍然欠佳。 那么，LLM 能否判断出自己的推理存在错误？最近，剑桥大学和...
-
OpenAI内乱之害远未止
继OpenAI最近的争议后，AI工程师和公司开始减少乃至完全摆脱对其API的依赖。 译自Pivot! AI Devs Move to Switch LLMs, Reduce OpenAI Dependency，作者 Richard MacManus 是...
-
Llama 2 论文《Llama 2: Open Foundation and Fine-Tuned Chat Models》阅读笔记
文章目录 Llama 2: Open Foundation and Fine-Tuned Chat Models 1.简介 2.预训练 2.1 预训练数据 2.2 训练详情 2.3 LLAMA 2 预训练模型评估 3. 微调 3.1 s...
-
Llama2通过llama.cpp模型量化 Windows&Linux本地部署
Llama2通过llama.cpp模型量化 Windows&Linux本地部署 什么是LLaMA 1 and 2 LLaMA，它是一组基础语言模型，参数范围从7B到65B。在数万亿的tokens上训练的模型，并表明可以专门使用公开可用的数据...