-
Nvidia AI 发布 Llama-Minitron 3.1 4B：通过修剪和提炼 Llama 3.1 8B 构建的新语言模型
Nvidia 刚刚发布了语言模型的新版本，不过这次是一个小型语言模型：Llama-3.1-Minitron 4B 模型。这意味着它是语言模型不断发展的重要步骤之一，通过剪枝和知识提炼等尖端技术，将大型模型的效率与小型模型相结合。 Llama-3.1-...
-
Distil-Whisper：高效快速的语音识别模型
Distil-Whisper：高效快速的语音识别模型 distil-whisperDistilled variant of Whisper for speech recognition. 6x faster, 50% smaller, within 1...
-
ViT篇外：NVIDIA Llama-3.1-Minitron 4B
相关阅读： ViT：3 Compact Architecture MobileLLM：“苗条”的模型比较好！ 大家也许会很好奇为什么在ViT章节插入了NVIDIA Llama-3.1-Minitron 4B，ViT因为应用场景的特殊性所以都寄...
-
通过剪枝与知识蒸馏优化大型语言模型：NVIDIA在Llama 3.1模型上的实践与创新
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新「Scaling Law」诞生？
【新智元导读】最近的论文表明，LLM等生成模型可以通过搜索来扩展，并实现非常显著的性能提升。另一个复现实验也发现，让参数量仅8B的Llama3.1模型搜索100次，即可在Python代码生成任务上达到GPT-4o同等水平。 强化学习先驱、加拿大阿尔伯塔大学...
-
The Llama 3 Herd of Models.Llama 3 模型第1,2,3部分全文
现代人工智能(AI 系统是由基础模型驱动的。本文提出了一套新的基础模型，称为Llama 3。它是一组语言模型，支持多语言、编码、推理和工具使用。我们最大的模型是一个密集的Transformer，具有405B个参数和多达128K个tokens...
-
贾扬清：大模型尺寸正在重走CNN的老路；马斯克：在特斯拉也是这样
Transformer大模型尺寸变化，正在重走CNN的老路! 看到大家都被LLaMA3.1吸引了注意力，贾扬清发出如此感慨。 拿大模型尺寸的发展，和CNN的发展作对比，就能发现一个明显的趋势和现象: 在ImageNet时代，研究人员和技术从业者见证了参数规...
-
GPT-4o mini突然上线！该换小模型赛道的OpenAI意欲何为？
ChatGPT 正式进入了“4”时代。 7月18日，OpenAI 官宣推出了GPT-3.5Turbo的替代品——GPT-4o mini，至此，ChatGPT的更新迭代又近了一步，来到了4字开头的时期。据了解，即日起，ChatGPT的免费用户，Plus用户以...
-
微软发布Phi-3 Mini，性能媲美GPT-3.5、Llama-3，可在手机端运行
前言 微软发布了最新版的Phi系列小型语言模型(SLM - Phi-3。这个系列包括3个不同参数规模的版本：Phi-3 Mini (38亿参数 、Phi-3 Small (70亿参数 和Phi-3 Medium (140亿参数 。 Phi系列模型是微...
-
Karpathy点赞，这份报告教你如何用 LLaMa 3创建高质量网络数据集
众所周知，对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说，构建高质量的网络规模数据集是非常重要的。然而，即使是最先进的开源 LLM 的预训练数据集也不公开，人们对其创建过程知之甚少。 最近，AI 大牛 Andrej Karpa...
-
GpuMall智算云：meta-llama/llama3/Llama3-8B-Instruct-WebUI
LLaMA 模型的第三代，是 LLaMA 2 的一个更大和更强的版本。LLaMA 3 拥有 35 亿个参数，训练在更大的文本数据集上GpuMall智算云 | 省钱、好用、弹性。租GPU就上GpuMall,面向AI开发者的GPU云平台 Llama 3 的推...
-
如何将大型语言模型（LLM）转换为嵌入模型
译者 | 李睿 审校 | 重楼 实验证明，LLM2Vec模型在嵌入任务上具有更好的性能，它可以为组织开辟新的场所，并以非常低的成本快速创建专门的嵌入模型。 嵌入模型已经成为大型语言模型(LLM 应用的重要组成部分，可以实现检测文本相似度、信息检索和聚类...
-
从Claude 3中提取数百万特征，首次详细理解大模型的「思维」
刚刚，Anthropic 宣布在理解人工智能模型内部运作机制方面取得重大进展。 Anthropic 已经确定了如何在 Claude Sonnet 中表征数百万个概念。这是对现代生产级大型语言模型的首次详细理解。这种可解释性将帮助我们提高人工智能模型的安全...
-
微软Copilot+PC之后还有大招！牵手GPT-4o后能力简直王炸！奥特曼也来build现场了！
编辑|伊风 出品 | 51CTO技术栈（微信号：blog51cto） 昨天，微软震撼发布的Copilot+PC，被大赞终于是真正的AI PC了！ 今天，在AI领域里拳打谷歌，脚踢苹果的微软又在build大会中狠狠地秀了一把肌肉。宣布要将Windows打造...
-
Llama-3的竞争对手来了——可运行在iPhone上的小体量高性能LLM模型Phi-3
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 简介 熟悉我的文章的读者可能还记得我以前报道《课本就是你所需要的一切》(https://medium.com/@mgunton7/th...
-
Fine-Tuning Vs RAG ，该如何选择？
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 构建块：向量、令牌和嵌入 。 随着技术的不断进步，LLM 带来了前所未有的机遇，吸引了开发者和组织纷纷尝试利用其强大的能力构建应用程序。然而，当预训...
-
70亿LLaMA媲美5400亿PaLM！MIT惊人研究用「博弈论」改进大模型｜ICLR 2024
遇到一个问题用不同表达方式prompt时，大模型往往会给出两种不同的答案。 比如，「秘鲁的首都是什么」，「利马是秘鲁的首都吗」。 对于这种回答不一致的问题，科学家们纷纷为大模型的「智商」担忧起来。 正如了LeCun所言： LLM确实比狗积累了更多的事实知...
-
Meta 发布新多token预测技术，使AI模型速度提升3倍
近期，Meta、Ecole des Ponts ParisTech 和 Université Paris-Saclay 的研究人员在一项研究中提出了一种改进 AI 大型语言模型（LLMs）准确性和速度的方法，即通过同时预测多个token。这与自回归语言模型...
-
专利大模型的实践与知识问答探索
一、专利大模型背景介绍 智慧芽一直致力于为科技创新和知识产权领域提供信息服务。在小型模型时代（如 Bert），参数量较少，智能理解方面存在局限性。因此，在着手开发大模型之前，智慧芽深入思考了领域聚焦的重要性。在知识产权领域，专利检索、专利对比、标引工作...
-
ChatGPT可以开车吗？分享大型语言模型在自动驾驶方面的应用案例
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 人工智能技术如今正在快速发展和应用，人工智能模型也是如此。拥有100亿个参数的通用模型的性能正在碾压拥有5000万个参数的任务特定模型...
-
Docker三分钟搞定LLama3开源大模型本地部署
概述 LLaMA-3（Large Language Model Meta AI 3）是由Meta公司开发的大型开源生成式人工智能模型。它在模型结构上与前一代LLaMA-2相比没有大的变动。 LLaMA-3模型分为不同规模的版本，包括小型、中型和大型，以适...
-
微软发布iPhone可运行的ChatGPT级AI模型Phi-3系列 挑战OpenAI地位
近日，微软推出了一款名为Phi-3系列的小型AI模型，该模型在AI领域引起了广泛关注。Phi-3系列中的Phi-3-mini模型，仅拥有3.8B参数，却在多项基准测试中超越了拥有8B参数的Llama3模型。 微软特别强调，经过4bit量化处理的Phi-3-...
-
新研究：大语言模型“涌现”能力不令人惊讶也不难预测
3月26日消息，一项新的研究认为，大语言模型性能的显著提升并不令人意外，也并非无法预测，实际上这是由我们衡量人工智能性能的方式所决定的。 两年前，450位研究人员在一个名为超越模仿游戏基准（Beyond the Imitation Game Bench...
-
16款Stable Diffusion插件推荐，让SD小白快速上手
随着 Stable Diffusion 的不断进化，越来越多的开发者加入到插件开发的行列中。大家都知道网上虽然教程多，但非常碎片，一个个学习和查阅真的非常耗时，感觉每天都在烧脑。如果你是SD小白或者是小懒猫，又想快速上手使用 Stable Diffusio...
-
奥特曼回应了OpenAI的一切，剧透GPT-5发布
难得难得！关于GPT-5细节以及OpenAI更多内幕，竟然被奥特曼自曝了。 GPT-5会是整个性能全面提升，会超出预期；对正研究如何提升GPT-4的初创公司会是一种碾压。 如果回到过去，我会考虑换掉“OpenAI”这个名字。 计算能力将会成为世界上最...
-
为什么AI小模型才是最好的答案
作者 | 涂承烨 审校 | 重楼 一、AI大模型介绍与局限 AI大模型，特别是基于深度学习的模型，在许多领域都有着广泛的应用前景。这些领域包括但不限于医疗、金融、工业、教育、智慧城市等。随着技术的不断进步和应用的深入，AI大模型将在更多领域发挥重要作...
-
AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）
Ollama简介 Ollama 是一个开源平台，用于管理和运行各种大型语言模型 (LLM ，例如 Llama 2、Mistral 和 Tinyllama。它提供命令行界面 (CLI 用于安装、模型管理和交互。您可以使用 Ollama 根据您的需求下载...
-
LLaMA 入门指南
LLaMA 入门指南 LLaMA 入门指南 LLaMA的简介 LLaMA模型的主要结构 Transformer架构 多层自注意力层 前馈神经网络 Layer Normalization和残差连接 LLaMA模型的变体 Base版本 La...
-
生成式AI公司Galileo推出检索增强生成工具
生成式AI公司Galileo最近推出了一项新的工具，旨在帮助企业开发可信赖的人工智能（AI）解决方案。这项名为检索增强生成(RAG 和代理分析的解决方案旨在应对RAG系统的复杂性，该系统已成为大型语言模型(LLMs 开发者越来越受欢迎的工具。 RAG系统通...
-
通义千问再开源，Qwen1.5带来六种体量模型，性能超越GPT3.5
赶在春节前，通义千问大模型（Qwen）的 1.5 版上线了。今天上午，新版本的消息引发了 AI 社区关注。 新版大模型包括六个型号尺寸：0.5B、1.8B、4B、7B、14B 和 72B，其中最强版本的性能超越了 GPT 3.5、Mistral-Medi...
-
AI视野：谷歌推小模型MobileDiffusion；Midjourney测试风格一致性功能；字节跳动推AI Bot开发平台扣子；LLaVA-1.6赶超Gemini Pro
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 谷歌最新文生图小型...
-
检测路在何方？YOLOv8终极指南
本文经自动驾驶之心公众号授权转载，转载请联系出处。 YOLOv8是计算机视觉领域的最新发展，它是一种用于目标检测、实例分割和分类的最新先进模型。除了对模型架构本身的改进之外，YOLOv8通过一个用于使用YOLO模型的PIP包为开发者提供了一个新的友好界...
-
DeepSeek 发布全新开源大模型，数学推理能力超越 LLaMA-2
自从 LLaMA 被提出以来，开源大型语言模型（LLM）的快速发展就引起了广泛研究关注，随后的一些研究就主要集中于训练固定大小和高质量的模型，但这往往忽略了对 LLM 缩放规律的深入探索。 开源 LLM 的缩放研究可以促使 LLM 提高性能和拓展应用领域...
-
AI绘画软件Stable Diffusion模型/Lora/VAE文件存放位置
型下载说明（下载模型后输入对应参数即可生成） 建议直接去civitai.com找模型，如果无法找到可以在幕后模型区找也可以去， 下载好后放入对应的文件夹。进入127.0.0.1:7680 左上角刷新即可看到新的模型。 模型种类 大模型 大模型...
-
新型AI架构AGI-Samantha 可模拟人类大脑思考和自主交流能力
AGI-Samantha是一种新型的AI架构，利用多个LLM联动来模拟人类的大脑思考、记忆、感知和自主交流能力。它能够根据周围环境和情境自主决定何时进行交流对话，并拥有一种特殊的记忆系统，能够根据情境的相关性选择存储和回忆信息，并根据这些进行自我迭代进化。...
-
可协助 AI 语言模型改善自我纠错能力，谷歌推出 BIG-Bench Mistake 数据集
IT之家 1 月 15 日消息，谷歌研究院日前使用自家 BIG-Bench 基准测试建立了一项“BIG-Bench Mistake”数据集，并利用相关数据集对市面上流行的语言模型“出错概率”及“纠错能力”进行了一系列评估研究。 谷歌研究人员表示，由于...
-
轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了
当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。 小模型在边缘设备上有着广泛的应用，如智能手机、物联网设备和嵌入式系统，这些边缘设备通常具有有限的计算能力和存储空间，它们无法有效地运行大型语...
-
迷你AI模型TinyLlama发布：高性能、仅637MB
经过一番期待，TinyLlama项目发布了一款引人注目的开源模型。该项目于去年9月启动，开发人员致力于在数万亿标记上训练一款小型模型。在经历了一些辛勤工作和一些挫折之后，TinyLlama团队如今发布了这个模型。这个模型有着10亿个参数，大约在训练数据上进...
-
从模型、数据和框架三个视角出发，这里有份54页的高效大语言模型综述
大规模语言模型（LLMs）在很多关键任务中展现出显著的能力，比如自然语言理解、语言生成和复杂推理，并对社会产生深远的影响。然而，这些卓越的能力伴随着对庞大训练资源的需求（如下图左）和较长推理时延（如下图右）。因此，研究者们需要开发出有效的技术手段去解决其...
-
Omdia：2024年值得关注的主要人工智能趋势
今年是人工智能的关键一年，因为生成式人工智能正在改变人和机器的沟通方式。本文给大家分享下2024年值得关注的主要人工智能趋势。 1.综合数据驱动创新 合成数据已经在推动大量创新，我们看到这些创新来自生成型人工智能领域本身，其中有很多较小的模型，它们的...
-
科学家：大型 AI 模型已可自动生成小型 AI 工具
12 月 18 日消息，据 Businessinsider 报道，大型 AI 模型现在已经强大到可以完全自动地创建新的小型 AI 工具，无需任何人类干预。来自麻省理工学院、加州大学多个校区和 AI 科技公司 Aizip 的科学家团队表示，他们已经能...
-
Mistral携微软引爆「小语言模型」潮！Mistral中杯代码能力完胜GPT-4，成本暴降2/3
最近，「小语言模型」忽然成为热点。 本周一，刚刚完成4.15亿美元融资的法国AI初创公司Mistral，发布了Mixtral 8x7B模型。 这个开源模型尽管尺寸不大，小到足以在一台内存100GB以上的电脑上运行，然而在某些基准测试中却能和GPT-3....
-
Stable Diffusion
文章目录 1.主界面功能介绍 2.咒语一： 3.参数 3.1 采样步数 3.2 提示词系数和随机种子 4.魔法书 5.模型 5.1 模型介绍 5.2 模型种类及使用方法一览 模型后缀名之谜 常见模型种类及使用方法 1.大模型。 2....
-
微调语言大模型选LoRA还是全参数？基于LLaMA 2深度分析
本文对比了全参数微调和LoRA，并分析了这两种技术各自的优势和劣势。作者使用了三个真实用例来训练LLaMA 2模型，这提供了比较特定任务的性能、硬件要求和训练成本的基准。本文证明了使用LoRA需要在serving效率和模型质量之间做出权衡，而这...
-
通义千问开源720亿参数大模型Qwen-72B
通义千问在开源领域迎来重大突破，推出了一系列全家桶模型，包括参数从18亿到720亿的多款模型，涵盖了各种应用场景。其中，Qwen-72B模型的开源在性能上实现了突破，成为目前性能最强的开源模型之一。在多个权威基准测评中，Qwen-72B表现出色，超越了同规...
-
Stable Diffusion-安装（整合版）
一、概述 本文使用秋叶大佬发布的【绘世整合包】作为软件，它是目前市面上最易于使用的整合包之一，无需对网络和Python有太多的前置知识，已经为AI绘画的普及做出了巨大贡献。绘世启动器整合包于2023年4月16日发布，集成了过去几个月中AI绘画集中引爆的核心...
-
微软战略大转变：拥抱小模型！
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 微软的生成式AI战略似乎出现了180度大转变：相比大模型，小模型才是微软的真爱。 在Ignite 2023上，微软董事长兼首席执行官Nadella在主题演讲中表示：“微软喜欢小模型...
-
Vicuna Makers打造小型AI模型Llama-rephraser，130亿参数、性能媲美GPT-4
Vicuna Makers的研究团队在构建Vicuna语言模型的基础上，成功推出了一款新型的小型人工智能模型（LLM），该模型在性能上与OpenAI的GPT-4相媲美，仅包含130亿个参数。 这一新模型被命名为Llama-rephraser，由LMSYS...
-
Stable Diffusion AI 绘画入门指南
Stable Diffusion AI 绘画入门指南 市面上用的最多的AI绘画工具是 Stable-Diffusion（SD） 和 Midjourney（Mid），SD是在本地运行的服务，开源，门槛高，但自控性极高。而Mid作为在线的服务，门槛低，效果...
-
AI 绘画Stable Diffusion 研究（三）sd模型种类介绍及安装使用详解
本文使用工具，作者:秋葉aaaki 免责声明: 工具免费提供 无任何盈利目的 大家好，我是风雨无阻。 今天为大家带来的是 AI 绘画Stable Diffusion 研究（三）sd模型种类介绍及安装使用详解。 目前，AI 绘画Stable Diff...