-
书单 | 大模型的书那么多，如何快速选到适合自己的那一本？来，教你！
大模型的书这么多，该怎么选呢？ 本期书单就来教大家怎么快速地从众多大模型书中选到你想要的那一本！ 大模型基础 大模型入门不可错过的一本书，就是这本大模型界的经典畅销书**《大规模语言模型》**！系统性强，内容适合初学者，如果你想知道如何构建一个大模型...
-
超越sd3！比肩Midjourney-v6？AI绘画大模型FLUX1.0详细评测与本地部署方法（附安装文件）
FLUX.1模型是什么？ FLUX模型是一个开源的AI图像生成模型，由黑森林工作室研发。 堪比sd3以及Midjourney-v6 背景/backdrop 黑森林工作室（Black Forest...
-
Stable Diffusion模型基于 TensorFlow 或 PyTorch 训练
安装必要的软件和库： 安装 Python（建议使用 Python 3.x 版本）。 安装 TensorFlow 或 PyTorch，具体版本取决于你的模型是基于哪个框架训练的。 安装其他可能需要的依赖，如 NumPy、Matplotlib 等。...
-
在个人 Linux 机器 (GPU/CPU) 上本地运行 LLaMA-3(Docker+Ollama+Open WebUI+LLama3教程含详细步骤)
在当今快速发展的人工智能环境中，部署开源大型语言模型 (LLM 通常需要复杂的计算基础设施。然而，Ollama 的创新平台正在改变这一规范，支持在标准个人计算机上使用这些强大的模型，支持CPU和GPU配置。本指南介绍了如何使用 Ollama 在您自己的设...
-
Shortened LLaMA：针对大语言模型的简单深度剪枝法
? CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 论文标题 & 发表会议：Shortened LLaMA: A Simple Depth Pruning for Large Language Model...
-
百万tokens低至1元！大模型越来越卷了
在刚刚举行的 ICLR 2024 大会上，智谱AI的大模型技术团队公布了面向激动人心的AGI通用人工智能前景的三大技术趋势，同时预告了GLM的后续升级版本。 前天，智谱大模型开放平台（bigmodel.cn）上线了新的价格体系。入门级产品 GLM-3 T...
-
AI手机，活成产业“摇钱树”
早几年出现的折叠屏没能拯救颓势的手机市场，直接证据就是去年全球出货量依旧拉胯，同比下滑3.2%至11.7亿部，为近十年来最低。 好在Q4出现了些许回暖，全球和中国市场分别有8.5%和1.2%的同比增幅，尤其是后者，在连续同比下降10个季度后首次转正。 很难...
-
量化、剪枝、蒸馏，这些大模型黑话到底说了些啥？
量化、剪枝、蒸馏，如果你经常关注大语言模型，一定会看到这几个词，单看这几个字，我们很难理解它们都干了些什么，但是这几个词对于现阶段的大语言模型发展特别重要。这篇文章就带大家来认识认识它们，理解其中的原理。 模型压缩 量化、剪枝、蒸馏，其实是通用的神经网络...
-
昇思MindSpore 2.3全新发布 | 昇思人工智能框架峰会2024圆满举办
北京时间3月22日消息，人工智能框架作为软件根技术，已成为加速人工智能大模型开发、推动产业智能化发展的核心力量。以“为智而昇，思创之源”为主题的昇思人工智能框架峰会2024今日在北京国家会议中心举办，旨在汇聚AI产业界创新力量，推动根技术持续创新，共建人...
-
进一步加速落地：压缩自动驾驶端到端运动规划模型
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：On the Road to Portability: Compressing End-to-End Motion Planner for Autonomous Driving 论文链接：ht...
-
今日AI：阿里欲推AI电商产品“绘蛙”；北大团队发起复现Sora计划；ComfyUI LayerDiffusion正式上线；AI工具DUSt3R GitHub爆火
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 阿里正在打造一款...
-
清华、哈工大把大模型压缩到了1bit，把大模型放在手机里跑的愿望就快要实现了！
自从大模型火爆出圈以后，人们对压缩大模型的愿望从未消减。这是因为，虽然大模型在很多方面表现出优秀的能力，但高昂的的部署代价极大提升了它的使用门槛。这种代价主要来自于空间占用和计算量。「模型量化」 通过把大模型的参数转化为低位宽的表示，进而节省空间占用。目...
-
清华、哈工大提出OneBit方法：可把大模型压缩到1bit 保持 83% 性能
近期，清华大学和哈尔滨工业大学联合发布了一篇论文，成功将大模型压缩到1bit，仍保持83% 的性能。这一成果标志着量化模型领域的一次重大突破。过去，2bit 以下的量化一直是研究人员难以逾越的障碍，而这次的1bit 量化尝试，引起了国内外学术界的广泛关注。...
-
单GPU就能压缩模型，性能不变参数少25%！微软提出模型稀疏化新方法
众所周知，对于大语言模型来说，规模越大，所需的算力越大，自然占用的资源也就越多。 研究人员于是乎把目光转到了这片领域，即模型的稀疏化（Sparsification）。 今天要介绍的SliceGPT，则可以实现模型的事后稀疏。也就是说，在一个模型训练完了以...
-
微软开源 SliceGPT:大模型体量压缩25%左右，性能保持不变
微软和苏黎世联邦理工学院的研究人员联合开源了 SliceGPT，该技术可以极限压缩大模型的权重矩阵，将模型体量压缩25% 左右，同时保持性能不变。实验数据显示，在保持零样本任务性能的情况下，SliceGPT 成功应用于多个大型模型，如 LLAMA-270B...
-
大模型没有护城河？OpenAI的“LLM城池”如何攻破，如何防守
作者 | Ben Dickson 译者 | 李睿 审校 | 重楼 出品 | 51CTO技术栈（微信号：blog51cto） 小模型、开源模型正在猛攻GPT-4，OpenAI需要更完善的措施来构建技术方面的护城河，以保护其LLM业务。 2023年5月，...
-
WhisperKit官网体验入口 AI自动语音识别模型压缩与优化工具在线使用地址
WhisperKit是一个专为自动语音识别模型压缩与优化而设计的强大工具。它不仅支持对模型进行压缩和优化，还提供详细的性能评估数据。WhisperKit还为不同数据集和模型格式提供质量保证认证，并支持本地复现测试结果。 点击前往WhisperKit官网体...
-
AI视野：Meta发布Code Llama70B；Nijijourney V6模型正式上线；Chrome将内置AI写作助手；Minimax的AI对话机器人海螺问问上线
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 Meta发布最新A...
-
大模型也能切片，微软SliceGPT让LLAMA-2计算效率大增
大型语言模型（LLM）通常拥有数十亿的参数，用了数万亿 token 的数据进行训练，这样的模型训练、部署成本都非常高。因此，人们经常用各种模型压缩技术来减少它们的计算需求。 一般来讲，这些模型压缩技术可以分为四类：蒸馏、张量分解（包括低秩因式分解）、剪枝...
-
微软开发新型大模型压缩方法SliceGPT
SliceGPT是微软开发的一种新型的大语言模型压缩方法。通过SLICE GPT，可以在保持99%，99%，和90%零样本任务性能的同时，将LLAMA2-70B、OPT66B和Phi-2模型分别去除高达25%的模型参数（包括嵌入）。 这意味着使用SLICE...
-
清华、小米、华为、 vivo、理想等多机构联合综述，首提个人LLM智能体、划分5级智能水平
嘿 Siri、你好小娜、小爱同学、小艺小艺、OK Google、小布小布…… 想必这些唤醒词中至少有一个曾被你的嘴发出并成功呼唤出了一个能给你导航、讲笑话、添加日程、设置闹钟、拨打电话的智能个人助理（IPA）。可以说 IPA 已经成了现代智能手机不可或缺...
-
腾讯太极文生图大模型，带你一起感受祖国大好河山
一、背景 随着大规模预训练模型的蓬勃发展和算力的大规模提升，业界和学界在图片生成这个领域也取得了非常大的进展。在AIGC（AI Generated Content）这个领域，随着英文Stable Diffusion模型的开源，催生出了很多AI绘画相关的...
-
LLaMA Pro: Progressive LLaMA with Block Expansion
Q: 这篇论文试图解决什么问题？ A: 这篇论文试图解决大型语言模型（LLMs）在特定领域（如编程、数学、生物医学或金融）能力不足的问题。尽管LLMs在多种现实世界任务中表现出色，但在某些特定领域仍然存在局限性，这阻碍了开发通用语言代理以应用于更广泛场景...
-
使用OpenVINO™在算力魔方上加速stable diffusion模型
作者：武卓博士 英特尔AI布道师 刘力 英特尔物联网行业创新大使 什么是stable diffusion模型？ Stable Diffusion是stability.ai开源的AI图像生成模型，实现输入文字，生成图像...
-
五种资源类别，如何提高大语言模型的资源效率，超详细综述来了
近年来，大型语言模型（LLM）如 OpenAI 的 GPT-3 在人工智能领域取得了显著进展。这些模型，具有庞大的参数量（例如 1750 亿个参数），在复杂度和能力上实现了飞跃。随着 LLM 的发展趋势朝着不断增大的模型规模前进，这些模型在从智能聊天机器...
-
如何高效部署大模型？CMU最新万字综述纵览LLM推理MLSys优化技术
在人工智能（AI）的快速发展背景下，大语言模型（LLMs）凭借其在语言相关任务上的杰出表现，已成为 AI 领域的重要推动力。然而，随着这些模型在各种应用中的普及，它们的复杂性和规模也为其部署和服务带来了前所未有的挑战。LLM 部署和服务面临着密集的计算强...
-
大模型入局传统算法，LLMZip基于LLaMA-7B实现1MB文本压缩率90%！
论文链接： https://arxiv.org/abs/2306.04050 随着以ChatGPT、GPT-4为代表的AI大模型逐渐爆火进入公众视野，各行各业都开始思考如何更好的使用和发展自己的大模型，有一些评论甚至认为大模型是以人工智能为标志的...
-
图解tinyBERT模型——BERT模型压缩精华
译者 | 朱先忠 审校 | 重楼 简介 近年来，大型语言模型的发展突飞猛进。BERT成为最受欢迎和最有效的模型之一，可以高精度地解决各种自然语言处理（NLP）任务。继BERT模型之后，一组其他的模型也先后出现并各自展示出优秀的性能。 不难看到一个明显趋势...
-
HandRefiner官网体验入口 AI手部图像修复工具app免费下载地址
HandRefiner是一款专门用于手部图像修复的AI模型。ControlNet-HandRefiner-pruned模型是对原HandRefiner模型进行剪枝压缩处理后的版本，能够更快速地进行手部图像修复。它采用弥散模型进行条件性图像补全，能精确修复手...
-
从模型、数据和框架三个视角出发，这里有份54页的高效大语言模型综述
大规模语言模型（LLMs）在很多关键任务中展现出显著的能力，比如自然语言理解、语言生成和复杂推理，并对社会产生深远的影响。然而，这些卓越的能力伴随着对庞大训练资源的需求（如下图左）和较长推理时延（如下图右）。因此，研究者们需要开发出有效的技术手段去解决其...
-
Llama 2免费托管及API提供
Llama 2 是 Meta 最新的文本生成模型，目前其性能优于所有开源替代方案。 推荐：用 NSDT编辑器 快速搭建可编程3D场景 1、强大的Llama 2 它击败了 Falcon-40B（之前最好的开源基础模型），与 GPT-3....
-
AI作画，国风油画风随心定制~ Stable Diffusion模型使用，三步就上手
前言 最近，AIGC（即AI Generated Content，是指利用人工智能技术来生成内容）真的是火出了天际。除了被挤到服务器满负荷的chatGPT，另一个也颇受瞩目的领域当属AI作画了。利用开源的一类“扩散（diffusion）”模型，你可...
-
腾讯披露最新大模型训练方法，可节省50%算力成本
在算力紧缺的背景下，如何提升大模型训练和推理的效率，并降低成本，成为业界关注的焦点。 11月23日，腾讯披露，腾讯混元大模型背后的自研机器学习框架Angel再次升级，大模型训练效率提升至主流开源框架的2.6倍，千亿级大模型训练可节省50%算力成本。升级后...
-
大语言模型之十五-预训练和监督微调中文LLama-2
这篇博客是继《大语言模型之十二 SentencePiece扩充LLama2中文词汇》、《大语言模型之十三 LLama2中文推理》和《大语言模型之十四-PEFT的LoRA》 前面博客演示了中文词汇的扩充以及给予LoRA方法的预训练模型参数合并，并没有给出Lo...
-
马毅、沈向洋联手，首届CPAL开奖！16人获新星奖，华人学者占据半壁江山
就在昨天，首届CPAL简约学术会议，正式公布了新星奖获奖者名单！ CPAL专注于解决机器学习、信号处理、优化等领域中普遍存在的简约、低维结构问题，并探索低维结构在智能硬件与系统、交叉科学和工程等新兴方向的应用。 创办这个会议的出发点，就是将其设计为一个...
-
图模型也要大？清华朱文武团队有这样一些观点
在大模型时代，图机器学习面临什么样的机遇和挑战？是否存在，并该如何发展图的大模型？针对这一问题，清华大学朱文武教授团队首次提出图大模型（Large Graph Model）概念，系统总结并梳理了图大模型相关的概念、挑战和应用；进一步围绕动态性和可解释性，...
-
八张3090，1天压缩万亿参数大模型！3.2TB骤降至160GB，压缩率高达20倍
随着GPT-4的架构被知名业内大佬「开源」，混合专家架构（MoE）再次成为了研究的重点。 GPT-4拥有16个专家模型，总共包含1.8万亿个参数。每生成一个token需要使用大约2800亿参数和560TFLOPs 然而，模型更快、更准确的代价，则是巨大...
-
联想杨元庆展示首款AI PC：让每个人拥有自己的大模型
快科技10月25日消息，联想集团杨元庆在Tech World上公布了联想AI PC，并表示智能设备好比是赛车，它是人工智能触达终端用户的终极载体。 杨元庆表示，联想的大模型压缩技术能让用户自己的智能终端和设备拥有运行个人级大模型的能力。未来的个人电脑将是A...
-
联想CEO:未来每个智能设备都将有个人化AI
联想CEO杨元庆在2023年的联想科技世界大会上表示，他认为下一代生成式人工智能将以“个人基础模型”的形式呈现，这个模型将仅了解用户并植入在其智能设备中。 他表示:“未来，你的PC可能会成为AI PC。你的手机可能会成为AI手机，你的工作站可能会成为AI工...
-
解读OpenAI最强文生图模型—DALL·E 3
Midjourney、Stable Difusion在商业变现和场景化落地方面获得了巨大成功，这让OpenAI看到了全新的商机，也是推出DALL·E3的重要原因之一。 上周，OpenAI宣布在ChatGPT Plus和企业版用户中，全面开放文生图模型DAL...