-
微调语言大模型选LoRA还是全参数？基于LLaMA 2深度分析
本文对比了全参数微调和LoRA，并分析了这两种技术各自的优势和劣势。作者使用了三个真实用例来训练LLaMA 2模型，这提供了比较特定任务的性能、硬件要求和训练成本的基准。本文证明了使用LoRA需要在serving效率和模型质量之间做出权衡，而这...
-
灵雀云Alauda MLOps 现已支持 Meta LLaMA 2 全系列模型
在人工智能和机器学习领域，语言模型的发展一直是企业关注的焦点。然而，由于硬件成本和资源需求的挑战，许多企业在应用大模型时仍然面临着一定的困难。为了帮助企业更好地应对上述挑战，灵雀云于近日宣布，企业可通过Alauda MLOps（以下简称AML）使用由 Me...
-
字节跳动与中科大联手提出多模态文档大模型DocPedia
字节跳动与中国科学技术大学合作研发的多模态文档大模型DocPedia已成功突破了分辨率的极限，达到了2560×2560的高分辨率。这一成果是通过研究团队采用了一种新的方法，解决了现有模型在解析高分辨文档图像方面的不足。 在此研究中，提出了DocPedia，...
-
突破分辨率极限，字节联合中科大提出多模态文档大模型
现在连文档都有大模型了，还是高分辨率、多模态的那种! 不仅能准确识别出图像里的信息，还能结合用户需求调用自己的知识库来回答问题。 比如，看到图中马里奥的界面，直接就回答出了这是任天堂公司的作品。 这款模型由字节跳动和中国科学技术大学合作研究，于2023年...
-
Meta教你5步学会用Llama2：我见过最简单的大模型教学
在这篇博客中，Meta 探讨了使用 Llama 2 的五个步骤，以便使用者在自己的项目中充分利用 Llama 2 的优势。同时详细介绍 Llama 2 的关键概念、设置方法、可用资源，并提供一步步设置和运行 Llama 2 的流程。 Meta 开源的 L...
-
AIGC玩转卡通化技术实践
FaceChain写真开源项目插播： 最新 FaceChain支持多人合照写真、上百种单人写真风格，项目信息汇总：ModelScope 魔搭社区 。 github开源直达（觉得有趣的点个star哈。）：https://gith...
-
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本 、安装、使用方法之详细攻略 导读：2023年9月25日，Colossal-AI团队推出了开源模型Colos...
-
Window下部署使用Stable Diffusion AI开源项目绘图
Window下部署使用Stable Diffusion AI开源项目绘图 前言 前提条件 相关介绍 Stable Diffusion AI绘图 下载项目 环境要求 环境下载 运行项目 打开网址，即可体验 文字生成图像（txt2img） 庐山瀑...
-
百度商业AI 技术创新大赛赛道二：AIGC推理性能优化TOP10之经验分享
朋友们，AIGC性能优化大赛已经结束了，看新闻很多队员已经完成了答辩和领奖环节，我根据内幕人了解到，比赛的最终代码及结果是不会分享出来的，因为办比赛的目的就是吸引最优秀的代码然后给公司节省自己开发的成本，相当于外包出去了，应该是不会公开的。抱着技术共享及开...
-
英特尔推Extension for Transformers工具包 大模型推理性能提升40倍
在当前技术发展的背景下，英特尔公司推出的Extension for Transformers工具包成为一个重要创新，实现了在CPU上对大型语言模型（LLM）推理性能的显著加速。该工具包通过LLM Runtime技术，优化了内核，支持多种量化选择，提供更优的...
-
IDEA提出ToG思维图谱 大模型性能提升214%！
近期，由IDEA研究院、微软亚洲研究院、香港科技大学等多方研究团队合作推出的Think-on-Graph技术，在深度推理领域掀起了一场革新。这一技术通过紧耦合大模型（LLM）与知识图谱(KG ，成功弥补了大模型在金融、法律、医疗等领域幻觉问题上的能力短板。...
-
腾讯披露最新大模型训练方法:Angel框架升级 效率提升2.6倍
在当前大模型参数规模呈指数级增长的情况下，腾讯近日披露了混元大模型训练的最新方法，通过升级自研机器学习框架Angel，成功提升大模型训练效率。这一升级使得千亿级大模型训练可以节省高达50%的算力成本，为应对算力紧缺提供了有力支持。Angel框架的升级不仅仅...
-
使用 LoRA 技术对 LLaMA 65B 大模型进行微调及推理
前几天，Meta 发布了 LIMA 大模型，在LLaMA-65B的基础上，无需使用 RLHF，只用了 1000 个精心准备的样本数据进行微调，就达到了和 GPT-4 相媲美的程度。这激发了我探索 LLaMA 65B 大模型的兴趣。 之前的一系列大模型相...
-
模型杂谈：使用 IN8 量化推理运行 Meta “开源泄露”的大模型（LLaMA）
接着之前文章《模型杂谈：快速上手元宇宙大厂 Meta “开源泄露”的大模型（LLaMA）》一文中的话题，继续聊聊如何使用 INT8 量化的方式来让低显存的设备能够将模型运行起来。 写在前面 前几天，在知乎上看到《如何评价 LLaMA 模型泄露？》问题...
-
Stable Diffusion：使用自己的数据集微调训练LoRA模型
Stable Diffusion：使用自己的数据集微调训练LoRA模型 前言 前提条件 相关介绍 微调训练LoRA模型 下载kohya_ss项目 安装kohya_ss项目 运行kohya_ss项目 准备数据集 生成关键词 模型参数设置 预训...
-
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架 的简介、安装、案例实战应用之详细攻略 导读：2023年07月31日，哈工大讯飞联合实验室，发布Chinese-LLaMA-Alpaca-2，本项目基于Meta发布的...
-
“大模型本质就是两个文件！”特斯拉前AI总监爆火LLM科普，时长1小时，面向普通大众
特斯拉前AI总监Andrej Karpathy的新教程火了。 这次，他专门面向普通大众做了一个关于大语言模型的科普视频。 时长1小时，全部为“非技术介绍”，涵盖模型推理、训练、微调和新兴大模型操作系统以及安全挑战，涉及的知识全部截止到本月（非常新）。...
-
OpenAI内斗时，Karpathy在录视频：《大型语言模型入门》上线
OpenAI 的风波暂时告一段落，员工也忙着「干活了」。 年初回归 OpenAI 的 Andrej Karpathy 最近做了一场关于大型语言模型（LLM）的 30 分钟入门讲座，但该讲座当时没录制。因此，他基于这场讲座重新录制了一个长达 1 小时的视频...
-
边缘智能：实现实时数据处理和智能决策的新一代技术
Labs 导读 边缘智能（Edge Intelligence）是一种将人工智能（AI）和边缘计算相结合的新兴技术。传统的人工智能应用通常依赖于云计算中心进行数据处理和决策，但这种方式存在延迟和网络带宽的问题。 Part 01、 什么是边缘智能 ...
-
腾讯披露最新大模型训练方法，可节省50%算力成本
在算力紧缺的背景下，如何提升大模型训练和推理的效率，并降低成本，成为业界关注的焦点。 11月23日，腾讯披露，腾讯混元大模型背后的自研机器学习框架Angel再次升级，大模型训练效率提升至主流开源框架的2.6倍，千亿级大模型训练可节省50%算力成本。升级后...
-
LLaMA 2端到端推理打通！来自中国团队
Buddy Compiler 端到端 LLaMA2-7B 推理示例已经合并到 buddy-mlir仓库[1]主线。 我们在 Buddy Compiler 的前端部分实现了面向 TorchDynamo 的第三方编译器，从而结合了 MLIR 和 PyTorc...
-
AIGC繁花，绽放在精耕的算力土壤之上
2023年的春天，称得上一句AI之春。大模型成为技术力量新的爆发点，生成式AI（AIGC）应用风起云涌。 产业界争先恐后训大模型之际，广大用户最大的困惑是——发布了，但就是玩不到啊！ OpenAI有地域限制且不去说它，各种国产大模型也很...
-
LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读
LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读 导读：该论文提出了一个开源的大规模语言模型LLaMA，2048个A100-80G训练21天。该...
-
QPS提升近10倍！解读飞桨加持下的文心一言满月成绩单
近期，一直犹抱琵琶半遮面的国内各路AI相关厂商，扎堆发布大模型。一时间，百“模”大战，鱼龙混杂。 此前，作为全球第一个正式发布大模型的大厂，百度文心一言的一举一动，成为业界关注的焦点。 就在4月19日，时隔文心一言发布1个月又3天，一张“百度飞桨对文心...
-
AIGC：【LLM（一）】——LoRA微调加速技术
文章目录 一.微调方法 1.1 Instruct微调 1.2 LoRA微调 二.LoRA原理 三.LoRA使用 一.微调方法 Instruct微调和LoRA微调是两种不同的技术。 1.1 Instruct微调 Instr...
-
大模型「幻觉」，看这一篇就够了
大模型“幻觉”，终于有系统综述了！ 一口气49页，详细阐述了幻觉定义、分类、导致幻觉的原因，还有检测幻觉、减轻幻觉的方法。 这篇最新综述来自哈工大和华为，一po出就在网上火得不行： 具体来说，文中用一套新的范畴框架来定义模型幻觉，并将其分为事实性幻觉、...
-
腾讯云“AI超级底座”专场将亮相WOT大会，技术创新引领AI基础设施新篇章
近两年来，国内热门的技术话题中，“百模大战”赫赫有名。自2020年起，中国进入了大模型加速发展期。据科技部新一代人工智能发展研究中心发布的报告显示，目前中国已发布10亿参数规模以上的大模型达79个。众多IT技术厂商投身于大模型的研究与训练，并将其应用于各...
-
C#开源项目：私有化部署LLama推理大模型
推荐一个C#大模型推理开源项目，让你轻松驾驭私有化部署！ 01 项目简介 LLama是Meta发布的一个免费开源的大模型，是一个有着上百亿数量级参数的大语言模型，支持CPU和GPU两种方式。 而LLamaSharp就是针对llama.cpp封装的C#...
-
如何有效减少 AI 模型的数据中心能源消耗？
在让人工智能变得更好的竞赛中，麻省理工学院（MIT）林肯实验室正在开发降低功耗、高效训练和透明能源使用的方法。 在 Google 上搜索航班时，您可能已经注意到，现在每个航班的碳排放量估算值都显示在其成本旁边。这是一种告知客户其对环境影响的方式，并让他...
-
昇腾CANN 7.0 黑科技：大模型推理部署技术解密
本文分享自华为云社区《昇腾CANN 7.0 黑科技：大模型推理部署技术解密》，作者：昇腾CANN。 近期，随着生成式AI、大模型进入公众视野，越来越多的人意识到抓住AI的爆发就是抓住未来智能化变革的契机。AI基础设施如何快速部署使用，以及如何提升推理性能...
-
掰开安卓手机，满屏都是三个字：大模型丨模力时代
这年头，安卓厂商没个大模型，都不敢开手机发布会了。 前脚OPPO刚用大模型升级了语音助手，后脚vivo就官宣自研手机AI大模型; 小米发布会则直接将大模型当场塞进手机系统……其竞争激烈程度，不亚于抢芯片首发。 到底是怎么回事? 究其原因，还是智能终端已经成...
-
掰开安卓手机，满屏都是三个字：大模型
这年头，安卓厂商没个大模型，都不敢开手机发布会了。 前脚OPPO刚用大模型升级了语音助手，后脚vivo就官宣自研手机AI大模型； 小米发布会则直接将大模型当场塞进手机系统……其竞争激烈程度，不亚于抢芯片首发。 到底是怎么回事？ 究其原因，还是智能终端已经...
-
【大模型系列 06】LLaMA-7B/13B for PyTorch 昇腾迁移
源码链接 https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/foundation/LLaMA-13B LLaMA-7B/13B for PyTorch...
-
LLMs之Vicuna：在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub)进行模型权重合并(llama-7b模型与delta模型权重)、模型部
LLMs之Vicuna：在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub 进行模型权重合并(llama-7b模型与delta模型权重 、模型部署且实现模型推理全流程步骤的图文教程(非常详细 ...
-
微调Whisper语音识别模型和加速推理
前言 OpenAI在开源了号称其英文语音辨识能力已达到人类水准的Whisper项目，且它亦支持其它98种语言的自动语音辨识。Whisper所提供的自动语音识与翻译任务，它们能将各种语言的语音变成文本，也能将这些文本翻译成英文。本项目主要的目的是为了对W...
-
成本2元开发游戏，最快3分钟完成！全程都是AI智能体“打工”，大模型加持的那种
家人们，OpenAI前脚刚发布自定义GPT，让人人都能搞开发;后脚国内一家大模型初创公司也搞了个产品，堪称重新定义开发——让AI智能体们协作起来! 只需一句话，最快3分钟不到，成本也只要2元多，“啪~”，一个软件就开发完了。 例如开发一个红包雨的小软件，现...
-
微软推出 XOT 方法，提升语言模型推理能力
11 月 15 日消息，微软近日推出了名为“Everything of Thought”（XOT）的方法，灵感来自谷歌 DeepMind 的 AlphaZero，利用紧凑的神经网络，来增强 AI 模型推理能力。 微软和佐治亚理工学院、华东师范大学...
-
网易云音乐推荐系统的冷启动技术
一、问题背景：冷启动建模的必要性和重要性 作为一个内容平台，云音乐每天都会有大量的新内容上线，虽然相较于短视频等其它平台，云音乐平台的新内容数量相对较少，但实际数量可能远远超出大家的想象。同时，音乐内容与短视频、新闻、商品推荐又有着显著的不同，音乐的...
-
GPT-4比你更会问问题：让大模型自主复述，打破与人类对话的壁垒
在最新的人工智能领域动态中，人工生成的提示（prompt）质量对大语言模型（LLM）的响应精度有着决定性影响。OpenAI 提出的建议指出，精确、详细且具体的问题对于这些大语言模型的表现至关重要。然而，普通用户是否能够确保他们的问题对于 LLM 来说足够...
-
百度智能云“千帆大模型平台”最新升级：接入Llama 2等33个模型！
今年3月，百度智能云推出“千帆大模型平台”。作为全球首个一站式的企业级大模型平台，千帆不但提供包括文心一言在内的大模型服务及第三方大模型服务，还提供大模型开发和应用的整套工具链，能够帮助企业解决大模型开发和应用过程中的所有问题。 本次千帆大模型平台升级的...
-
LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder)、安装、使用方法之详细攻略
LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder 、安装、使用方法之详细攻略 导读：2023年08月25日(北京时间 ，Meta发布了Code Llama，一个可以使用文本提示生成...
-
百度搜索深度学习模型业务及优化实践
作者 | Xin 导读 百度搜索架构部模型架构组，致力于将最新的人工智能技术以更低的成本被百度数亿用户体验到。这个过程中会面临非常多的系统、工程层面的问题，甚至在深度学习模型领域，我们看到越来越多的工作并不拘泥于工程本身。 本文主要分享模...
-
在亚马逊云科技Amazon SageMaker上进行Stable Diffusion模型训练和推理
Stable Diffusion Quick Kit是一个基于亚马逊云科技Amazon SageMaker进行Stable Diffusion模型快速部署的工具包，包括了一组示例代码、服务部署脚本、前端UI，可以帮助可以快速部署一套Stable Diff...
-
百度智能云：千帆大模型平台接入Llama 2等33个大模型，上线103个Prompt模板
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
文心一言Plugin实战来了，测试开发旅游攻略助手
刚刚过去的8月，百度WAVE SUMMIT 深度学习开发者大会上，重磅发布文心一言的五个原生插件：百度搜索、览卷文档（基于文档的交互）、E 言易图（数据洞察图表生成）、说图解画（基于图片的交互）、一镜流影（文字转视频）。 我们知道大模型的训练过程一般...
-
视觉感知未来，高德数据采集模型部署实践！
1. 导读 作为DAU过亿的国民出行服务平台，高德地图每天为用户提供海量的检索、定位和导航服务，实现这些服务需要有精准的道路信息，比如电子眼位置、路况信息、交通标识位置信息等。读者是否会好奇，高德是如何感知到现实世界的道路信息，并提供这些数据给用户呢？...
-
AI视野：xAI首个大模型Grok炸场;李开复官宣开源大模型Yi-34B;ChatGPT原型Gizmo新功能曝光;百度网盘引入大模型智能助理
????大模型动态 李开复官宣全球最强开源大模型Yi-34B 一次可处理40万汉字 零一万物发布全球最强的开源大模型Yi-34B，具备超强的语言理解和处理能力，支持处理40万汉字，在中文指标上表现卓越，标志着中国在大模型领域的重大突破。 项目地址:htt...
-
大型语言模型（LLM）技术精要，不看亏了
哈喽，大家好。 今天分享一篇知乎高赞文章，作者是张俊林老师。 图片 读完收获很多，能帮大家更好地理解、学习大模型。原文有2.8w字，我提炼了核心要点，阅读需要10min。 ChatGPT的出现给很多人带来了惊喜和醒悟。有人惊喜地发现大型语言模型（LLM）...
-
全球首发！总结七十余种开源数据集，一览自动驾驶开源数据体系
本文经自动驾驶之心公众号授权转载，转载请联系出处。 基于数据驱动的各类深度学习模型任务，近年来随着数据集规模的不断扩大，性能逐渐被提升，国内外各大自动驾驶公司都在不断建立自己的数据库，以及数据闭环系统，期待数据的丰富能够解决下半场自动驾驶问题，那么如何...
-
阿里云全面升级AI基础设施，中国大模型公司一半跑在阿里云上！
10月31日，在2023云栖大会上，阿里云CTO周靖人表示，面向智能时代，阿里云将通过从底层算力到AI平台再到模型服务的全栈技术创新，升级云计算体系，打造一朵AI时代最开放的云。在现场，周靖人公布了云计算基础能力的最新进展，升级了人工智能平台，并发布千亿...