-
通义千问开源Qwen1.5-32B 模型系列
通义千问团队最新发布了 Qwen1.5-32B 模型系列，其中包括 Qwen1.5-32B 和 Qwen1.5-32B-Chat。 这些模型在模型架构上与之前的 Qwen1.5系列基本相同，但参数量减少至32B，旨在提供更高效、更经济实惠的解决方案。Qw...
-
LLaMA Factory+ModelScope实战——使用 Web UI 进行监督微调
LLaMA Factory+ModelScope实战——使用 Web UI 进行监督微调 文章原始地址：https://onlyar.site/2024/01/14/NLP-LLaMA-Factory-web-tuning/ 引言 大语...
-
首个基于SSM-Transformer混合架构，开源商业大模型Jamba
3月29日，知名AI研究实验室AI21在官网开源了，首个基于SSM-Transformer混合架构的商业大模型——Jamba。 目前，ChatGPT、Stable Difusion 、Lyria等产品使用的皆是Transformer架构，虽然在捕捉序列内长...
-
TensorFlow深度学习框架模型推理Pipeline进行人像抠图推理
概述 为了使ModelScope的用户能够快速、方便的使用平台提供的各类模型，提供了一套功能完备的Python library，其中包含了ModelScope官方模型的实现，以及使用这些模型进行推理，finetune等任务所需的数据预处理，后处理，效果...
-
阿里、百度双双出手，大模型长文本时代终于到来？
AGI时代，越来越近了。 全民Long-LLM时代终于到来。 本月，中国初创AGI（通用人工智能）公司月之暗面宣布旗下大模型工具Kimi Chat正式升级到200万字参数量，与五个月前该大模型初次亮相时的20万字相比，提升十倍。Kimi Chat的升级彻底...
-
昇思MindSpore 2.3全新发布 | 昇思人工智能框架峰会2024圆满举办
北京时间3月22日消息，人工智能框架作为软件根技术，已成为加速人工智能大模型开发、推动产业智能化发展的核心力量。以“为智而昇，思创之源”为主题的昇思人工智能框架峰会2024今日在北京国家会议中心举办，旨在汇聚AI产业界创新力量，推动根技术持续创新，共建人...
-
英伟达吞噬世界！新架构超级GPU问世，AI算力一步提升30倍
「这不是演唱会。你们是来参加开发者大会的！」老黄出场时，现场爆发出了巨大的欢呼声。 今天凌晨四点，加州圣何塞，全球市值第三大公司英伟达一年一度的 GTC 大会开始了。 今年的 GTC 大会伴随着生成式 AI 技术爆发，以及英伟达市值的暴涨。相对的是，算...
-
英伟达新核弹B200发布，一台服务器顶一个超算，万亿参数大模型30倍推理加速
AI春晚GTC开幕，皮衣老黄再次燃爆全场。 时隔两年，英伟达官宣新一代Blackwell架构，定位直指“新工业革命的引擎” ，“把AI扩展到万亿参数”。 作为架构更新大年，本次大会亮点颇多： 宣布GPU新核弹B200，超级芯片GB200 Blackw...
-
NVIDIA大语言模型落地的全流程解析
包括三部分内容： 第一部分是关于 NeMo Framework。NeMo Framework 是 NVIDIA 大语言模型的全栈解决方案，它通过不同组件完成生成式 AI 各个环节的任务，包括数据预处理、分布式训练、模型微调、模型推理加速及部署（Ten...
-
AIGC图像技术在淘宝人生2的探索和应用
淘宝人生2（又名：第二人生）是淘宝的一个虚拟人装扮类应用，承担了用户在淘宝的第二个人生的作用。我们旨在通过AI为淘宝人生2的用户提供丰富有趣的可玩性内容，随着最近火热的AIGC技术的发展，我们也进行了相关尝试和落地，目前已经上线了AI拍照...
-
ADMap：抗干扰在线高精地图新思路
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 大家好，很开心能够受邀来到自动驾驶之心分享我们的在线重建矢量化高精度地图的抗扰动方法ADMap。我们的代码已经发布在https://github.com/hht199...
-
PPIO王闻宇：论GPU的过去、现在和未来｜AIGC基石思考之算力哲学
00 前言：算力与GPU 算力，即计算能力（Computing Power）。更具体来说，算力是通过对信息数据进行处理，实现目标结果输出的计算能力。 最早的算力引擎。是人类的大脑，后来演变成草绳、石头、算筹（一种用于计算的小棍子）、算盘。到...
-
【阿里云】使用EAS一键部署Stable Diffusion AIGC绘画
文章目录 前言 前提条件 部署EAS服务 1. 进入PAI-EAS 模型在线服务页面 2. 点击部署服务 3. 在部署服务页面，配置以下关键参数 4. 点击部署后等待 自己的模型及输出目录等内容如何挂载 启动WebUI进行模型推理 后续...
-
如何在 MacBook Pro 上安装 LLama.cpp + LLM Model 运行环境
如何在 MacBook Pro 上安装 LLama.cpp + LLM Model 运行环境 1. 问题与需求 近段时间想学习一下大语言模型的本地化部署与应用。首先遇到的就是部署硬件环境的问题。我自己的笔记本是一台 MacBook Pro M3，没...
-
李彦宏：百度文心大模型推理成本已降至1%！与三星、荣耀等达成合作
快科技2月29日消息，在百度2023年第四季度及全年财报电话会上，百度创始人、董事长兼首席执行官李彦宏透露，百度文心大模型推理成本已降至1%。 李彦宏表示，自发布以来，百度不断降低文心大模型的推理成本，文心一言”3.5版本的推理成本是3.0版本的1%。 通...
-
高性能 LLM 推理框架的设计与实现
一、大语言模型推理概要介绍 与传统的 CNN 模型推理不同，大语言模型的推理通常会分成 prefill 和 decoding 两个阶段。每一个请求发起后产生的推理过程都会先经历一个 Prefill 过程，prefill 过程会计算用户所有的输入，并生...
-
逻辑推理大翻车！GPT-4、Gemini被曝重大缺陷，LLM严重降智
近期，谷歌DeepMind和斯坦福的研究人员发现大型语言模型在处理逻辑推理任务时，前提信息的呈现顺序对其表现具有决定性影响。 在逻辑推理和数学问题中，前提按照逻辑自然顺序排列时，模型表现更佳。对于大型语言模型，改变前提叙述顺序会导致性能大幅下降，尤其是在添...
-
动手实践丨轻量级目标检测与分割算法开发和部署(RK3568)
本文分享自华为云社区《自动驾驶(AIOT - 轻量级目标检测与分割算法开发和部署(RK3568 【玩转华为云】》，作者：HouYanSong。 本文将在ModelArts平台上开发轻量级目标检测与分割算法，并使用ModelBox框架在RK3568开发板...
-
首席分析师揭秘爆火Groq，每小时要烧168美元！10倍H100拥有成本，老黄笑而不语
最近爆火的AI初创公司Groq，推出了比目前常见GPU推理系统快4倍，成本低70%的大模型推理解决方案。 他们提供的运行Mistral Mixtral 8x7b的API演示，让大部分习惯了其他LLM「娓娓道来」的用户直呼，简直是魔法！ Groq在处理...
-
Quantitative Analysis: PIM Chip Demands for LLAMA-7B inference
1 Architecture 如果将LLAMA-7B模型参数量化为4bit，则存储模型参数需要3.3GB。那么，至少PIM chip 的存储至少要4GB。 AiM单个bank为32MB，单个die 512MB，至少需要8个die的芯片。 8个die...
-
Gemma.cpp官网体验入口 谷歌Gemma AI模型下载地址
Gemma.cpp是谷歌为Gemma模型开发的轻量级、独立的C++推理引擎。它专注于为Gemma 2B和7B模型提供简洁、直接的实现，旨在支持研究和实验用例，易于嵌入其他项目且具有高度的可修改性。gemma.cpp利用Google Highway库，优化了...
-
Groq最快AI推理芯片成本推算高得离谱 运行LIama2得1171万美元
最近，Groq 公司推出了一款号称性价比高达英伟达 GPU100倍的 AI 推理芯片，引起了广泛关注。然而，运行其最快 AI 推理芯片 LIama2所需的成本高达1171万美元，让业内人士开始对其效益进行热议。网友们通过粗略估算发现，为了运行 LIama2...
-
运行LIama2得8400万元！最快AI推理芯片成本推算引热议
想实现史上最快大模型推理，得要1171万美元（8410万元）？？？ 同等项目下，使用英伟达GPU成本只需30万美元…… 关于最强AI芯片易主Groq，可能得让子弹再飞一会儿了。 这两天，Groq惊艳亮相。它以号称“性价比高英伟达100倍”的芯片，实现每秒...
-
云原生内容分享(十四)：云原生场景下 Fluid 如何加速 AIGC 工程实践
目录 导读 大模型推理对基础设施带来更多挑战 基于容器的A/大数据成为云原生时代的技术趋势 AIGC模型推理服务在云原生场景下的痛点 Fluid:是什么？ Fluid在云原生AIGC模型推理场景的优化概述 开箱即用的计算侧分布式缓存 到处运...
-
大模型最快推理芯片一夜易主：每秒500tokens干翻GPU！谷歌TPU人马打造，喊话奥特曼：你们也太慢了
太快了太快了。 一夜间，大模型生成已经没什么延迟了……来感受下这速度。 ，时长00:06 眼花缭乱了吧，生成速度已经接近每秒500 tokens。 还有更直观的列表对比，速度最高能比以往这些云平台厂商快个18倍吧。 （这里面还有个熟悉的身影：Lepton...
-
大模型最快推理芯片一夜易主 Groq每秒可达500 tokens
近期，一家名为Groq的初创公司推出了一款大模型推理芯片，其推理速度达到了每秒500tokens的惊人水平，轻松颠覆了传统GPU的性能。Groq的团队由谷歌TPU原班人马组成，他们自主研发的芯片不仅速度快，而且成本低廉，性价比高，成为了大模型推理加速的新宠...
-
Groq大模型推理芯片每秒500tokens超越GPU，喊话三年超过英伟达
Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轰动，超越了传统GPU和谷歌TPU。该芯片由初创公司Groq研发，其团队成员来自谷歌TPU，包括创始人兼CEO Jonathan Ross，曾设计实现第一代TPU芯片的核心元件。 Groq采...
-
GPT-4可能也在用的推测解码是什么？一文综述前世今生和应用情况
众所周知，大型语言模型（LLM）的推理通常需要使用自回归采样，这个推理过程相当缓慢。为了解决这个问题，推测解码（Speculative Decoding）已经成为 LLM 推理的一种新型采样方法。这种方法在每个采样步骤中，会先预测几个可能的 token，...
-
llama.cpp中main函数参数
使模型类gpt式交互： ./main -m .\models\llama-2-7b-chat\ggml-model-q4_0.gguf -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompt...
-
使用deepspeed继续训练LLAMA
目录 1. 数据训练配置 2. 模型载入 3. 优化器设置 4. DeepSpeed 设置 5. DeepSpeed 初始化 6. 模型训练 LLAMA 模型子结构： 1. 数据训练配置 利用 PyTorch 和 Transfo...
-
基于PAI-EAS一键部署Stable Diffusion AIGC绘画
人工智能平台PAI完成云上Stable Diffusion以文生图应用搭建，支持两种方式： 使用交互式建模 PAI-DSW 使用模型在线服务 PAI-EAS 两种部署适用人群： 1. 使用交互式建模 PAI-DSW 部署Stable Di...
-
文心一言一把火，百度智能云盈利了！李彦宏诚不欺我？
鱼羊 发自 凹非寺量子位 | 公众号 QbitAI 文心一言发布后，百度的首份财报来了。 先说结论：以文心一言为代表的大模型技术，正在给百度带来新的增长契机。 文心一言发布前，李彦宏就曾判断： 中国AI市场即将迎来爆发性的需求...
-
AIGC内容分享(四十四)：[AIGC服务] 视频生成 | “群魔乱舞“
目录 骨架驱动的人形动画生成 原理简介 应用前景 骨架驱动的人形动画生成 输入 人脸图像+视频动画 或者 文本描述 输出 视频...
-
stable diffusion微调总结
stable diffusion微调总结 stable diffusion 模型类别： SD SD2 SDXL SDXL LCM（潜在一致性模型） SDXL Distilled SDXL Turbo 安装accelerate 通过pip...
-
吉他摇滚、电子音乐都能搞定，Meta开源音频生成新模型MAGNeT，非自回归7倍提速
在文本生成音频（或音乐）这个 AIGC 赛道，Meta 最近又有了新研究成果，而且开源了。 前几日，在论文《Masked Audio Generation using a Single Non-Autoregressive Transformer》中，...
-
在2GB DAYU200上本地部署大语言模型
实现思路和步骤 移植轻量级LLM模型推理框架InferLLM到OpenHarmony标准系统，编译出能在OpenHarmony运行的二进制产物。（InferLLM 是一个简单高效的 LLM CPU 推理框架，可以本地部署 LLM 中的量化模型） 使用O...
-
语言模型大战：GPT、Bard与文心一言，谁才是王者？
如何对GPT-3.5、GPT-4、Bard、文心一言、通义千问的水平进行排序？ 在聊技术原理之前我们来先看看几个产品的团队背景 一、团队背景 1.1、ChatGPT ChatGPT团队的成员大多具有计算机科学、人工智能、自然语言处理、机器学...
-
「天工2.0」MoE大模型发布
2月6日，昆仑万维正式发布新版MoE大语言模型「天工2.0」与新版「天工AI智能助手」APP，这是国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用。用户即日起可在各手机应用市场下载「天工AI智能助手」APP，体验昆仑万维「天...
-
史上首个100%开源大模型重磅登场！破纪录公开代码/权重/数据集/训练全过程，AMD都能训
多年来，语言模型一直是自然语言处理（NLP）技术的核心，考虑到模型背后的巨大商业价值，最大最先进的模型的技术细节都是不公开的。 现在，真·完全开源的大模型来了！ 来自艾伦人工智能研究所、华盛顿大学、耶鲁大学、纽约大学和卡内基梅隆大学的研究人员，联合发表了...
-
决战拜年之巅！你能经受住AI七大姑八大姨的灵魂拷问吗？
快过年了，准备好面对亲戚的“灵魂拷问”了吗? 就在不少人都为此犯愁之时，一款非常应景的大模型游戏突然蹿红，各种群里玩疯了。 《决战·拜年之巅》，给你一个提前和AI七大姑八大姨们演练的宝贵机会。 还没进门，就发现全家族亲戚已经围坐在一起聊的火热，话题的中心...
-
基于医疗领域数据微调LLaMA——ChatDoctor模型
文章目录 ChatDoctor简介 数据构建和训练过程 建立外部知识库 ChatDoctor相比ChatGPT有什么优势？ ChatDoctor的效果 代码解读 train_lora.py文件解读 微调实战 下载仓库并进入目录 创建con...
-
BiTA：创新AI方法加速大型语言模型生成
近年来，基于transformer架构的大型语言模型（LLMs）已经崭露头角。Chat-GPT和LLaMA-2等模型展示了LLMs参数的迅速增加，从几十亿到数万亿。尽管LLMs是非常强大的生成器，但由于所有参数的计算负载，它们在推理延迟方面存在问题。因此，...
-
云原生场景下，AIGC 模型服务的工程挑战和应对
“成本”、“性能”和 “效率”正在成为影响大模型生产和应用的三个核心因素，也是企业基础设施在面临生产、使用大模型时的全新挑战。AI 领域的快速发展不仅需要算法的突破，也需要工程的创新。 01 大模型推理对基础设施带来更多挑战 首先，AI 商业化的时代，...
-
揭秘NVIDIA大模型推理框架：TensorRT-LLM
一、TensorRT-LLM 的产品定位 TensorRT-LLM 是 NVIDIA 用于做 LLM（Large Language Model）的可扩展推理方案。该方案是基于 TensorRT 深度学习编译框架来构建、编译并执行计算图，并借鉴了许多 Fa...
-
LLM巫师，代码预训练是魔杖！UIUC华人团队揭秘代码数据三大好处
大模型时代的语言模型（LLM）不仅在尺寸上变得更大了，而且训练数据也同时包含了自然语言和形式语言（代码）。 作为人类和计算机之间的媒介，代码可以将高级目标转换为可执行的中间步骤，具有语法标准、逻辑一致、抽象和模块化的特点。 最近，来自伊利诺伊大学香槟分校...
-
AI视野：剪映推出AI音色克隆功能；小红书AI文案生成器上线；HeyGen支持和AI进行视频聊天；Fotor在海外爆火
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 剪映推出AI音色克...
-
5.28 深圳活动｜Jina AI 生态助力云原生场景下的 AIGC 应用开发
亚马逊云科技 Community Day 将于 5 月 28 日 在深圳南山区海德酒店 11 楼举办，Jina AI 软件工程师付杰将带来 《Jina AI 生态助力云原生场景下的 AIGC 应用开发》 的主题演讲。 Community Day 是亚马逊云...
-
「think step by step」还不够，让模型「think more steps」更有用
如今，大型语言模型（LLM）及其高级提示策略的出现，标志着对语言模型的研究取得了重大进展，尤其是在经典的 NLP 任务中。这其中一个关键的创新是思维链（CoT）提示技术，该技术因其在多步骤问题解决中的能力而闻名。这项技术遵循了人类的顺序推理，在各种挑战中...
-
一文了解AIGC与ChatGPT
关注微信公众号掌握更多技术动态 --------------------------------------------------------------- 一、AIGC简介 1.AIGC基础 (1 AIGC是什么 AIGC是人...
-
[NLP]LLaMA与LLamMA2解读
摘要 Meta最近提出了LLaMA(开放和高效的基础语言模型 模型参数包括从7B到65B等多个版本。最值得注意的是，LLaMA-13B的性能优于GPT-3，而体积却小了10倍以上，LLaMA-65B与Chinchilla-70B和PaLM-540B具有竞...