-
Llama 3.1深度解析：405B、70B及8B模型的多语言与长上下文处理能力
Llama 3.1 发布了！今天我们迎来了 Llama 家族的新成员 Llama 3.1 进入 Hugging Face 平台。我们很高兴与 Meta 合作，确保在 Hugging Face 生态系统中实现最佳集成。Hub 上现有八个开源权重模型 (3 个...
-
NVIDIA将发近年最重要科技财报！市场期待能否戳破AI泡沫论
快科技8月25日消息，美东时间8月28日，半导体巨头NVIDIA将公布其2025财年第二财季业绩，市场普遍预期这将是近年来科技界最重要的一份财报。 虽然多位分析师都给出了乐观预期，但不可否认的是，投资AI是场回报率难达预期的泡沫”疑虑仍难消解。 如果NVI...
-
【LLM】一、利用ollama本地部署大模型
目录 前言 一、Ollama 简介 1、什么是Ollama 2、特点： 二、Windows部署 1.下载 2.安装 3.测试安装 4.模型部署： 5.注意 三、 Docker部署 1.do...
-
智能语音生成会议纪要的神器
嘿，技术爱好者们，今天我想分享一个令人兴奋的智能语音项目。它巧妙地结合了faster-whisper、Pyannote以及一系列先进的大语言模型，旨在为会议纪要的自动化生成带来新的可能。 开发了一个智能语音生成会议纪要的神器 在线体验：智能语音...
-
摩尔线程开源音频理解大模型MooER：38小时训练5000小时数据
快科技8月23日消息，摩尔线程官方宣布，音频理解大模型MooER”（摩耳）已经正式开源，并公布在GitHub上：https://github.com/MooreThreads/MooER 目前开源的内容包括推理代码，以及5000小时数据训练的模型，后续还将...
-
【课程总结】day24（上）：大模型三阶段训练方法(LLaMa Factory)
前言 本章我们将通过 LLaMA-Factory 具体实践大模型训练的三个阶段，包括：预训练、监督微调和偏好纠正。 大模型训练回顾 训练目标 训练一个医疗大模型 训练过程实施 准备训练框架 LLaMA Factory是一款开源低...
-
快速体验LoRA微调Llama3-8B模型以及海光DCU推理加速（曙光超算互联网平台国产异构加速卡）
序言 本文以 LLaMA-Factory 为例，在超算互联网平台SCNet上使用异构加速卡AI 显存64GB PCIE，对 Llama3-8B-Instruct 模型进行 LoRA 微调、合并和推理。 一、参考资料 github仓库代码：LLaM...
-
WhisperX 安装与使用指南
WhisperX 安装与使用指南 whisperXm-bain/whisperX: 是一个用于实现语音识别和语音合成的 JavaScript 库。适合在需要进行语音识别和语音合成的网页中使用。特点是提供了一种简单、易用的 API，支持多种语音识别和语音...
-
【AI绘画】分享个人 AI 绘画心得：Stable diffusion 入门引导教程
大家好，我是设计师子衿。 最近网络上已经有许多朋友都开始自己动手AI绘画，但是又不知道如何入手。在这里我稍微给大家引导入门。 一、AI绘图电脑配置 搞AI绘图，首先是要看自己的电脑配置，如果是配置太低的电脑就不建议玩AI绘图了。 Stable Di...
-
JuiceFS 在多云架构中加速大模型推理
在大模型的开发与应用中，数据预处理、模型开发、训练和推理构成四个关键环节。本文将重点探讨推理环节。在之前的博客中，社区用户 BentoML 和贝壳的案例提到了使用 JuiceFS 社区版来提高模型加载的效率。本文将结合我们的实际经验，详细介绍企业版在此场景...
-
1张Nvidia A100 80G部署Lamma3 70b 4bit的性能测试
这里写自定义目录标题 硬件 部署模型 硬件性能监控工具 GPU监控工具 CPU和系统内存监控工具 部署框架 命令 测试脚本与结果 输出定量token测试 prompt 脚本 Test Result 输入定量token测试 prom...
-
LLMs之Llama Coder：llama-coder的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama Coder：llama-coder的简介、安装和使用方法、案例应用之详细攻略 目录 llama-coder的简介 1、特点 llama-coder的安装和使用方法 1、安装 推荐硬件 本地安装 远程安装 模型...
-
Llama 3.1 - 405B、70B 和 8B 的多语言与长上下文能力解析
Llama 3.1 发布了！Llama 3.1 有三种规格: 8B 适合在消费者级 GPU 上进行高效部署和开发，70B 适合大规模 AI 原生应用，而 405B 则适用于合成数据、大语言模型 (LLM 作为评判者或蒸馏。这三个规格都提供基础版和指令调优...
-
Xinference安装及部署大模型
1. Xinference 介绍 Xorbits Inference (Xinference 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理...
-
华为昇腾Ascend系列 之 01 什么是昇腾芯片？AIGC浪潮已至，进一步推动对芯片和算力的需求，主流 GPGPU/ASIC 产品性能对比（Ascend 910、Ascend 910B）
什么是昇腾Ascend 910、Ascend 910B 昇腾 310 和 910 处理器为华为AI 算力领域核心产品，910 单卡 Int8 算力大致可达 0.6 P，最大功耗为 300W，已可对标国际主流 GPU。且昇腾计算产业在硬件方面坚持“硬件开...
-
没有算力？我发现一个白PIAO 4090 GPU的机会
最近发现京东云在推他们的GPU算力平台，竟然被我发现一个白嫖的机会，花9块9，可以用两天英伟达4090，太爽了。 不知道是不是他们的一个BUG，反正现在亲测有效。我是凌晨1点买的，原以为是第二天凌晨1点就到期了，没想到是第二天晚上12点才到期，应该是他们...
-
AI绘画大模型-StableDiffusion最强模型sd3（本地安装方法）
前言/introduction Stable Diffusion 3（简称SD3）是Stability AI最新推出的文本到图像生成模型。相比前代模型，SD3在生成质量、细节表现以及运行效率上有了显著提升，尤其在细腻的图像渲染和复杂...
-
非Transformer时代到来！全新无注意力模式超越Llama传奇
来源 | 机器之心 ID | almosthuman2014 Mamba 架构模型这次终于要「站」起来了？自 2023 年 12 月首次推出以来，Mamba 便成为了 Transformer 的强有力竞争对手。 此后，采用 Mamba 架构的模型...
-
Meta Llama 3.1：AI领域的新里程碑
Meta最近推出了其最新的AI模型Llama 3.1，这不仅是一个技术上的飞跃，更是AI领域的一次重大突破。以下是Llama 3.1的一些关键技术亮点，值得每一位AI爱好者和开发者关注。 参数规模与性能 Llama 3.1包含三种规格：8B（80亿）、...
-
【三维重建】Pixel-GS:三维高斯泼溅的像素感知的梯度密度控制（去除浮点，提升精度）
项目：https://pixelgs.github.io/标题：Pixel-GS: Density Control with Pixel-aware Gradient for 3D Gaussian Splatting来源：香港大学；腾讯AI Lab...
-
大模型格局变天：Llama3.1 诞生
前言 相信大家翘首企盼的都是同一个主角，Meta藏到现在的王牌、最被社区看好能直接叫板GPT-4o的新一代开源大模型—Llama 3.1系列，终于正式发布了。 鉴于4月公开的两个Llama 3小参数模型8B和70B表现不俗，令开发者们对*参数版本的强...
-
秋叶V4.9整合包发布！什么是Stable Diffusion？如何安装Stable Diffusion？
Stable Diffusion秋叶整合包，一键安装Stable Diffusion，门槛极低，完全免费，支持Nvidia全系列显卡。 来自B站up主秋葉aaaki近期推出的Stable Diffusion整合包v4.9版本，能够让零基础用户轻松在本地部...
-
利用多Lora节省大模型部署成本｜得物技术
一、背景 近期，我们在大模型集群的部署过程中遇到了一些挑战。公司有多个业务场景，每个场景都基于自身的数据进行微调，训练出相应的大模型并上线。然而，这些场景的调用量并不高，同时大模型的部署成本较为昂贵，这造成了资源的浪费。 本文将介绍我们如何利用多Lor...
-
基于腾讯云高性能应用服务 HAI 搭建并使用 AI 模型 StableDiffusion 进行文生图
基于腾讯云高性能应用服务 HAI 搭建并使用 AI 模型 StableDiffusion 进行文生图 HAI是什么 高性能应用服务 HAI 与传统 GPU 云服务器 区别 使用高性能应用服务HAI 一键部署 StableDiffusion AI...
-
江大白 | 视觉Transformer与Mamba的创新改进，完美融合（附论文及源码）
本文来源公众号“江大白”，仅用于学术分享，侵权删，干货满满。 原文链接：视觉Transformer与Mamba的创新改进，完美融合（附论文及源码） 以下文章来源于微信公众号：AI视界引擎 作者：AI引擎 链接：https://mp.weixin.q...
-
小白教程：Unsloth 打造属于自己的中文版Llama3
在定制化业务场景中，如果利用专属数据集，经过微调的大模型能够在多种任务上与GPT-4媲美，并支持本地部署，保护隐私，同时还能降低运算成本。最新推出的Llama3，作为当前性能最强的开源基础大模型，非常适用于自然语言处理、机器翻译、文本生成、问答系统、聊天机...
-
comfyui入门｜超详细安装教程（汉化+管理器）
前言 今天我给大家分享的是怎么安装comfyUI。 网上安装comfyui的教程有很多，但是说的有点偏复杂了，特别是安装节点的时候，其实没那么难，这篇文章我就给大家分享下如何快速安装comfyui及各个节点的安装卸载。 其实刚开始我也摸索了很久，遇...
-
ComfyUI教程一：安装使用前的准备
前言 ComfyUI的用户越来越多，老李也接触了很多初学者，他们希望老李能在开始培训前讲一些相关基础知识，所以我就把自己之前的经验总结一下，方便刚刚接触comfyUI的同学学习。 今天我把comfyUI需要的几个基础软件给大家讲一下，主要面向的是普通...
-
微调（一）
微调有两种办法， 一是模型全部参数的微调，二是少量参数高效的微调。前者由于参数多，需要的GPU多，并且全参数微调可能把模型带偏，后者只需要微调少量参数，需要的GPU少，还可能达到不错的效果，成为大家研究的重点，取了个专有名词Parameter-Effic...
-
AI机器人本地免费部署（部署Llama 3.1详细教程）
昨日，Meta公司发布了人工智能模型——Llama 3.1。 那么Llama 3.1 405B的效果怎么样？我们来对比一张图，横向对比一下GPT-4。 可以看出，Llama 3.1 405B在各类任务中的表现可以与GPT-4等顶级的模型相差无几。...
-
从头开始微调Llama 3.1模型
在今天的科技专栏中，我们将深入探讨如何微调Llama 3.1模型，以使其更好地适应您的特定领域数据。微调大型语言模型（如Llama）的主要目的是为了在特定领域的数据上表现更好，从而生成更符合您需求的输出。以下是我们将要介绍的五个主要步骤： 安装必要的软...
-
运行Llama 2于本地CPU上的开源LLM推理指南
运行Llama 2于本地CPU上的开源LLM推理指南 Llama-2-Open-Source-LLM-CPU-InferenceRunning Llama 2 and other Open-Source LLMs on CPU Inference Lo...
-
探索未来视觉艺术的前沿：Stable Diffusion Web UI
探索未来视觉艺术的前沿：Stable Diffusion Web UI sygil-webuiStable Diffusion web UI项目地址:https://gitcode.com/gh_mirrors/sy/sygil-webui 在这个...
-
基于AutoDL的语言大模型入门——Llama2-chat-13B-Chinese
AutoDL界面 ① autodl-tmp文件夹：数据盘，一般用来存放大的文件。 ② 其他文件夹“autodl-pub” “miniconda3” “tf-logs”等等存放在系统盘，其中tf-logs是用于存放训练过程tensorboard的...
-
一键音频驱动图片数字人项目——EchoMimic(附整合包)
大家好，今天要给大家带来一个数字人相关项目——EchoMimic。该项目是由蚂蚁集团支付宝终端技术部出品，只需要一段音频和一个参考图片，EchoMimic就能让图片中的人物“活”起来。 我已制作好一键启动整合包和云端一键部署镜像方便大家快速上手体验！...
-
ComfyUI搭建教程
ComfyUI是一个功能丰富、高度可定制的Stable Diffusion操作界面，适合需要精细控制和高度自定义的用户。通过其模块化、低内存需求和快速启动等特点，ComfyUI为图像生成、AI研究、游戏开发等领域提供了强大的支持。 下载（需要科学上...
-
ComfyUI安装完整攻略
ComfyUI简介 ComfyUI是一种新型的Stable Diffusion用户界面，因其独树一帜的“节点式”界面，逐渐成为了AI绘画领域进阶玩家的得力武器。搭配各式各样的自定义节点与功能强大的工作流，它得以用更低的配置实现许多在WebUI等常规界面里...
-
Maxkb——无需代码，快速构建自己的AI助手
目录 1、maxkb的介绍 2、maxkb的安装步骤 2.1、硬件需求 2.2、搭建Docker环境 2.3、安装maxkb（使用命令形式） 2.4、使用1Panel安装 2.5、访问MaxKB 3、创建AI应用 4、内嵌项目 随...
-
大模型落地：GPU向上，NPU向下
自从ChatGPT问世以来，大模型取得了迅猛的发展。不仅是在ChatGPT本身这一自然语言处理领域取得了重要进展，而且在视频领域也有令人瞩目的大模型，比如DINOv2，它可以对视频图像进行语义理解。此外，SAM是一种能够对场景进行细粒度分割的模型。这些进展...
-
LLama.cpp轻量化模型部署及量化
模型文件下载 首先说一下用到的模型，这次用的是Llama3-8B-Chinese-Chat-GGUF-8bit模型，想要快速的从huggingface下载模型可以参考我的另一篇博文。 从huggingface更快的下载模型 1.准备模型文件...
-
ComfyUI零基础入门搭建教程
一、介绍 ComfyUI 是一个强大的、模块化的 Stable Diffusion 界面与后端项目。该用户界面允许用户使用基于图形/节点/流程图的界面设计和执行高级稳定的扩散管道。该项目部分其它特点如下： 目前全面支持 SD1.x，SD2.x，SDX...
-
LLaMA-Factory全面指南：从训练到部署
项目背景与概述 LLaMA-Factory项目目标 LLaMA-Factory项目是一个专注于大模型训练、微调、推理和部署的开源平台。其主要目标是提供一个全面且高效的解决方案，帮助研究人员和开发者快速实现大模型的定制化需求。具体来说，LLaMA-F...
-
基于飞桨框架的稀疏计算使用指南
本文作者-是 Yu 欸，华科在读博士生，定期记录并分享所学知识，博客关注者5w+。本文将详细介绍如何在 PaddlePaddle 中利用稀疏计算应用稀疏 ResNet，涵盖稀疏数据格式的础知识、如何创建和操作稀疏张量，以及如何开发和训练稀疏神经网络模型。...
-
最强开源模型 Llama 3.1 部署推理微调实战大全
目录 引言 一、Llama 3.1简介 二、Llama 3.1性能评估 三、Llama 3.1模型推理实战 1、环境准备 2、安装依赖 3、模型下载 4、模型推理 四、Llama 3.1模型微调实战 1、数据集准备 2、导入依赖包 3、读...
-
体验 Whisper ，本地离线部署自己的 ASR 语音识别服务
需求背景 最近看视频，过几天后经常忘记内容，所以有了把重点内容总结提炼到自己知识库的需求，这涉及到了提取视频中的音频数据、离线语音识别等功能。 提取视频中的音频数据，可以使用格式工厂或 FFmpeg 等工具， FFmpeg 可以使用命令 ffmpeg...
-
重磅！Stable Diffusion 3 终于免费开源了！吊打 Midjourney，附本地安装包教程！
前言 stable Diffusion 3 终于开源了，他的开源瞬间在AI界得到火爆追捧，曾一度吊打Midjourney等一系列收费AI软件，最主要的是它可以免费使用呦！下面我们来看一下他到底有多强大。 stable Diffusion 3 Me...
-
引领编程效率革命：Llama Coder深度解读
引领编程效率革命：Llama Coder深度解读 llama-coderReplace Copilot with a more powerful and local AI项目地址:https://gitcode.com/gh_mirrors/ll/ll...
-
AI绘画指南！白嫖那些免费的云端SD（解决sd部署麻烦、开不了机等问题）
目前，使用Stable Diffusion进行图像生成主要有两种部署方式：本地部署和云端部署。 本地部署对硬件配置有较高的要求，尤其是显卡的性能。对于觉得配置高性能显卡太贵或者用mac的小伙伴（比如我）来说，满足这些要求可能会...
-
Datawhale X 魔搭 AI夏令营第四期AIGC方向的实践学习
学习简介 从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习—— 适合想 入门并实践 AIGC文生图、工作...
-
Llama 3.1横空出世！开源巨无霸首次击溃闭源，全民GPT-4时代来临
新智元2024-07-24 12:30北京 编辑：编辑部 【新智元导读】大模型格局，再次一夜变天。Llama 3.1 405B重磅登场，在多项测试中一举超越GPT-4o和Claude 3.5 Sonnet。史上首次，开源模型击败当今最强闭源模型。小扎大...