-
大模型应用开发，AI 厂商开启新一轮“群雄逐鹿”？
价格战的硝烟似乎还没有平息，但 AI 厂商们的又一场战争已经开始。 这一次的竞争核心是大模型应用开发。根据 IDC 报告，2023年中国大模型平台及相关应用市场规模约还仅有区区17.65亿元人民币，但伴随着行业的巨变，2024年，模型应用开发相关的产业规模...
-
开源模型应用落地-qwen2.5-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100（十八）
一、前言 本篇文章将使用LLaMA-Factory去高效微调（命令和界面方式）QWen2.5系列模型，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。 QWen2系列模型微调: 开源模型应用落...
-
大模型存储选型 & JuiceFS 在关键环节性能详解
从去年开始，LLM大语言模型领域发展迅速、如 LLaMA、ChatGLM、Baichuan、Qwen 和 yi-model 等基础模型（Foundation Models）的数量显著增加。众多企业也开始基于这些基础模型做 post-training 的相关...
-
如何在Android上运行Llama 3.2
引言 随着Llama 3.2的发布，Meta在将强大的语言模型带到边缘和移动设备方面取得了重大进展。Llama 3.2包含了专为智能手机和平板电脑高效运行而设计的轻量级模型（1B和3B参数）。本教程将指导您通过MLC LLM库对Llama 3.2模型进...
-
Meta发布Llama 3.2，Llama 终于能看见了！
Llama家族再添新成员，多模态能力终于到来！ Meta刚刚发布了Llama 3.2模型系列，包括多模态视觉模型和小型文本模型，共计10个开放权重模型。 这次更新不仅带来了期待已久的视觉能力，还为移动设备和边缘计算提供了更多选择。 多模态Llam...
-
LLM | llama.cpp 安装使用（支持CPU、Metal及CUDA的单卡/多卡推理）
1. 详细步骤 1.1 安装 cuda 等 nvidia 依赖（非CUDA环境运行可跳过） # 以 CUDA Toolkit 12.4: Ubuntu-22.04/24.04(x86_64 为例，注意区分 WSL 和 Ubuntu，详见 http...
-
使用 CTranslate2 实现 Faster Whisper 的加速转录
使用 CTranslate2 实现 Faster Whisper 的加速转录 近年来，语音识别技术得到了快速发展。OpenAI 的 Whisper 模型作为其中的佼佼者，以其高精度和强大的性能广受欢迎。然而，其较长的推理时间和高内存消耗也成为了限制其应...
-
推荐文章：深度探索图像生成新境界 - TensorRT Extension for Stable Diffusion
推荐文章：深度探索图像生成新境界 - TensorRT Extension for Stable Diffusion Stable-Diffusion-WebUI-TensorRTTensorRT Extension for Stable Diffus...
-
llama3.cuda: 纯C/CUDA实现的Llama 3模型使用教程
llama3.cuda: 纯C/CUDA实现的Llama 3模型使用教程 llama3.cudallama3.cuda is a pure C/CUDA implementation for Llama 3 model.项目地址:https://git...
-
AI PC（智能电脑）技术分析
一文看懂AI PC（智能电脑） 2024年，英特尔、英伟达等芯片巨头革新CPU技术，融入AI算力，为传统PC带来质的飞跃，引领智能计算新时代。 2024年，因此被叫作人工智能电脑（AI PC）的“元...
-
探索无限创意：基于C++的Stable Diffusion图像生成库
探索无限创意：基于C++的Stable Diffusion图像生成库 axodox-machinelearning This repository contains a C++ ONNX implementation of StableDiffus...
-
Whisper JAX：闪电般快速的语音识别框架
Whisper JAX：闪电般快速的语音识别框架 whisper-jaxJAX implementation of OpenAI's Whisper model for up to 70x speed-up on TPU.项目地址:https://gi...
-
【AIGC】ComfyUI安装及常见问题cuda及pytorch安装教程
说明：ComfyUI安装方式有很两种，第一种是下载独立包。独立包下载到本地后，即可使用。不需要搭建（安装）python、cuda、cudnn、pytorch环境. 第二种是，手动安装。手动安装要复杂很多，需要搭建开发环境，即安装python、cuda、c...
-
Chinese-Vicuna: 一个基于LLaMA的中文指令跟随模型
Chinese-Vicuna简介 Chinese-Vicuna是一个基于LLaMA的中文指令跟随模型，由研究者开发，旨在以低资源的方式实现高效的中文语言模型训练。该项目的主要目标是构建和分享可以在单个Nvidia RTX-2080TI上训练的中文指令跟随...
-
深度技术分析：Meta Llama 3模型训练故障剖析
## 摘要 Meta公司在一项涉及16,384个Nvidia H100 80GB GPU的Llama 3 405B模型训练中，遭遇了频繁的硬件故障。在54天的训练期间，平均每三小时就发生一次组件故障，其中半数故障与GPU或其HBM3内存有关。尽管面临如此挑...
-
本地搭建 Whisper 语音识别模型
Whisper 是由 OpenAI 开发的一款强大的语音识别模型，具有出色的多语言处理能力。搭建和使用 Whisper 模型可以帮助您将音频内容转换为文本，这在语音转写、语音助手、字幕生成等应用中都具有广泛的用途。本指南将对如何在本地环境中搭建 Whisp...
-
Unsloth 教程 - 如何微调 Llama-3并导出到 Ollama
本文翻译整理自：? How to Finetune Llama-3 and Export to Ollamahttps://docs.unsloth.ai/tutorials/how-to-finetune-llama-3-and-export-to-ol...
-
Stable Diffusion & ComfyUI（一）
前言 我是 Porterxie，一位对技术充满好奇的程序员。最近，我对 Stable Diffusion（下文中统称为 SD）以及 ComfyUI 进行了初步的学习和研究，想在这里分享下学习过程中的一些经验及理解。 在此之前，人工智能对我来讲，完全是一...
-
llama factory LoRA微调qwen大模型 | 新手炼丹记录(1)
往期回顾 llama factory LoRA微调qwen大模型 | 新手炼丹记录(1 -CSDN博客 大模型使用llama.cpp转换gguf格式并量化 | 新手炼丹记录(2 -CSDN博客 oll...
-
LLaMa-Factory入门教程
LLaMa-Factory是一个基于人工智能技术的开源项目，专为大型语言模型（LLMs）的微调而设计。它提供了丰富的工具和接口，使得用户能够轻松地对预训练的模型进行定制化的训练和调整，以适应特定的应用场景。以下将详细介绍如何使用LLaMa-Factory：...
-
【丹摩智算实战】手把手教你Llama 3.1 8B部署：开启自然语言处理新篇章
前言 在自然语言处理（NLP）领域，大模型（LLM）的发展日新月异，为各种应用场景带来了前所未有的能力。近日，Meta公司宣布推出了其最新的开源模型——Llama 3.1，这一消息在行业内引起了广泛关注。本文将详细介绍Llama 3.1的背景、特点、部...
-
LLaMA- Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
发表时间：14 Jun 2023 论文链接：https://arxiv.org/pdf/2303.16199 作者单位：Shanghai Artificial Intelligence Laboratory Motivation：最近，指令跟踪模型取...
-
Ubuntu LLaMA-Factory实战
一、Ubuntu LLaMA-Factory实战安装： CUDA 安装 CUDA 是由 NVIDIA 创建的一个并行计算平台和编程模型，它让开发者可以使用 NVIDIA 的 GPU 进行高性能的并行计算。 首先，在 https://develop...
-
保姆级 Stable Diffusion 教程，看完这篇就够了！
在美国科罗拉多州举办了一场新兴数字艺术家竞赛，一幅名为《太空歌剧院》的作品获得“数字艺术/数字修饰照片”类别的一等奖，神奇的是，该作品的作者并没有绘画基础，这幅画是他用 AI 生成的。 这让人们充分见识到AI 在绘画领域惊人的创造力，AI 作品不仅可...
-
马斯克万亿追击OpenAI，钢铁侠大战奥特曼
钢铁侠大战奥特曼，已经在大洋彼岸的美国上演了，而且比电影里精彩多了，这是一场靠燃烧美元持续的朴实无华的商战。 这个奥特曼就是OpenAI的CEO山姆奥特曼了，钢铁侠就是埃隆马斯克了。 在9月11日这个对美国来说有特殊意义的日子，彭博社发消息说OpenAI又...
-
Windows安装docker，启动ollama运行open-webui使用AIGC大模型写周杰伦歌词
Windows安装docker，启动ollama运行open-webui使用AIGC大模型写周杰伦歌词 1、下载docker的Windows版本。 docker下载地址： https://docs.docker.com/desktop/insta...
-
【AI绘画教程】ComfyUI基础篇：小白都可以学会的ComfyUI安装教程（原生版安装包）
大家好，我是程序员晓晓 自从Flux这一款最新黑马文生图模型推出以来，Flux的浪潮正以不可阻挡之势席卷全球，目前本地电脑环境要玩Flux, 支持方式主要是ComfyUI。但是ComfyUI工具安装一直是很多小白比较困惑的地方，在和小伙伴的私下留言中，C...
-
探索LLaMA模型的无限可能：LLaMA API服务器项目推荐
探索LLaMA模型的无限可能：LLaMA API服务器项目推荐 llama-api An OpenAI-like LLaMA inference API 项目地址: https://gitcode.com/gh_mirrors/ll/llama...
-
Insanely Fast Whisper CLI 项目教程
Insanely Fast Whisper CLI 项目教程 insanely-fast-whisper-cli The fastest Whisper optimization for automatic speech recognition a...
-
使用Ollama本地部署Llama 3.1大模型
Llama 3.1 介绍 2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可...
-
Meta Llama 3介绍及其关键技术
随着深度学习算法的突破和发展，语言模型已经成为连接人与机器的重要桥梁。在这一领域中，Meta的Llama 3 作为最新一代的大规模预训练模型，凭借其卓越的性能和广泛的应用前景，正逐渐成为行业内的佼佼者。 Llama 3 的研发团队继承了前代模型的技术优势...
-
使用 GaLore 预训练LLaMA-7B
项目代码： https://github.com/jiaweizzhao/galorehttps://github.com/jiaweizzhao/galore 参考博客： https://zhuanlan.zhihu.com/p/686686751...
-
3天把Llama训成Mamba，性能不降，推理更快！
近日，Mamba方面又搞出了有意思的研究：来自康奈尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型，并且设计了新的推测解码算法，加速了模型的推理。\ 先来看一张其乐融融的图片（一眼AI）： 右边的小羊驼代表Llama，而左边的蛇（...
-
AIGC时代！AI的“iPhone时刻”与投资机遇
AIGC时代！AI的“iPhone时刻”与投资机遇 前言 AI的“iPhone时刻”与投资机遇 前言 AIGC，也就是人工智能生成内容，它就像是一股汹涌的浪潮，席卷了整个科技世界。它的出现，让我们看到了人工智能的无限潜力，也让我们...
-
Whisper ASR Webservice 使用教程
Whisper ASR Webservice 使用教程 whisper-asr-webserviceOpenAI Whisper ASR Webservice API项目地址:https://gitcode.com/gh_mirrors/wh/whis...
-
AIGC大模型扩图：Sanster/IOPaint（4）
AIGC大模型扩图：Sanster/IOPaint（4） 用大模型实现AI扩大一张图的周边区域，变得更大，当然必须契合原图，和原图浑然一体。 1、这次模型换用 Sanster/PowerPaint-V1-stable-diffusion-inp...
-
利用 FP8 量化加速 Llama-3-70B 推理
本文针对在 Amazon P5 (H100 GPU 上部署 Llama-3-70b FP8 精度模型的两种方案选型（Trion 及 LMI – Large Model Inference 容器）进行了探索，同时提供了基于 FMBench 的性能评估的最佳...
-
在 windows 上部署使用 Whisper 教程
在 Windows 上部署 OpenAI Whisper：详细教程 OpenAI Whisper 是一个功能强大的多语言语音识别模型，能够处理多种音频格式并生成高质量的字幕文件。本文将详细介绍如何在 Windows 系统上部署 Whisper，利用 G...
-
AI绘画SDWebUI-Foge运行最强开源 Flux1.0大模型，低显存设备也能跑！让你轻松制作高质量图片！
大家好！我是程序员晓晓 最近AI绘画开源社区又开始发力了，lllyasviel（敏神）——ControlNet的作者刚才发布了一款Flux1-dev-bnb-nf4-v2模型，这个版本最大的优势就是能让低显存的设备也能运行，这个低到底有多低呢？ 实测下...
-
丹摩智算平台部署 Llama 3.1：实践与体验
文章目录 前言 部署前的准备 创建实例 部署与配置 Llama 3.1 使用心得 总结 前言 在最近的开发工作中，我有机会体验了丹摩智算平台，部署并使用了 Llama 3.1 模型。在人工智能和大模型领域，Meta 推出的 Lla...
-
三星推出Galaxy Tab S10系列平板：搭载天玑9300 、优化AI性能
快科技9月27日消息，据媒体报道，三星推出了Galaxy Tab S10系列平板电脑，包括Galaxy Tab S10 Ultra和Galaxy Tab S10 两款产品，搭载联发科天玑9300 ，首次在其旗舰平板电脑中搭载联发科芯片。 据悉，天玑9300...
-
最强服务器CPU来了！AI性能直接翻倍
服务器CPU领域持续多年的核心数量大战，被一举终结了! 英特尔最新发布的至强®6性能核处理器（P-core系列），超越了过去单一维度的竞争，通过“升维”定义了新的游戏规则: 在过去，CPU升级换代往往要在单个芯片上集成更多的核心，但这难免会受到工艺和芯...
-
Insanely Fast Whisper CLI 使用教程
Insanely Fast Whisper CLI 使用教程 insanely-fast-whisper-cli The fastest Whisper optimization for automatic speech recognition a...
-
Stable-Diffusion-web UI运行环境搭建和界面配置
Stable-Diffusion-web UI运行环境搭建和界面配置 前言 一、论文 二、源码下载 三、权重模型和文件下载 （1）下载sd-v1-4.ckpt模型 （2）下载openai/clip-vit-large-patch14模型...
-
[AI绘画] 简明原生 ComfyUI 零失误安装教程！
前言 本教程适用于为 windows 系统部署原生 ComfyUI 「第1步：安装所需的必要前置工具」 开源软件下载工具 [GitBash] https://git-scm.com/downloads 解压工具 [7-zip] https:...
-
探索Llama 3.1：开源模型的本地部署与创新应用实践
文章目录 1 Llama 3.1模型的突破性进展 2 Llama 3.1模型在业务场景中的实践案例 3 使用教程 4 Llama 3.1在客户服务中的运用 1 Llama 3.1模型的突破性进展 在数字化转型的浪潮中，大型语言模型...
-
＜Project-3 Video2SubTitle＞ Python coding Flask应用：从视频中，提取对白，生成独立的字幕文件 浏览器页面交互 调用cuda, Whisper模型
原因： 在网上看到一个视频没有字幕。 记者问小泉纯一郎 (前日本首相 ，我只是好奇，想知道Y说的是什么。 上面这个帖子里的视频：https://x.com/i/status/1834489208398115295 视频没有字幕，那就自己做...
-
将LLaMA模型导出为ONNX格式的教程
将LLaMA模型导出为ONNX格式的教程 export_llama_to_onnx export llama to onnx 项目地址: https://gitcode.com/gh_mirrors/ex/export_llama_to_onn...
-
`ModuleNotFoundError: No module named ‘whisper‘`
/home/shgbitai/pythonworkspace/ai-accompany/venv/bin/python /home/shgbitai/pythonworkspace/ai-accompany/main.py Traceback (most...
-
使用Stable Diffusion生成的图像合成数据集
使用Stable Diffusion生成图像合成数据集 相关论文Stable DiffusionDALL-E seriesDALL-E seriesImagen 一、Stable Diffusion的原理 Stable Diffusion是一种基...