-
【AI画图】stable-diffusion-webui学习之一《安装部署》
简介 Stable Diffusion是2022年发布的深度学习文本到图像生成模型，它是一种潜在扩散模型，它由创业公司Stability AI与多个学术研究者和非营利组织合作开发。目前的SD的源代码和模型都已经开源，在Github上由AUTOMATIC...
-
探索无限创意：基于C++的Stable Diffusion图像生成库
探索无限创意：基于C++的Stable Diffusion图像生成库 axodox-machinelearning This repository contains a C++ ONNX implementation of StableDiffus...
-
CobaltWhispers 项目使用教程
CobaltWhispers 项目使用教程 CobaltWhispers CobaltWhispers is an aggressor script that utilizes a collection of Beacon Object Files...
-
ERROR: Failed to build installable wheels for some pyproject.toml based projects (llama-cpp-python)
Building wheels for collected packages: llama-cpp-python Building wheel for llama-cpp-python (pyproject.toml ... error erro...
-
AWS Copilot CLI 使用指南
AWS Copilot CLI 使用指南 copilot-cliCopilot是亚马逊开源的一个命令行工具，用于简化在亚马逊Elastic Kubernetes Service (EKS 上部署和管理应用程序的过程。它提供了一系列的命令和工具，可以帮助...
-
大模型使用llama.cpp转换gguf格式并量化 | 新手炼丹记录(2)
系列回顾 llama factory LoRA微调qwen大模型 | 新手炼丹记录(1 -CSDN博客 大模型使用llama.cpp转换gguf格式并量化 | 新手炼丹记录(2 -CSDN博客 olla...
-
llama.cpp使用
llama.cpp的github库地址为ggerganov/llama.cpp: LLM inference in C/C++ (github.com ，具体使用以官方说明为准。 简介 llama.cpp目标是在本地和云端的各种硬件上以最小的设置和最...
-
llamafile本地安装配置并部署及远程测试大语言模型详细实战教程
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老 导航 檀越...
-
LLama.cpp轻量化模型部署及量化
模型文件下载 首先说一下用到的模型，这次用的是Llama3-8B-Chinese-Chat-GGUF-8bit模型，想要快速的从huggingface下载模型可以参考我的另一篇博文。 从huggingface更快的下载模型 1.准备模型文件...
-
Linux 常用命令最全总结大全【推荐收藏】
小伙伴们好，欢迎关注，一起学习、无限进步 文章目录 一、文件和命令 1、cd 命令 2、pwd 命令 3、ls 命令 4、cp 命令 5、mv 命令 6、rm 命令 二、查看文件内容 7、cat 命令 三、文件搜索 8、find...
-
使用go-llama.cpp 运行 yi-01-6b大模型，使用本地CPU运行，速度挺快的
1，视频地址 2，关于llama.cpp 项目 https://github.com/ggerganov/llama.cpp LaMA.cpp 项目是开发者 Georgi Gerganov 基于 Meta 释出的 LLaMA 模型（简易 Pyth...
-
Llamafile：简化LLM部署与分发的新选择
一、引言 在人工智能快速发展的今天，大型语言模型（LLM）作为自然语言处理（NLP）领域的核心力量，正在逐步改变我们的世界。然而，对于许多企业和开发者来说，LLM的部署和分发仍然是一个挑战。幸运的是，Llamafile的出现为我们提供了一个全新的解决方案...
-
利用openai的whisper，识别会议录音
下面是代码的详细解释： 一、 **导入必要的库** 代码开始时，导入了必要的库：`tkinter` 用于创建 GUI，`filedialog` 用于选择音频文件，`os` 用于文件操作，`whisper` 用于语音转文本。 二、**创建 GUI** G...
-
whisper.cpp 学习笔记
whisper.cpp whisper.cpp 学习笔记 whisper 介绍 源码下载 源码编译 支持的模型 优化/加速 生成库文件 使用 whispe.cpp 的 demo 参考文献 whisper.cpp 学习笔记...
-
Mozilla 开源 llamafile:大语言模型分发与部署新范式
引言 随着 ChatGPT、BERT 等大型语言模型(Large Language Model, LLM 在自然语言处理领域掀起巨大波澜,AI 技术正以前所未有的速度走近大众生活。然而,这些 LLM 的训练和推理对计算资源提出了极高要求,动辄数十甚至数百...
-
最新开源！Cover Agent 自动生成代码！开源的Copilot！
原文链接：（更好排版、视频播放、社群交流、最新AI开源项目、AI工具分享都在这个公众号！） 最新开源！Cover Agent 自动生成代码！开源的Copilot！ 🌟 Cover Agent是一个更广泛的实用程序套件的 ** 一部分 ** ，旨...
-
技术突破：llamafile一键部署大模型，释放AI潜力
目录 一、引言 二、什么是llamafile？ 1、设计目标 2、技术构成 3、与传统部署方式的对比 4、一键部署的优势 三、核心特性 1、一键部署的便捷性 2、跨平台支持 3、独立可执行文件 4、简化的分发流程 5、技术细节 6、用户体...
-
LLaMa大模型微调
1. 模型的微调 1.1 大模型LLaMa下载 先下载一个完整版本的LLaMa模型，官网的或别人下载微调过的中文版本的。 1.2 指令微调 执行run_clm_sft_with_peft 1.3 合并LORA 大模型的原始参数和微调后的参数...
-
【多线程】进程与线程
🥰🥰🥰来都来了，不妨点个关注叭！👉博客主页：欢迎各位大佬!👈 文章目录 1. 操作系统 2. 进程 2.1 进程是什么 2.2 进程管理 2.3 进程调度 2.3 内存管理 2.4 进程间通信 3. 线程 3.1 线程是什么 3...
-
在嵌入式处理器Jetson Orin上使用Whisper做语音内容识别（3）
1、简介 Nvidia的GPU+CUDA架构在大算力时代遥遥领先毫无疑问了，其通用的硬件特性使得它不再是以往的“显卡”，算力强大并且支持各种AI，软件生态的应用方式基本可以照搬PC端。相比于特定的核心NPU，它显得更加灵活，系统和显存的共用在带宽上有明显...
-
AIGC时代桌面软件开发技术展望
AIGC技术催生新一代桌面软件 现代大模型技术本质上是一种“NLP”技术，基于这个观点，文本描述驱动引擎就是AI技术落地无法规避的一道墙，每一个AI技术都必须实际的面对这个事实。就文本驱动技术而言，在一个token的两侧，分别插入一个...
-
排查 stable-diffusion-webui 局域网访问问题：详细解析配置步骤
排查 stable-diffusion-webui 局域网访问问题：详细解析配置步骤 引言： 在部署 stable-diffusion-webui 后，确保其在局域网内可访问是使用该工具的关键一步。如果您遇到了局域网无法访问的问题，本文将帮助您详细检查...
-
WhisperCLI-本地部署语音识别系统；Mis开源LLM推理平台；Dokploy-开源版Vercel；Mem-大规模知识图谱
1. Whisper-cli：可本地部署的开源语音识别系统 近日，Ruff的开发团队发布了一款名为Whisper cpp cli的全新语音识别系统，该系统已在GitHub Repo上开源。这是一款完全自主研发的语音转文字系统，基于Whisper技术构建。...
-
在OpenHarmony本地部署大语言模型
本文将第二届OpenHarmony技术大会上展示的《在OpenHarmony本地部署大语言模型》成果开源，开源地址：https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdp...
-
一文教你如何调用Ascend C算子
本文分享自华为云社区《一文教你如何调用Ascend C算子》，作者： 昇腾CANN。 Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，兼具开发效率和运行性能。基于Ascend C编写的算子程序，通过编译器编译和运行时...
-
人工智能技术应用笔记（七）：速度快一倍！低显卡用户福音来了——可本地部署的轻量级SD（Stable Diffusion Forge）
本篇为《人工智能技术应用》专栏的第七篇。希望以学习笔记的形式和大家一起了解和探索人工智能技术的实际应用。 《本地部署轻量级SD实操》 今天介绍一款在原stable diffusion webui基础上经过代码优化，结构重组之后的轻量级产品—...
-
让 stable diffusion 局域网访问：详细解析配置步骤【Stable Diffusion 实战教程】
有不会的，一对一沟通 排查 stable-diffusion-webui 局域网访问问题：详细解析配置步骤 引言： 在部署 stable-diffusion-webui 后，确保其在局域网内可访问是使用该工具的关键一步。如果您遇到了局域网无法访问的...
-
[AIGC] Maven的生命周期和Spring Boot的结合使用
在介绍Maven和Spring Boot结合使用之前, 了解Maven生命周期是非常必要的。Maven生命周期是构建过程中应遵循的一组步骤。每个步骤都代表了一个阶段，大致可以分为以下三部分： clean阶段: 清理上一次的构建结果。 default...
-
本地运行LlaMA 2的简易指南
大家好，像LLaMA 2这样的新开源模型已经变得相当先进，并且可以免费使用。可以在商业上使用它们，也可以根据自己的数据进行微调，以开发专业版本。凭借其易用性，现在可以在自己的设备上本地运行它们。 本文将介绍如何下载所需的文件和LLaMA 2模型，以运行C...
-
在2GB DAYU200上本地部署大语言模型
实现思路和步骤 移植轻量级LLM模型推理框架InferLLM到OpenHarmony标准系统，编译出能在OpenHarmony运行的二进制产物。（InferLLM 是一个简单高效的 LLM CPU 推理框架，可以本地部署 LLM 中的量化模型） 使用O...
-
超简单，不用GPU，3步教你轻松在笔记本上部署聊天大模型 LLaMA
大家好啊，我是董董灿。 今天带大家在自己的电脑(笔记本 上部署一个类似于 chatGPT 的 AI 聊天大模型。 部署完之后，你就拥有了一个私人 AI 聊天机器人，无需联网，随时进行实时对话。 0. 简单说下背景 大模型我们都不陌生了，但是以...
-
webassembly003 whisper.cpp的main项目-4 一些宏定义细节
标记函数为已弃用宏：WHISPER_DEPRECATED 对于 GNU 编译器（__GNUC__），使用 __attribute__((deprecated(hint 属性将函数标记为已弃用，并附带指定的提示信息。 对于微软 Visual C+...
-
轻松上手，本地运行LlaMA 2的简易指南
我们将学习一种无需设置Python或任何程序即可安装和使用LlaMA 2的简单方法。只需下载文件并在PowerShell中运行命令即可。 微信搜索关注《Python学研大本营》，加入读者群，分享更多精彩 图像由DALL·E 3生成 一...
-
大语言模型部署：基于llama.cpp在Ubuntu 22.04及CUDA环境中部署Llama-2 7B
llama.cpp是近期非常流行的一款专注于Llama/Llama-2部署的C/C++工具。本文利用llama.cpp来部署Llama 2 7B大语言模型，所采用的环境为Ubuntu 22.04及NVIDIA CUDA。文中假设Linux的用户目录（一般为...
-
webassembly003 whisper.cpp的项目结构CMakeLists.txt
注：带星号的为非重要部分 基础配置 cmake_minimum_required (VERSION 3.5 project(whisper.cpp VERSION 1.5.0 # Add path to modules list(APPEND...
-
stable-diffusion-webui 安装与运行
大家好，我是水滴~~ 本文主要介绍在各种显卡环境中，如何安装和运行 stable-diffusion-webui，包括：在 NVIDIA 显卡环境上安装、在 AMD 显卡环境上安装、在集显或小于 4G 显卡环境上安装。 文章目录 在 N...
-
Dreambooth Stable Diffusion始化训练环境（AutoDL）
以AutoDL为例 以下代码源自：赛博华佗——秋叶： Akegarasu 环境选择 Miniconda: Miniconda是一个轻量级的Conda环境管理系统。它包含了conda、Python和一些常用...
-
2024-01-04 用llama.cpp部署本地llama2-7b大模型
点击 <C 语言编程核心突破> 快速C语言入门 用llama.cpp部署本地llama2-7b大模型 前言 一、下载`llama.cpp`以及`llama2-7B`模型文件 二、具体调用 总结 前言 要解...
-
大模型“藏毒”：“后门”触发，猝不及防！
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 跟大模型会产生幻觉相比，更可怕的事情来了，最新的一项研究证明：在用户不知情的情况下，最初觉得很得力的大模型助手，将化身“间谍”，产生破坏性代码。 具体来讲，一组研究人员对LL...
-
llama.cpp Mac版本llama
骆驼.cpp 路线图/宣言/ ggml 纯C/C++中LLaMA模型的推理 热点话题： 简单的网络聊天示例：#1998 k-quants 现在支持 64 的超级块大小 super-block size of 64:：#2001 新...
-
Ubuntu 22.04安装英特尔显卡驱动玩转AIGC
作者：英特尔网路与边缘计算事业部开发者关系经理 李翊玮 本文将介绍如何使用EIV 用5行指令在快速搭建含英特尔显卡及OpenVINO的AI开发环境, 并简洁说明如何使用OpenVINO 及英特尔显卡优化文生图模型Stable Diffusion 的速度。...
-
大模型部署手记（8）LLaMa2+Windows+llama.cpp+英文文本补齐
1.简介： 组织机构：Meta（Facebook） 代码仓：https://github.com/facebookresearch/llama 模型：llama-2-7b 下载：使用download.sh下载 硬件环境：暗影精灵7Plus...
-
通过制作llama_cpp的docker镜像在内网离线部署运行大模型
对于机器在内网，无法连接互联网的服务器来说，想要部署体验开源的大模型，需要拷贝各种依赖文件进行环境搭建难度较大，本文介绍如何通过制作docker镜像的方式，通过llama.cpp实现量化大模型的快速内网部署体验。 一、llama_cpp介绍 LLa...
-
llama.cpp部署通义千问Qwen-14B
llama.cpp是当前最火热的大模型开源推理框架之一，支持了非常多的LLM的量化推理，生态比较完善，是个人学习和使用的首选。最近阿里开源了通义千问大语言模型，在众多榜单上刷榜了，是当前最炙手可热的开源中文大语言模型。今天在github上看到前几天llam...
-
Mozilla 让人们将 AI LLM 变成单文件可执行文件，简化大型语言模型的分发和运行
供本地使用的 LLM（大型语言模型）通常作为一组权重分布在数 GB 文件中。这些软件不能直接单独使用，这通常使得它们比其他软件更难分发和运行。给定的模型也可能经历了更改和调整，如果使用不同的版本，则会导致不同的结果。 Mozilla 的创新团队最近发布了...
-
用GPT-4V和人类演示训练机器人：眼睛学会了，手也能跟上
如何将语言 / 视觉输入转换为机器人动作？ 训练自定义模型的方法已经过时，基于最近大语言模型（LLM）和视觉语言模型（VLM）的技术进展，通过 prompt 工程使用 ChatGPT 或 GPT-4 等通用模型才是时下热门的方法。 这种方法绕过了海量数据...
-
LLaMA 2端到端推理打通！来自中国团队
Buddy Compiler 端到端 LLaMA2-7B 推理示例已经合并到 buddy-mlir仓库[1]主线。 我们在 Buddy Compiler 的前端部分实现了面向 TorchDynamo 的第三方编译器，从而结合了 MLIR 和 PyTorc...
-
OpenCL任务调度基础介绍 | 京东物流技术团队
当前，科学计算需求急剧增加，基于CPU-GPU异构系统的异构计算在科学计算领域得到了广泛应用，OpenCL由于其跨平台特性在异构计算领域渐为流行，其调度困难的问题也随之暴露，传统的OpenCL任务调度需要在编码阶段确定调度方案，这种人工调度难度高、适应性差...
-
Whisper.cpp 编译使用
Whisper.cpp 编译使用 whisper.cpp 是牛人 ggerganov 对 openai 的 whisper 语音识别模型用 C++ 重新实现的项目，开源在 github 上，具有轻量、性能高，实用性强等特点。这篇文章主要记录在 wind...
-
AI技术将对网络安全带来哪些影响？
现如今，人工智能已经在塑造我们周围的世界，而且这一趋势只会越来越明显。 近年来，这项技术经历了非常大的改进，已经以某种方式渗透到几乎每个行业，正在改变流程并推动创新。但与大多数技术进步一样，人工智能的飞速发展也带来了许多机遇和挑战，特别是在网络安全领域...