-
笔记本本地部署100b以上千亿级别LLM，并在手机端接入
前言 本文将演示如何在笔记本上运行千亿级模型，后端 Koboldcpp 运行在 Ubuntu ，前端界面使用安卓手机通过 Termux 且使用 SillyTavern 进行连接，模型使用 104B 的 Command R Plus 的 Q4KM 量化，...
-
如何在家用设备上运行 Llama 3.1 405B？搭建 AI 集群
在开放式 LLM 模型和封闭式 LLM 模型之间的竞争中，开放式模型的最大优势是您可以在本地运行它们。除了电力和硬件成本外，您无需依赖外部提供商或支付任何额外费用。但是，随着模型大小的增加，这种优势开始减弱。运行需要大量内存的大型模型并不容易。幸运的是，张...
-
大模型llama.cp编译
一、大模型部署工具 llama.cpp 二、使用 llama.cpp 量化模型 2.1 克隆llama.cp 项目地址： https://github.com/ggerganov/llama.cpp 一般配置SSH KEY，然后采用SSH...
-
Chinese-LLaMA-Alpaca-2模型量化部署&测试
简介 Chinese-LLaMA-Alpaca-2基于Meta发布的可商用大模型Llama-2开发, 是中文LLaMA&Alpaca大模型的第二期项目. 量化 模型的下载还是应用脚本 bash hfd.sh hfl/chinese-al...
-
whisper.cpp 学习笔记
whisper.cpp whisper.cpp 学习笔记 whisper 介绍 源码下载 源码编译 支持的模型 优化/加速 生成库文件 使用 whispe.cpp 的 demo 参考文献 whisper.cpp 学习笔记...
-
两周用户增长近百万，挺进美国社交应用榜Top5，这款反AI产品火了
在AI产品竞争白热化之际，一款反AI应用却逆势走红。 今年6月，一个名为Cara的图片社区仅用了两周时间，就将用户基数从四万增长至近百万，一跃成为美国社交应用榜Top5，超过了X（前为“推特”）、Reddit、Discord、Linkedln和Messen...
-
webassembly003 whisper.cpp的main项目-1
参数设置 /home/pdd/le/whisper.cpp-1.5.0/cmake-build-debug/bin/main options: -h, --help [default] show this h...
-
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署 概述 llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理速...
-
X-D-Lab/MindChat-Qwen-7B-v2模型向量化出现llama runner process has terminated: signal: aborted (core dumpe问题
Error: llama runner process has terminated: signal: aborted (core dumped 详细错误日志： 2024-05-21T06:24:45.266916811Z time=2024-05-...
-
AIGC-常见图像质量评估MSE、PSNR、SSIM、LPIPS、FID、CSFD，余弦相似度----理论＋代码
持续更新和补充中…多多交流！ 参考:图像评价指标PNSR和SSIM函数 structural_similarity图片相似度计算方法总结 MSE和PSNR MSE:...
-
llama-cpp-python安装bug：error: subprocess-exited-。scikit-build-core 0.8.2 using CMake 3.28.3 (wheel)
– llama-cpp-python安装bug：error: subprocess-exited-。scikit-build-core 0.8.2 using CMake 3.28.3 (wheel 环境 系统 linux python 3.1...
-
斯坦福让“GPU高速运转”的新工具火了，比FlashAttention2更快
AI算力资源越发紧张的当下，斯坦福新研究将GPU运行效率再提升一波—— 内核只有100行代码，让H100比使用FlashAttention-2，性能还要提升30%。 怎么做到的？ 研究人员从“硬件实际需要什么？如何满足这些需求？”这两个问题出发，设计了...
-
Adobe犯众怒！亡者镜头再启？售卖AI生成已故摄影大师风格图片引争议
整理丨诺亚 出品 | 51CTO技术栈（微信号：blog51cto） Adobe最近遇到了麻烦，起因是已故摄影大师安塞尔·亚当斯的遗产管理方向公众谴责：该公司销售模仿亚当斯作品的生成式AI图像。 上周五，亚当斯的遗产管理方在Threads上发布了一张截图...
-
孔夫子二手书采集
文章目录 项目演示 软件采集单本数据 网页搜索数据对比 使用场景 概述 部分核心逻辑 Vb工程图 数据导入与读取 下拉框选择参数 设置线程 使用方法 下载软件 授权 导入文件 预览处理后的数据 项目结构 附件说明 项目演...
-
Novita AI开源Animate Anyone项目 上传一张照片即可合成动画
阿里巴巴的一个项目，利用一张图片和提取视频中的人物姿势合成角色动画，现在被Novita AI开源并提供了API。用户只需提供一张照片和一个参考视频，即可通过API接入合成动画。该项目名为Animate Anyone，灵感来源于MooreThreads/Mo...
-
只需百行代码，让H100提速30%，斯坦福开源全新AI加速框架
AI 的快速发展，伴随而来的是大计算量。这就自然而然的引出了一个问题：如何减少 AI 对计算的需求，并提高现有 AI 计算效率。 为了回答这一问题，来自斯坦福的研究者在博客《GPUs Go Brrr》中给出了答案。 图片 博客地址：https://haz...
-
stable-diffusion.cpp 一个文件解决stable diffusion所有环境，不需要python，stable-diffusion.dll动态库C#调用Demo
stable-diffusion.cpp 一个文件解决stable-diffusion所有环境，不需要python，stable-diffusion.dll动态库C#调用Demo 目录 介绍 效果 Text To Image Image To...
-
笔记本电脑上部署LLaMA-2中文模型
尝试在macbook上部署LLaMA-2的中文模型的详细过程。 （1）环境准备 MacBook Pro(M2 Max/32G ; VMware Fusion Player 版本 13.5.1 (23298085 ; Ubuntu 22.04.2 L...
-
LLM大模型之基于SentencePiece扩充LLaMa中文词表实践
LLM大模型之基于SentencePiece扩充LLaMa中文词表实践 目前大模型的词表和分词器都是基于SentencePiece工具实现的，比如LLaMa，BLOOM，ChatGLM，Baichuan等，简单来说SentencePiece就是工程化的...
-
CUDA之通用矩阵乘法：从入门到熟练！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 通用矩阵乘法 (General Matrix Multiplication，GEMM 是各种模型和计算中的核心部分，同时也是评估计算硬件性能 (FLOPS 的标准技术。本文将通过对 GEMM 的实...
-
data.ai官网体验入口 统一数据AI分析工具使用方法指南
data.ai是第一个统一数据AI公司，旨在结合消费者和市场数据与人工智能的力量，为用户提供深入洞察，帮助提升数字性能。该工具适用于游戏、银行、金融科技、投资管理、零售电商等多个行业的市场分析和增长策略。商家可以使用它来优化移动应用收入分析、市场趋势洞察、...
-
利用Discuz插件实现优酷视频高效采集与管理
随着互联网信息的日益增长和视频内容的广泛应用，如何为社区论坛高效地采集和管理视频内容已成为网站运营者所面临的问题之一。而在国内的视频分享领域中，优酷视频无疑是重要的代表。将优酷视频集成到自己的社区论坛，如基于Discuz建设的网站中，能够有效地提升内容丰富...
-
==深度探索"usesmall采集插件"在网页数据提取中的实战应用
==随着信息化技术的日新月异和互联网应用的深度融合，各行各业都纷纷迈向了数据化时代，采集与分析互联网上公开的数据对于个人知识获取乃至企业战略部署与决策的协助重要性越来越高。"usemall采集插件"正是这样一种数据采集器工具。这篇文章以细致的视角从其使用流...
-
通过Likeshop采集插件提升电商效率与质量的关键洞见
在互联网的高速公路上，电子商务以其快捷、高效和突破地理限制的优势成为了商业的一股强势力量。但对于电商运营者而言，如何快速精准地从浩瀚如海的信息中获取关键数据和商品详情是一项挑战。“likeshop采集插件”就仿佛是这个问题的一款解题利器，不仅能节省人工信息...
-
【个人开发】llama2部署实践（三）——python部署llama服务（基于GPU加速）
1.python环境准备 注：llama-cpp-python安装一定要带上前面的参数安装，如果仅用pip install装，启动服务时并没将模型加载到GPU里面。 # CMAKE_ARGS="-DLLAMA_METAL=on" FORCE_CMAK...
-
webassembly002 whisper.wasm wasm_eval 与js代码交互 EMSCRIPTEN_BINDINGS，Module
# build using Emscripten git clone https://github.com/ggerganov/whisper.cpp cd whisper.cpp mkdir build-em && cd build-em...
-
"discuz东方头条自动采集"的相关研讨及应用介绍
在信息高速发展的时代下，"自动采集"逐渐成为一个具有庞大用户基数与高效率的传播内容创建工具。"Discuz"，作为一种建立论坛社群的工具，"discuz东方头条自动采集"究竟在技术内涵和实际业务环节中有什么重大意义与价值体现，无不考量着我们的理解和聪明智慧...
-
开源C++智能语音识别库whisper.cpp开发使用入门
whisper.cpp是一个C++编写的轻量级开源智能语音识别库，是基于openai的开源python智能语音模型whisper的移植版本，依赖项少，内存占用低，性能更优，方便作为依赖库集成的到应用程序中提供语音识别功能。 以下基于whisper.cpp...
-
webassembly002 whisper.wasm wasm_eval 与js代码交互 js部分
html的js <script type="text/javascript" src="https://blog.csdn.net/ResumeProject/article/details/helpers.js"><...
-
【AI】Chinese-LLaMA-Alpaca-2 1.3B 7B 13B llama.cpp 量化方法选择及推理结果测试 x86_64 RTX 2060 6G 生成程序源码测试
1.3B Q4_0 (很快，没用 llm_load_print_meta: model type = ?B llm_load_print_meta: model ftype = Q4_0 llm_load_print_meta:...
-
whisper.cpp安装配置
下载代码，代码地址：https://github.com/ggerganov/whisper.cpp 下载模型，现有模型如下，small 模型基本能达到日常的用途，建议下载 small 以上的。下载模型的指令： ./download-ggml-mode...
-
llama.cpp中main函数参数
使模型类gpt式交互： ./main -m .\models\llama-2-7b-chat\ggml-model-q4_0.gguf -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompt...
-
使用Kohya_ss训练Stable Diffusion Lora
Stable Diffusion模型微调方法 Stable Diffusion主要有 4 种方式：Dreambooth, LoRA, Textual Inversion, Hypernetworks。 Textual Inversion （也称为 Em...
-
Midjourney V6超深度评测；开源人工智能：创新的前沿
? AI新闻 ? Midjourney V6超深度评测：超现实主义细节爆表 摘要：国外网友Andre Kovalev对Midjourney V6进行了超深度评测，发现V6相较于V5.2在图片真实感、细节表现方面有较大提升。V6拥有超现实主义的特点，...
-
20240131在WIN10下配置whisper
20240131在WIN10下配置whisper 2024/1/31 18:25 首先你要有一张NVIDIA的显卡，比如我用的PDD拼多多的二手GTX1080显卡。【并且极其可能是矿卡！】800￥ 2、请正确安装好NVIDIA最新的545版本的驱动程序...
-
20240127在ubuntu20.04.6下配置whisper
20240131在ubuntu20.04.6下配置whisper 2024/1/31 15:48 首先你要有一张NVIDIA的显卡，比如我用的PDD拼多多的二手GTX1080显卡。【并且极其可能是矿卡！】800￥ 2、请正确安装好NVIDIA最新的驱动...
-
开源AI拯救Meta一夜飙升1960亿刀，39岁小扎爬出元宇宙深坑！年分红7个亿，靠Llama赢麻了
谁能想到，把小扎从元宇宙的泥坑里拯救出来的，竟然是开源AI？ 在Facebook 20周年之际，Meta在2月4日公布了季度报告后，市值瞬间飙涨1900亿美元。 同时，这张图片也开始在网上疯传。 可以看到，小扎狂砸300亿美元做的元宇宙，把Meta的股价...
-
Grok犯傻自曝抄袭，ChatGPT拱火，马斯克被“插刀”！看生成式AI如何吞噬互联网
整理丨诺亚 马斯克旗下AI公司xAI推出的首款聊天机器人Grok号称“百无禁忌”，也正是这个无禁忌AI面世不久，就给马斯克捅了个大篓子！ 一名安全测试员 Jax Winterbourne 上个月在推特上发布了一张 Grok 拒绝查询的屏幕截图，内容显...
-
webassembly003 whisper.cpp的项目结构CMakeLists.txt
注：带星号的为非重要部分 基础配置 cmake_minimum_required (VERSION 3.5 project(whisper.cpp VERSION 1.5.0 # Add path to modules list(APPEND...
-
[IDE(AI绘画)]从零开始在本地部署AI绘画实例（2023.4）
[IDE(AI绘画 ]从零开始在本地部署AI绘画实例（2023.4） 一、前言 跟我的版本号走基本上不会出错，如果安装错误请检查自己是不是升级版本了，python 3.11.x在文章发布时并不支持 如果有稳定的节点就不需要修改镜像源，有些包镜像源的...
-
人工智能实战：Stable Diffusion技术分享
背景 Stable Diffusion是计算机图形学和可视化领域中的一项重要技术。在这篇分 享中 ，我们将深入探讨稳定扩散的原理、关键要素和实施步骤 ，通过了解Stable Diffusion的流程化 ，我们可以提升自身的设计能力和创造力 ，为公司 和个...
-
【AI】ChatGPT和文心一言那个更好用
大家好，我是全栈小5，欢迎阅读文章！ 此篇是【话题达人】序列文章，这一次的话题是《自然语言处理的发展》 文章将以博主的角度进行讲述，理解和水平有限，不足之处，望指正。 目录 背景 自我介绍 面试题 作诗 魔方解法 背景...
-
2024-01-04 用llama.cpp部署本地llama2-7b大模型
点击 <C 语言编程核心突破> 快速C语言入门 用llama.cpp部署本地llama2-7b大模型 前言 一、下载`llama.cpp`以及`llama2-7B`模型文件 二、具体调用 总结 前言 要解...
-
llama.cpp模型推理之界面篇
目录 前言 一、llama.cpp 目录结构 二、llama.cpp 之 server 学习 1. 介绍 2. 编译部署 3. 启动服务 4、扩展或构建其他的 Web 前端 5、其他 前言 在《基于llama.cpp学习开源LL...
-
2023年的深度学习入门指南(24) - 处理音频的大模型 OpenAI Whisper
2023年的深度学习入门指南(24 - 处理音频的大模型 OpenAI Whisper 在这一讲之前，我们所用的大模型都是针对文本的。这一讲我们增加一个新的领域，即音频。我们将介绍OpenAI的Whisper模型，它是一个处理音频的大模型。 Wh...
-
手把手教你在云环境炼丹：Stable Diffusion LoRA 模型保姆级炼制教程
很多同学都想要自己的专属AI模型，但是大模型的训练比较费时费力，不太适合普通用户玩。AI开发者们也意识到了这个问题，所以就产生了微调模型，LoRA就是其中的一种。在AI绘画领域，只需要少量的一些图片，就可以训练出一个专属风格的LoRA模型，比如某人的脸、...
-
Whisper OpenAI开源语音识别模型
介绍 Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练...
-
【stable diffusion LORA训练】改进lora-scripts，命令行方式训练LORA，支持SDXL训练
分享下自己改进的一个lora训练脚本，在ubuntu下如果SD-WEBUI的环境已经搭好的话，只需要下载lora-script就可以支持训练了，直接命令行方式训练。 首先，我们需要克隆下项目： git clone https://github.com/...
-
[linux-sd-webui]api化之训练lora
lora的训练使用的文件是https://github.com/Akegarasu/lora-scripts lora训练是需要成对的文本图像对的，需要准备相应的训练数据。 1.训练数据准备 使用deepbooru/blip生成训练数据，建筑类建议使...
-
ggerganov/llama.cpp 编译
ggerganov/llama.cpp - 编译出main可执行程序依赖以下的源代码文件 如果想在 Windows 系统编译出 llama.cpp 项目（这个是github上的仓库， ggerganov/llama.cpp ），需要在Visual St...