-
Mozilla 开源 llamafile:大语言模型分发与部署新范式
引言 随着 ChatGPT、BERT 等大型语言模型(Large Language Model, LLM 在自然语言处理领域掀起巨大波澜,AI 技术正以前所未有的速度走近大众生活。然而,这些 LLM 的训练和推理对计算资源提出了极高要求,动辄数十甚至数百...
-
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
嵌入模型是大型语言模型检索增强生成(RAG 的关键组成部分。它们对知识库和用户编写的查询进行编码。 使用与LLM相同领域的训练或微调的嵌入模型可以显著改进RAG系统。然而，寻找或训练这样的嵌入模型往往是一项困难的任务，因为领域内的数据通常是稀缺的。 但...
-
Windows安装Stable Diffusion Comfy UI工作流的方法
想要Stable diffusion安装包的小伙伴可以在文末扫码，我给大家免费安排！一、安装环境示例 CPU：i9-13900KF / 显卡：3090 / 内存：64GB / 系统：Win10 二、下载安装Comfy UI安装包 2.1、下载安装...
-
【大模型】大模型 CPU 推理之 llama.cpp
【大模型】大模型 CPU 推理之 llama.cpp llama.cpp 安装llama.cpp Memory/Disk Requirements Quantization 测试推理 下载模型 测试 参考 llama.cpp...
-
AI真·炼丹：整整14天，无需人类参与
现在制药这事，人类要靠边站了。 坐标苏州，这是一个1600平的制药实验室，它的“打开方式”是这样的: 门口，没有人。 走廊，没有人。 实验室，也没有人。 相比以往充斥着科学家、研究员的实验室，它更多的是把机械臂和AI系统塞了进去，主打的就是一个全自动...
-
ADC电压采集（基于STM32hal库）（保姆级应用）
目录 STM32 ADC电压采集应用 前言 独立模式单通道采集实验 硬件设计 软件设计 STM32CubeMX配置 MDK程序完善 独立模式多通道采集实验 硬件设计 软件设计 编程要点 STM32CubeMX配置 MDK程序完善...
-
win10手动安装stable-diffusion-webui
目录 1.python下载安装 2.git下载安装 3.stable-diffusion-webui下载 4.安装s-d-webui的依赖包（用国内镜像提速） 5.git下载的stable-diffusion-webui，依赖包提示已安装，但运行...
-
AI芯片成新一代电老虎：未来五年消耗全球1.5%以上的电力 产生11亿吨碳排放
快科技6月29日消息，AI芯片的快速增长，带来了耗电量的大幅增加。一些计算表明，AI所需的电力将在全球电力消耗中占据相当大的份额。 TechInsights表示，英伟达H100的峰值功耗为700瓦，与一台正在工作的微波炉的功耗大致相同。但随着超级芯片的更新...
-
通过ORPO技术微调 llama3大模型(Fine-tune Llama 3 with ORPO)
通过ORPO对llama进行微调 前言 ORPO是一种新颖的微调技术，它将传统的监督微调和偏好对齐阶段整合到一个过程中。这减少了训练所需的计算资源和时间。此外，经验结果表明，ORPO在各种模型大小和基准测试中都超过了其他对齐方法。 在本文中，我们将...
-
使用 llama.cpp 在本地部署 AI 大模型的一次尝试
对于刚刚落下帷幕的2023年，人们曾经给予其高度评价——AIGC元年。随着 ChatGPT 的火爆出圈，大语言模型、AI 生成内容、多模态、提示词、量化…等等名词开始相继频频出现在人们的视野当中，而在这场足以引发第四次工业革命的技术浪潮里，人们对于人工智能...
-
5 秒生成高质量文章，Llama 3-Chinese-Chat Demo 一键启动！
Llama 3 自发布以来备受关注，并被誉为「迄今为止最好的开源大模型」，但 Llama 3 在支持中文方面仍然存在一些问题，比如在使用中文提问时，经常发生英文回复或者中英混合回复的情况，非常不方便。 使用中文向 Llama 3-8B-Instruc...
-
技术突破：llamafile一键部署大模型，释放AI潜力
目录 一、引言 二、什么是llamafile？ 1、设计目标 2、技术构成 3、与传统部署方式的对比 4、一键部署的优势 三、核心特性 1、一键部署的便捷性 2、跨平台支持 3、独立可执行文件 4、简化的分发流程 5、技术细节 6、用户体...
-
一文了解AI绘画两大鼻祖 Midjourney 和 Stable Diffusion的区别，超详细讲解小白入门必看教程！
大家好，我是画画的小强 要说AI绘画软件哪家强？有人说Midjoureny (MJ , 有人说Stable Diffuion(SD ，那他们到底有什么区别？应该选择哪款软件学习？今天带大家全面了解一下！文末可白嫖AI资料哦～ 一.使用费用对比...
-
在Redhat 7 Linux上安装llama.cpp [ 错误stdatomic.h: No such file or directory]
前期准备 在github上下载llama.cpp或克隆。 GitHub - ggerganov/llama.cpp: LLM inference in C/C++ git clone https://github.com/ggerganov/ll...
-
AI测试｜Windows下跑起大模型（Llama）操作笔记_软件测试大模型
先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7 深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！ 因此收集整理了一份《2024年最新软件测试全套学习资料》...
-
揭秘XPU架构下AIGC的推理加速艺术--AI PC 新纪元：将 AI 引入 NPU，实现快速低功耗推理...
踏入AIPC新纪元 ，我们似乎穿越到了一个充满魔法的新世界 ，生成式AI和大模型如同现代法师 ，而AIPC和边缘计算则成为他们施展魔法的法杖，从AI聊天机器人到智能绘画工具， 再到数字化虚拟人物 ，魔法杖们不仅推动了新型处理器和计算架构的研发 ，也促...
-
Stable diffusion 3 正式开源
6月12日晚，著名开源大模型平台Stability AI正式开源了，文生图片模型Stable Diffusion 3 Medium（以下简称“SD3-M”）权重。 SD3-M有20亿参数，平均生成图片时间在2—10秒左右推理效率非常高，同时对硬件的需求...
-
【干货分享】AI绘画SD精准分区绘画功能教程！
大家好，我是画画的小强 今天小强来为大家出一篇有关于SD中分区绘画功能的教程，快继续往下看吧~ 大家在日常跑图的过程中是否遇到过想要自己设置构图位置但是却无从下手的情况，不要慌，今天小编为大家带来的教程将会完全解决你们的困扰。Tiled Diffusi...
-
Stable Diffusion 3 如何下载安装使用及性能优化
Stable Diffusion 3 Stable Diffusion 3（SD3），Stability AI最新推出的Stable Diffusion模型系列，现在可以在Hugging Face Hub上使用，并且可以与Diffusers一起使用。...
-
养猪大户必备！教你用ModelBox开发一个AI数猪应用
本文分享自华为云社区《ModelBox-视频应用开发：AI智能数猪【玩转华为云】》，作者： 阳光大猫。 一、准备环境 ModelBox端云协同AI开发套件（Windows）环境准备【ModelArts+ModelBox 端云协同AI应用开发实训课程...
-
安装stable diffusion，加载模型报错：AttributeError: ‘NoneType‘ object has no attribute ‘lowvram‘ 的解决办法
Windows中安装stable diffusion流程（使用原始方法、非整合包快捷安装）： 实验机器配置： OS：Win10 64bit；CPU：i5 4.1GHz 12核；内存32G；显卡NVIDIA Quadro P1000 4G显存 参考...
-
Intel Arc显卡安装Stable Diffusion
StableDiffusion是一种基于深度学习的文本到图像生成模型，于2022年发布。它主要用于根据文本描述生成详细图像，也可应用于其他任务，如内补绘制、外补绘制和在提示词指导下生成图像翻译。通过给定文本提示词，该模型会输出一张匹配提示词的图片。...
-
llama.cpp 编译安装@Ubuntu
在Kylin 和Ubuntu编译llama.cpp ，具体参考：llama模型c语言推理@FreeBSD-CSDN博客 下载代码并编译： git clone https://github.com/ggerganov/llama.cpp cd llama...
-
AI绘画专栏之statble diffusion SDXL 1.0 更加精细的OpenPose DW Openpose(23)
更为精细的DW openpose https://pan.quark.cn/s/8e66ada8a434 SD启动器2024最新版本下载 链接：https://pan.quark.cn/s/eea6375642fd 百度网盘复制到vx打开: #小程序:...
-
探索Stable Diffusion：从零开始的代码接入创意图像生成指南
探索Stable Diffusion：从零开始的代码接入创意图像生成指南 一、Stable Diffusion：创意图像的魔术师 1.1 基本概念 1.2 作用说明 二、准备工具与环境 2.1 Python与依赖库 2.2 GPU配置（可...
-
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署 概述 llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理速...
-
Stable Diffusion 安装教程（附安装包）
“Stable Diffusion的门槛过高、不会安装？没关系，这篇文章教会你如何安装！” Stable Diffusion的安装部署其实并不困难，只需简单点击几下，几分钟就能安装好，不管是windows还是苹果mac电脑，关于Stable Diffus...
-
llama-7B、vicuna-7b-delta-v1.1和vicuna-7b-v1.3——使用体验
Chatgpt的出现给NLP领域带来了让人振奋的消息，可以很逼真的模拟人的对话，回答人们提出的问题，不过Chatgpt参数量，规模，训练代价都很昂贵。 幸运的是，出现了开源的一些相对小的模型，可以在本地或者云端部署体验， 动手体验了下Vicuna-7b...
-
文心一言上线新功能，2 秒即可定制你自己的声音！
点击上方关注 “终端研发部” 设为“星标”，和你一起掌握更多数据库知识 果然，国内的AI大模型，还得是百度AI! 用户在智能体对话中可使用自己的音色进行语音播报，并通过通话按钮与数字分身实时对话，音色和音调与本人一致。...
-
快速部署stable diffusion@Ubuntu
Stable Diffusion可以根据文本描述生成相关的图像，是当前最热门的文生图模型。 在Ubuntu下，可以选择快速安装，或者手动一步步安装。 快速安装 使用文档中的方法，先下载一个sh文件，然后执行这个文件，就自动安装依赖，自动启动服务了...
-
ChatGPT开源的whisper音频生成字幕
1、前言 好了，那接下来看一下whisper开源库的介绍 有五种模型大小，其中四种仅支持英语，提供速度和准确性的权衡。上面便是可用模型的名称、大致的内存需求和相对速度。如果是英文版的语音，直接想转换为英文。 本来我是想直接在我...
-
AIGC时代 可演进的私有云将蔚然成风
AIGC时代，IT基础设施如何兼顾原有资源和能力又能拥抱新技术应用，企业如何从资源上云到架构用云、从粗犷使用到精细治理？新旧相融难题已经成为了业界讨论的焦点。“以可演进的IT云敏捷支撑行业数字化转型”，浪潮数据云计算方案总监刘健一抛出此观点，便...
-
Stable Diffusion 是否使用 GPU？
在线工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 3D数字孪生场景编辑器 Stable Diffusion...
-
【推理优化】超详细！AIGC面试系列 大模型推理系列(2)
本期问题聚焦于大模型的推理优化技术 本期问题快览 有哪些常见的大模型推理优化技术 介绍下通过流水线处理技术来加速大模型推理方案 介绍下并行计算技术来加速大模型推理的方案 有哪些通过硬件来加速大模型推理的方式？ 模型量化是如何加速大模型推理的？...
-
stable diffusion本地部署@win10
一键无脑安装stable-diffusion-webui stable diffusion是当前非常出色的文生图模型，要优于以前gan文生图模型。现在有了stable-diffusion-webui软件，可以一键安装，大大简化了操作难度。本文档就是sta...
-
笔记本电脑安装属于自己的Llama 3 8B大模型和对话客户端
选择 Llama 3 模型版本（8B，80 亿参数） 特别注意： Meta 虽然开源了 Llama 3 大模型，但是每个版本都有 Meta 的许可协议，建议大家在接受使用这些模型所需的条款之前仔细阅读。 Llama 3 模型版本有几个，我们主要关注...
-
大模型之路3：趟到了Llama-Factory，大神们请指点
各种AI工具和框架层出不穷，为开发者和研究者提供了前所未有的便利。当然了，也有困扰。尤其是对于动手能力越来越弱的中年油腻老程序员来说，更是难上加难。据说，嗯，据师弟说，说LlamaFactory凭借其独特的功能和优势，在AI领域（他所下载的代码和工具里），...
-
Whisper.cpp本地化：Windows端部署详解与实操
简介 什么是Whisper？ OpenAI的Whisper是一个自动语音识别（ASR）系统，它经过了大量多语言和多任务的监督数据训练，能够进行多语言语音识别、语音翻译和语言识别等任务。Whisper模型使用了一个编码器-解码器的Transforme...
-
AI绘画及Midjourney
主要围绕AI绘画的发展历程和应用，以及近期的一些热点新闻和趋势。AI绘画技术的发展成本很高，但其应用前景广阔，已经成为艺术创作的一个重要工具,所以值得关注. 2012年华裔人工智能科学家吴恩达跟美国计算机科学家杰夫 迪恩。两位都...
-
whisper使用
whisper使用 1. 直接调用 语音识别 2. 语种识别 whisper.detect_language( 和whisper.decode( 3. 指定要识别的语种做语音识别 **whisper 源码的transcribe函数** 函数解...
-
【AI】DJL Serving系统架构
DJL Serving基于Deep Java Library构建。您可以访问DJL GitHub仓库了解更多信息。有关模块、依赖关系和类概述,请参考生成的图表。 DJL Serving大致分为四层: 前端 - 基于Netty的HTTP客户端,用于接...
-
从14核CPU到AI游戏，浅析Arm新架构的更多细节
前段时间，我们三易生活已经给大家分析过Arm最新一代的CPU和GPU架构设计，不过当时的资料主要还是来源于官方博客文章，以及面向大众公布的相关信息。 考虑到这些资料的宣传目的，它们通常并不会讲得特别详细，特别是在一些技术细节、研发背景等方面往往会比较为缺...
-
在线教程｜零门槛部署 Llama 3，70B 版本只占 1.07G 存储空间，新用户免费体验 8B 版本
4 月 18 日，Meta 宣布开源 Llama 3，这个号称「迄今为止最好的开源大模型」一经发布，立刻引爆科技圈！ 发布当天恰逢斯坦福大学教授、AI 顶尖专家吴恩达的生日，作为 AI 开源倡导者，他激动地发文表示：这是我收到过最好的生日礼物，谢谢...
-
一文实现Llama 3 图片理解能力微调（XTuner+LLaVA 版）
本次实验基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。实验平台为InternStudio，实验所用的显存为24G。 =============目录=...
-
爬虫概念、基本使用及一个类型和六个方法（一）
目录 一、爬虫简介 1.什么是爬虫 2.爬虫的核心 3.爬虫的用途 4.爬虫的分类 5.反爬手段 二、Urllib基本使用 1.导入我们需要的包 2.定义一个url 3.模拟浏览器向服务器发送请求 4.获取响应中的页面的源码 5....
-
stable diffusion生成图片权限报错，PermissionError: [Errno 13] Permission denied: ‘/tmp/gradio/tmpidsfdagq.png
因为我这边用的是远程服务器，我没有管理员权限，所以网上其他人说的sudo什么的方法对我都没有用，我又去找了其他的方法，在https://blog.csdn.net/wandererXX/article/details/136935596 这篇博客里面说到了...
-
windows11搭建 stable-diffusion-webui
2024年5月22日23:46:57 建议电脑配置 电脑配置： Intel® Core™ Ultra 5 125H 1.20 GHz 32.0 GB (31.6 GB 可用 系统：windows11 注意：最好挂上外网，或者设置好访问github的...
-
手把手教你在本机安装Stable Diffusion秋叶整合包（附安装包和大模型）
整合包对非技术出身的同学比较友好，因为秋叶大佬把相关的东西已经都整合好了，只需要点点点就行了。当然懂编程的同学就更没有问题了。文末领取SD安装包和大模型！ 准备 为了保证AI绘画的效率，建议在本机安装Nvidia独立显卡，也就是俗称的N卡，并且显存要...
-
Meta-Llama-3-8B-Instruct本地推理
Meta-Llama-3-8B-Instruct 本地推理 基础环境信息（wsl2安装Ubuntu22.04 + miniconda） 使用miniconda搭建环境 (base :~$ conda create --name pyto...
-
完全详细教程：Stable Diffusion ComfyUI本地部署
可能会有人说使用整合包就行了，但按照我的经验来说，使用整合包会出现各种各样的小问题，所以我这里推荐想好好用的朋友还是一步步来安装。 概述 Stable Diffusion ComfyUI 是一款基于开源 Stable Diffusion 文本转图像模型...