-
手把手教你在本机安装Stable Diffusion秋叶整合包
因为网上讲部署的文章挺多的，所以本来不打算写这个，但是有些网友提出了要求，另外我也准备总结下在AI绘画方面的一些经验，从经验完整性上考虑，还是得有这部分的内容。 整合包对非技术出身的同学比较友好，因为秋叶大佬把相关的东西已经都整合好了，只需要点点点就行...
-
Llama 3 CPU推理优化指南
备受期待的 Meta 第三代 Llama 现已发布，我想确保你知道如何以最佳方式部署这种最先进的 (SoTA LLM。在本教程中，我们将重点介绍如何执行仅权重量化 (WOQ 来压缩 8B 参数模型并改善推理延迟，但首先，让我们讨论一下 Meta Lla...
-
【多线程】进程与线程
???来都来了，不妨点个关注叭！?博客主页：欢迎各位大佬!? 文章目录 1. 操作系统 2. 进程 2.1 进程是什么 2.2 进程管理 2.3 进程调度 2.3 内存管理 2.4 进程间通信 3. 线程 3.1 线程是什么 3...
-
快速识别你家的猫猫狗狗，教你用ModelBox开发AI萌宠应用
本文分享自华为云社区《ModelBox-AI应用开发：动物目标检测【玩转华为云】》，作者：阳光大猫。 一、准备环境 ModelBox端云协同AI开发套件（Windows）环境准备【视频教程】 二、应用开发 1. 创建工程 在Model...
-
探索全新的AI大语言模型和AI绘画工具：无需联网，CPU即可运行！
今天我们非常激动地向大家介绍一款革命性的AI产品——一键安装的AI大语言模型和AI绘画工具包！这不仅是一个技术突破，更是AI应用领域的一大里程碑。最令人兴奋的是，这些工具完全可以在本地运行，不需要联网，只要您的电脑配备了CPU，就能轻松使用。 一、产...
-
Go最全Stable Diffusion web UI 文档_stable diffusion webui文档(3)，2024-2024历年网易跳动Golang面试真题解析
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Go语言开发知识点，真正体系化！ 由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后...
-
手机流畅运行470亿大模型：上交大发布LLM手机推理框架PowerInfer-2，提速29倍
苹果一出手，在手机等移动设备上部署大模型不可避免地成为行业关注焦点。 然而，目前在移动设备上运行的模型相对较小（苹果的是3B，谷歌的是2B），并且消耗大量内存，这在很大程度上限制了其应用场景。 即使是苹果，目前也需要与OpenAI合作，通过将云端GPT-4...
-
在嵌入式处理器Jetson Orin上使用Whisper做语音内容识别（3）
1、简介 Nvidia的GPU+CUDA架构在大算力时代遥遥领先毫无疑问了，其通用的硬件特性使得它不再是以往的“显卡”，算力强大并且支持各种AI，软件生态的应用方式基本可以照搬PC端。相比于特定的核心NPU，它显得更加灵活，系统和显存的共用在带宽上有明显...
-
Stable Diffusion本地Windows系统安装教程
（SD_WebUi）如何在Win本地教程 本地部署需要求助知识库的伙伴往往都是没有代码基础的同学，而本地部署需要进行python运行环境的配置等系列繁琐操作，所以我强烈推荐B站UP主秋葉aaaki制作的懒人整合包，下载后直接就可以运行使用。 在此我们感...
-
iOS 18首批适配名单公布：AI功能仅iPhone 15 Pro系列可体验
中关村在线消息：WWDC 2024特别直播结束后，苹果也正式放出了iOS 18、iPadOS 18、macOS Sequoia的适配名单。其中，iOS 18的适配名单与iOS 17相同，支持iPhone Xr、iPhone SE二代及之后机型。 目前，iO...
-
AI绘画专栏stablediffusion SDXL小白入门教程 | 提示词教程
本地版本下载启动器 SD启动器2024最新版本下载 链接：https://pan.quark.cn/s/eea6375642fd 常见问题排查 - CUDA out of memory： 炸显存 换启动参数 换显卡 - DefaultC...
-
AIGC-Stable Diffusion进阶1(附代码)
在上篇文章中对Stable Diffusion进行了初步的认识，也给出了使用案例，这篇文章将进一步的去刨析一下SD模型。 SD模型的组成 在之前也讲过了，SD由CLIP、UNet、Schedule，VAE组成。再来回顾一下知识点： 1.CLIP Te...
-
神秘山洞惊现AI绘画至宝Stable Diffusion残卷
最近听到不少大宗门纷纷发声：随着AI神器的现世“程序员职业将不复存在”，“设计师将要失业”。 至此，不少修士开始担忧起来，现出世的AI神器会不会取代掉我辈修士。 其实，至女娲天神创造人类以来，在这漫漫修仙路上，人类在不断的进步。在炼器界不少大修士或隐世...
-
使用LLM2Vec将Llama 3转变为一个嵌入模型
文章目录 LLM2Vec：您的LLM也是一个嵌入模型 使用LLM2Vec将Llama 3转变为文本嵌入模型 为 RAG 设置 Llama 3 文本嵌入模型 结论 原文：Benjamin Marie Turn Llama 3 into a...
-
Meta Llama 3 使用 Hugging Face 和 PyTorch 优化 CPU 推理
原文地址：meta-llama-3-optimized-cpu-inference-with-hugging-face-and-pytorch 了解在 CPU 上部署 Meta* Llama 3 时如何减少模型延迟 2024 年 4 月 19 日 万...
-
2024最全Stable Diffusion安装包+进阶教程+模型+插件+动作
距上期Stable Diffusion教程推出已有数周，期间受到了很多小伙伴到喜爱，但是很多小伙伴反应光有教程感觉还不带劲，那今天应江湖号召，给大家带来了Stable Diffusion最新安装软件版+最全视频教程+模型、插件、动作参考等等，诚意满满，一起...
-
文心一言 VS 讯飞星火 VS chatgpt （255）-- 算法导论18.3 1题
一、请说明依次从图18-8(f 中删除C、P和V后的结果。如果要写代码，请用go语言。 文心一言： 首先，让我们明确一点：由于您没有提供具体的图18-8(f 的内容，我只能假设它是一个数据结构（可能是图、树或列表等）的某种表示，并且C、P和V是该数...
-
AIGC专题报告：通过NPU和异构计算开启终端侧生成式AI
今天分享的是AIGC系列深度研究报告：《AIGC专题：通过NPU和异构计算开启终端侧生成式AI》。 （报告出品方：Qualcomm） 摘要 生成式 AI 变革已经到来。随着生成式AI 用例需求在有着多样化要求和计算需求的垂直领域不断增加，我们显然需要...
-
探索GGUF：利用llama.cpp高效运行大型语言模型
探索GGUF：利用llama.cpp高效运行大型语言模型 在人工智能领域，大型语言模型（LLM）的应用越来越广泛，但运行这些模型常常需要大量计算资源和复杂的配置。最近，一个名为llama.cpp的开源项目引起了广泛关注，它通过C/C++实现了一个高效的...
-
初学者必看：AI绘画电脑配置指南
想要深入学习AI绘图，特别是Stable Diffusion和Midjourney这两个工具，配置一台合适的电脑确实至关重要。鉴于您当前对电脑配置有所困惑，为你解析下配置。 如果您有自己训练AI模型的需求，特别是针对Stable Diffusion这...
-
什么！Intel/AMD/Apple Silicon也能本地部署的Llama工具来了
主流的LLM都需要通过CUDA才能高效的运行在本地，但是随着Github上出现了Llama.cpp这个神器，一切都改变了。它通过AVX指令和MPI来实现CPU上并行计算，从而在本地计算机高效地运行各种主流的类Llama模型。同时它也支持metal，使得Ap...
-
Chrome浏览器将内置AI大模型Gemini Nano 新版开启内测
Chrome团队宣布，正在探索“内置 AI”概念，即浏览器将具有内置 AI 模型，以便为浏览器功能和网络平台 API 启用设备上的 AI。 官方介绍称，借助内置 AI，您的网站或 Web 应用将能够针对基础模型和专家模型运行各种 AI 任务，而无需担心部...
-
一文教你在MindSpore中实现A2C算法训练
本文分享自华为云社区《MindSpore A2C 强化学习》，作者：irrational。 Advantage Actor-Critic (A2C 算法是一个强化学习算法，它结合了策略梯度（Actor）和价值函数（Critic）的方法。A2C算法在许多强...
-
Stable Diffusion安装和快速入门
文章目录 前言 环境要求 下载地址 安装Stable Diffusion 报错解决 下载模型 安装模型 运行 小结 前言 之前一直是用liblib.art这个网站在线生图，但是总归不如在自己电脑上跑好用，于是在我没独显的轻薄本上装...
-
语音识别的未来已来：深入了解faster-whisper的突破性进展【高精度语音识别模型，完全免费开源】
faster-whisper简介 faster-whisper是基于OpenAI的Whisper模型的高效实现，它利用CTranslate2，一个专为Transformer模型设计的快速推理引擎。这种实现不仅提高了语音识别的速度，还优化了内存使用效率。f...
-
这个团队做了OpenAI没Open的技术，开源OpenRLHF让对齐大模型超简单
随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解决这一难题方面，一种强大的技术是根据人类反馈的强化学习（RLHF）。 但是，随着模型越来越大，RLHF 通常需要维持多个模型...
-
斯坦福让“GPU高速运转”的新工具火了，比FlashAttention2更快
AI算力资源越发紧张的当下，斯坦福新研究将GPU运行效率再提升一波—— 内核只有100行代码，让H100比使用FlashAttention-2，性能还要提升30%。 怎么做到的？ 研究人员从“硬件实际需要什么？如何满足这些需求？”这两个问题出发，设计了...
-
一夜暴富50亿，老黄新晋「流量明星」！英伟达市值破3万亿，超越苹果成全球第二
3万亿美元，英伟达市值再次创造历史！ 当地时间周三，股价涨超5%。现在的英伟达，已经成为全球第二大市值最高的公司，超越苹果，仅次微软。 距离世界第一，仅差一步之遥。 而上一次英伟达市值首超苹果，还是2002年。当时，两家公司的市值不到100亿美元。...
-
LightGBM实战+随机搜索调参：准确率96.67%
大家好，我是Peter~ 今天给大家分享一下树模型的经典算法：LightGBM，介绍算法产生的背景、原理和特点，最后提供一个基于LightGBM和随机搜索调优的案例。 LightGBM算法 在机器学习领域，梯度提升机（Gradient Boosting...
-
在OpenHarmony本地部署大语言模型
本文将第二届OpenHarmony技术大会上展示的《在OpenHarmony本地部署大语言模型》成果开源，开源地址：https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdp...
-
英特尔牙膏挤爆：功耗降40%、AI算力120TOPS，你的下一代笔记本没有内存条了
英特尔为了AI，再次做出重大架构变革： 像手机一样搞起SoC（系统级芯片），你的下一台笔记本不会再有独立内存条。 刚刚推出的新一代AI PC低功耗移动平台架构Lunar Lake，采用全新MoP（Memory on Package）封装，片上集成16或3...
-
Stable Diffusion安装（非秋叶包一键部署）
Stable Diffusion安装与配置详细步骤 一 、下载前置资源 下载CUDA 1. 查看CUDA版本 通过以下命令查看CUDA版本： nvidia-smi 复制 确保CUDA版本符合要求。 2. 下载CUDA ...
-
LLM并发加速部署方案（llama.cpp、vllm、lightLLM、fastLLM）
大模型并发加速部署 解析当前应用较广的几种并发加速部署方案！ llama.cpp、vllm、lightllm、fastllm四种框架的对比： llama.cpp：基于C++，①请求槽，②动态批处理，③CPU/GPU混合推理 vllm：基于Pyth...
-
llama.cpp制作GGUF文件及使用
llama.cpp的介绍 llama.cpp是一个开源项目，由Georgi Gerganov开发，旨在提供一个高性能的推理工具，专为在各种硬件平台上运行大型语言模型（LLMs）而设计。这个项目的重点在于优化推理过程中的性能问题，特别是针对CPU环境。以...
-
【完整指南】如何在Visual Studio Code中轻松运行Llama 3模型？
Meta 发布了最新的开源语言模型Llama 3。因为它是开源的，你可以下载这个模型，并在自己的电脑上运行。 我清楚，你可能会想，在个人笔记本上运行一个拥有80亿参数的AI模型似乎只有技术高手才能做到。但别担心！这篇文章会提供一个简单的步骤指导，帮助每个...
-
部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应
1. 在主机上挂载内存存储目录 创建目录用于挂载 mkdir /mnt/memory_storage 挂载 tmpfs 文件系统 mount -t tmpfs -o size=800G tmpfs /mnt/memory_storage 存储空间会按需使...
-
有哪些好的 Stable Diffusion 提示词（Prompt）可以参考？
看完这八种“提示词”种类，你也会Ai高质量出图！ 作为一个老法师，Prompt需要我们自己搜集，然后总结。很多人习惯于通过教程和模型来学习绘画，沿着别人预设的轨道前行，这样一开始没有错，但是长久缺乏自主思考和创造的能力，机械式的学习方式只会限制个人的表达...
-
AI绘图stable diffusion comfy ui的问题
这个是一个blender的节点方式运行comfy ui，但是出现了下面这个问题 （路径不含空格和中文，显卡1060/cpu7700hq） BlenderAI_Node Launch Time: 0.7201s BlenderAI_Node Re...
-
一文读懂如何基于 Ollama 在本地运行 LLM
为什么要使用 Ollama 开源项目 ? 在当今人工智能技术飞速发展的时代，大型语言模型(LLM 无疑已成为焦点炯炯的科技明星。自从ChatGPT的推出以来，其强大的自然语言理解和生成能力便惊艳了全球，成为人工智能商业化进程中的杰出代表。 然而，这一领域...
-
LlamaFactory源码解析 PPO
class CustomPPOTrainer(PPOTrainer, Trainer : r""" Inherits PPOTrainer. """ def __init__( self,...
-
苏妈杀疯了：移动端最强NPU算力达50TOPS，最强AI芯片挑战英伟达
一年一度的 Computex 科技大会成为了 GPU 厂商们秀肌肉的舞台，其中当属英伟达和 AMD 最为亮眼。英伟达现场拿出了量产版 Blackwell 芯片，还公布了未来三年的产品路线，包括下一代 Rubin AI 平台。 AMD 当然也不甘示弱，CE...
-
一文读懂如何基于Ollama在本地运行LLM
“Mixtral有46.7B的总参数，但每个令牌只使用12.9B参数。因此，它以与12.9B型号相同的速度和成本处理输入并生成输出。” 为什么要使用 Ollama 开源项目 ? 在当今人工智能技术飞速发展的时代，大型语言模型(LLM 无疑已成为焦点炯炯...
-
Stable Diffusion 安装教程（附安装包） 【SD三种安装方式，Win+Mac一篇文章讲明白】
“Stable Diffusion的门槛过高、不会安装？没关系，这篇文章教会你如何安装！”（文末扫码可直接获取免费安装包~） Stable Diffusion的安装部署其实并不困难，只需简单点击几下，几分钟就能安装好，不管是windows还是苹果mac电...
-
微软震撼发布Copilot+PC！真正意义上的AIPC时代已经到来！
5月20日，微软正式发布了 Copilot+ PC，这是全球首款专为 AI 设计的 Windows PC，也是 有史以来最快、最安全、功能最强大的 Windows PC Copilot+ PC 内置了 OpenAI 的 GPT-4o...
-
挑战英伟达！AMD亮出旗下最强AI芯片锐龙AI 300系列 算力达50TOPS
在一年一度的Computex科技大会上，GPU厂商们展示了他们的最新技术成果。其中，英伟达和AMD的表现尤为突出。 英伟达在会上展示了量产版的Blackwell芯片，并宣布了未来三年的产品路线图，包括下一代Rubin AI平台。而AMD的CEO苏姿丰则展示...
-
一年一款大更新，英伟达AI芯片能打破摩尔定律？
是的，正如黄仁勋在台北电脑展2024展前演讲中所说，生成式AI技术正在不知不觉中影响着我们的生活与工作。而早在2014年就提出CUDA（通用计算平台）概念的英伟达，已经尝到人工智能带给它的甜头。 市值从1万亿美元到2.7万亿美元，英伟达仅仅用了一年左右的时...
-
【AIGC】本地部署 ollama(gguf) 与项目整合
首先，先跟各位小伙伴说一句 Sorry 。上一篇文章《【AIGC】本地部署通义千问 1.5 (PyTorch 》并没有考虑企业成本问题，虽然代码可以跑通，但是中小型企业想通过该代码实现项目落地还是比较困难的。为此，本文将采用 GGUF 预量化大模型结合 O...
-
下代GPU会非常难买！黄仁勋敦促企业快买AI芯片 买越多越省钱
快科技6月3日消息，近日，黄仁勋公开表示称，下代GPU会非常难买，并希望企业买多一些自家的AI芯片。 黄仁勋预警，下一代GPU会非常难买。同时他还敦促企业采购更多AI芯片。 你买的越多，省的就越多。这就是所谓的CEO数学。虽然不准确，但却是正确的。”黄仁勋...
-
老黄一口气解密三代GPU！粉碎摩尔定律打造AI帝国，量产Blackwell解决ChatGPT全球耗电难题
想了解更多AIGC的内容， 请访问：51CTO AI.x社区 https://www.51cto.com/aigc/ 就在刚刚，老黄手持Blackwell向全世界展示的那一刻，全场的观众沸腾了。 它，是迄今为止世界最大的芯片！ 眼前的这块产品，凝聚着数...
-
我的stable-diffusion入门
开头 翻到一个感兴趣的帖子，然后开始了这段折腾 载下来用了，发现用的是cpu出图，慢的很，还是需要stable diffusion webui来做，所以就开始找资料 参考链接 找模型：https://civitai.com/https://hug...