-
Karpathy 4小时AI大课上线，小白看了都会从零构建GPT-2
距上次Karpathy AI大课更新之后，又有了1个多月的时间。这次他带了超详细的4小时课程——从零开始实现1.24亿参数规模的GPT-2模型。 大神Karpathy新一期AI大课又上线了。 这一次，他讲的内容是——从头开始实现124M大小的GPT-2模型...
-
手机流畅运行470亿大模型：上交大发布LLM手机推理框架PowerInfer-2，提速29倍
苹果一出手，在手机等移动设备上部署大模型不可避免地成为行业关注焦点。 然而，目前在移动设备上运行的模型相对较小（苹果的是3B，谷歌的是2B），并且消耗大量内存，这在很大程度上限制了其应用场景。 即使是苹果，目前也需要与OpenAI合作，通过将云端GPT-4...
-
为什么很多AI应用创新往往诞生在中国？
2023年6月，英国《金融时报》一篇名为Gaming industry puts generative AI to the test的深度报道流传于中文互联网。 文中提到了一款名为“Justice Mobile”的手游，游戏中的NPC能跟玩家随意聊天，能和...
-
Llama 3 模型上下文长度扩展至1048K
AI苏妲己： Gradient AI 近日宣布，通过其创新的渐进式训练方法，成功将 Llama 3 系列模型的上下文长度扩展至超过100万令牌。 Llama 3 模型最初设计用于处理8000个令牌的上下文长度，这大约相当于6000字或10页文档。为了适...
-
diffusers flask streamlit或gradio 简洁可视化AIGC文生图页面
参考： https://python-bloggers.com/2022/12/stable-diffusion-application-with-streamlit/ https://github.com/LowinLi/stable-diffusion...
-
超详细！AI 绘画神器 Stable Diffusion 基础教程_stable diffusion ai怎么用
HED 边缘检测 跟 Canny 类似，但自由发挥程度更高。HED 边界保留了输入图像中的细节，绘制的人物明暗对比明显，轮廓感更强，适合在保持原来构图的基础上对画面风格进行改变时使用。 Scribble 黑白稿提取 涂鸦成图，比 HED 和 Ca...
-
探索深度学习艺术：Stable Diffusion的ONNX & FP16革命
探索深度学习艺术：Stable Diffusion的ONNX & FP16革命 项目地址:https://gitcode.com/Amblyopius/Stable-Diffusion-ONNX-FP16 在当今的艺术与技术交汇处，一个令人兴奋...
-
在嵌入式处理器Jetson Orin上使用Whisper做语音内容识别（3）
1、简介 Nvidia的GPU+CUDA架构在大算力时代遥遥领先毫无疑问了，其通用的硬件特性使得它不再是以往的“显卡”，算力强大并且支持各种AI，软件生态的应用方式基本可以照搬PC端。相比于特定的核心NPU，它显得更加灵活，系统和显存的共用在带宽上有明显...
-
一键部署、开箱即用的Stable Diffusion云平台-仙宫云
1. 重磅更新，解决核心问题 之前参加AI写真快闪活动时，教学视频只有几分钟，但自己实操时，仅准备环境、上传下载文件就要花几个小时，甚至一两天，苦不堪言。但近期仙宫云重磅上线的资源中心，完美解决了stable diffusion模型、Lora等大文件下载...
-
LLaMA详细解读
LLaMA 是目前为止，效果最好的开源 LLM 之一。精读 LLaMA 的论文及代码，可以很好的了解 LLM 的内部原理。本文对 LLaMA 论文进行了介绍，同时附上了关键部分的代码，并对代码做了注释。 摘要 LLaMA是一个系列模型，模型参数量从7B...
-
使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion_sagemaker ai绘图(1)
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。 需要这份系统化资料的朋友，可以戳这里获取 一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的...
-
Stable Diffusion本地Windows系统安装教程
（SD_WebUi）如何在Win本地教程 本地部署需要求助知识库的伙伴往往都是没有代码基础的同学，而本地部署需要进行python运行环境的配置等系列繁琐操作，所以我强烈推荐B站UP主秋葉aaaki制作的懒人整合包，下载后直接就可以运行使用。 在此我们感...
-
LLMs之Llama3：基于Colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】)对llama-3-
LLMs之Llama3：基于Colab平台(免费T4-GPU 利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】 对llama-3-8b-Instruct-bnb-4bit模型采用alpa...
-
AUTOMATIC1111/stable-diffusion-webui/stable-diffusion-webui-v1.9.3
配置环境介绍 目前平台集成了 Stable Diffusion WebUI 的官方镜像，该镜像中整合如下资源： GpuMall智算云 | 省钱、好用、弹性。租GPU就上GpuMall,面向AI开发者的GPU云平台 Stable Diffusion W...
-
【大模型】LLaMA-1 模型介绍
文章目录 一、背景介绍 二、模型介绍 2.1 模型结构 2.2 模型超参数 2.3 SwiGLU 三、代码分析 3.1 模型结构代码 3.2 FairScale库介绍 四、LLaMA家族模型 4.1 Alpaca 4.2 Vicuna...
-
Stable Diffusion教程：从入门到精通
Stable Diffusion是一种基于深度学习的图像生成技术，能够生成高质量的图像，广泛应用于艺术创作、广告设计和游戏开发等领域。本教程将详细介绍Stable Diffusion的基础知识、安装和配置方法，以及如何使用它进行图像生成。 1. 什么...
-
Stable Diffusion本地部署教程：搭建你的AI图像生成环境
引言 Stable Diffusion作为一种先进的AI图像生成技术，近年来受到了广泛关注。它可以根据用户输入的文本描述，生成与之相符的详细图像。本文将指导你如何在本地环境中部署Stable Diffusion，让你能够亲自体验这一技术的强大功能。 环...
-
【AIGC调研系列】chatTTS与GPT-SoVITS的对比优劣势
ChatTTS和GPT-SoVITS都是在文本转语音（TTS）领域的重要开源项目，但它们各自有不同的优势和劣势。 ChatTTS 优点： 多语言支持：ChatTTS支持中英文，并且能够生成高质量、自然流畅的对话语音[4][10][13]。 细粒...
-
RAFT：引领 Llama 在 RAG 中发展
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
使用LLM2Vec将Llama 3转变为一个嵌入模型
文章目录 LLM2Vec：您的LLM也是一个嵌入模型 使用LLM2Vec将Llama 3转变为文本嵌入模型 为 RAG 设置 Llama 3 文本嵌入模型 结论 原文：Benjamin Marie Turn Llama 3 into a...
-
【AIGC调研系列】llama3微调具体案例
Llama3的微调可以通过多种方式进行，具体案例包括： 使用XTuner进行微调，尝试让Llama3具有"它是SmartFlowAI打造的人工智能助手"的自我认知。这涉及到准备自我认知训练数据集，并通过脚本生成数据[2][8]。 利用Unsloth和G...
-
- 使用 LMDeploy部署Llama 3
一.环境，模型准备 # 如果你是InternStudio 可以直接使用 # studio-conda -t lmdeploy -o pytorch-2.1.2 # 初始化环境 conda create -n lmdeploy python=3.10 co...
-
运行stable-diffusion-webui-directml时报RuntimeError: Torch is not able to use GPU的错误解决办法
问题描述 进入stable-diffusion-webui-directml，双击打开webui-user.bat后，显示如下图片提示。 原因分析： 这个错误表明你在尝试使用PyTorch框架在GPU上运行代码，但是PyTorch没有检...
-
X-D-Lab/MindChat-Qwen-7B-v2模型向量化出现llama runner process has terminated: signal: aborted (core dumpe问题
Error: llama runner process has terminated: signal: aborted (core dumped 详细错误日志： 2024-05-21T06:24:45.266916811Z time=2024-05-...
-
【推理框架】超详细！AIGC面试系列 大模型推理系列(1)
本期问题聚焦于大模型的推理框架 本期问题快览 有哪些大模型推理框架 了解vllm吗 介绍下vllm的核心技术 了解faster transformer吗 介绍下faster transformer的核心技术 了解Xinference吗 了解l...
-
llama_index微调BGE模型
微调模型是为了让模型在特殊领域表现良好，帮助其学习到专业术语等。 本文采用llama_index框架微调BGE模型，跑通整个流程，并学习模型微调的方法。 已开源：https://github.com/stay-leave/enhance_llm 一、...
-
AIGC专题报告：通过NPU和异构计算开启终端侧生成式AI
今天分享的是AIGC系列深度研究报告：《AIGC专题：通过NPU和异构计算开启终端侧生成式AI》。 （报告出品方：Qualcomm） 摘要 生成式 AI 变革已经到来。随着生成式AI 用例需求在有着多样化要求和计算需求的垂直领域不断增加，我们显然需要...
-
AI绘画工具Stable Diffusion免费下载及安装教程（超详细，保姆级教程）
目前市面上两款权威的AI绘画软件，一个是Midjourney ，另外一个就是今天的主角 Stable Diffusion 。它们的区别如下： Midjourney (简称MJ ：需要付费使用，且国内不可用 Stable Diffusion (简...
-
什么！Intel/AMD/Apple Silicon也能本地部署的Llama工具来了
主流的LLM都需要通过CUDA才能高效的运行在本地，但是随着Github上出现了Llama.cpp这个神器，一切都改变了。它通过AVX指令和MPI来实现CPU上并行计算，从而在本地计算机高效地运行各种主流的类Llama模型。同时它也支持metal，使得Ap...
-
Stable Diffusion XL之使用Stable Diffusion XL训练自己的AI绘画模型
文章目录 一 SDXL训练基本步骤 二 从0到1上手使用Stable Diffusion XL训练自己的AI绘画模型 2.1 配置训练环境与训练文件 2.2 SDXL训练数据集制作 (1 数据筛选与清洗 (2 使用BLIP自动标注cap...
-
报道：美国政府将就对微软、OpenAI 和英伟达展开反垄断调查
据《纽约时报》报道，美国联邦贸易委员会（FTC）和司法部(DOJ 据称已同意分工负责，分别对微软、OpenAI 和英伟达展开潜在反垄断违规行为的调查。其中，DOJ 将主导对英伟达的调查，而 FTC 将对 OpenAI 与其最大投资者微软之间的交易展开调查。...
-
一文教你在MindSpore中实现A2C算法训练
本文分享自华为云社区《MindSpore A2C 强化学习》，作者：irrational。 Advantage Actor-Critic (A2C 算法是一个强化学习算法，它结合了策略梯度（Actor）和价值函数（Critic）的方法。A2C算法在许多强...
-
Stable Diffusion的本地部署、训练和使用
1.环境信息 显卡：NVIDIA GeForce RTX 3060 Laptop GPU 系统：Windows 11 CUDA版本：11.6 Python.exe版本：3.10.6 GPU挂载运行 2.实验内容 2.1 本地部署...
-
基于阿里云PAI部署LLaMA Factory 完成Llama3低代码微调和部署
一、引言 阿里云人工智能平台 PAI 提供了面向开发者与企业的深度学习工程平台，其中交互 式建模 PAI-DSW 集成了 Jupyter 等多种云端开发环境，提供丰富的计算资源与镜像环 境，实现开箱即用的高效开发模式。LLaMA Factory 则是一款...
-
语音识别的未来已来：深入了解faster-whisper的突破性进展【高精度语音识别模型，完全免费开源】
faster-whisper简介 faster-whisper是基于OpenAI的Whisper模型的高效实现，它利用CTranslate2，一个专为Transformer模型设计的快速推理引擎。这种实现不仅提高了语音识别的速度，还优化了内存使用效率。f...
-
AIGC-常见图像质量评估MSE、PSNR、SSIM、LPIPS、FID、CSFD，余弦相似度----理论＋代码
持续更新和补充中…多多交流！ 参考:图像评价指标PNSR和SSIM函数 structural_similarity图片相似度计算方法总结 MSE和PSNR MSE:...
-
这个团队做了OpenAI没Open的技术，开源OpenRLHF让对齐大模型超简单
随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解决这一难题方面，一种强大的技术是根据人类反馈的强化学习（RLHF）。 但是，随着模型越来越大，RLHF 通常需要维持多个模型...
-
OpenAI前员工预测：2027年AGI降临！GPT智商飙升，4年从幼儿园蹿到高中生
AGI到底是科技公司画的大饼，还是可预测的未来？ 几天前，Anthropic一名25岁的高管在博客上发文，表示自己已经准备好了3年后退休，让AI取代自己的工作。 最近，OpenAI前员工的一篇博客文章也有类似的观点。 图片 他不仅认为AGI很可能实现，而...
-
无需搭建环境，零门槛带你体验Open-Sora文生视频应用
案例体验 ?* 本案例需使用 Pytorch-2.0.1 GPU-V100 及以上规格运行 ?* 点击Run in ModelArts，将会进入到ModelArts CodeLab中，这时需要你登录华为云账号，如果没有账号，则需要...
-
斯坦福让“GPU高速运转”的新工具火了，比FlashAttention2更快
AI算力资源越发紧张的当下，斯坦福新研究将GPU运行效率再提升一波—— 内核只有100行代码，让H100比使用FlashAttention-2，性能还要提升30%。 怎么做到的？ 研究人员从“硬件实际需要什么？如何满足这些需求？”这两个问题出发，设计了...
-
一夜暴富50亿，老黄新晋「流量明星」！英伟达市值破3万亿，超越苹果成全球第二
3万亿美元，英伟达市值再次创造历史！ 当地时间周三，股价涨超5%。现在的英伟达，已经成为全球第二大市值最高的公司，超越苹果，仅次微软。 距离世界第一，仅差一步之遥。 而上一次英伟达市值首超苹果，还是2002年。当时，两家公司的市值不到100亿美元。...
-
如何在本地运行Stable Diffusion生成震撼图像
2022年AI的奇迹：如何在本地运行Stable Diffusion生成震撼图像 2022年是人工智能领域的奇迹之年。Stability.ai 开源的 Stable Diffusion 模型与 OpenAI 发布的 ChatGPT，像两颗耀眼的明星，点...
-
马斯克旗下xAI与孟菲斯市合作 拟打造全球最大超算基地
埃隆·马斯克旗下人工智能公司xAI正与田纳西州孟菲斯市洽谈合作，拟在该市建设全球规模最大的超级计算机"算力超级工厂"。这一项目的投资规模可能高达数十亿美元。 这座超算将采用英伟达最新的H100系列GPU芯片，为xAI开发的对话AI系统Grok提供强大算力支...
-
基于 Amazon EC2 快速部署 Stable Diffusion WebUI + chilloutmax 模型
自2023年以来，AI绘图已经从兴趣娱乐逐渐步入实际应用，在众多的模型中，作为闪耀的一颗明星，Stable diffusion已经成为当前最多人使用且效果最好的开源AI绘图软件之一。Stable Diffusion Web UI 是由AUTOMATIC11...
-
使用llama.cpp在linux cuda环境部署llama2方法记录及遇到的问题
一、编译lllama.cpp 拉取llama.cpp库 cd llama.cpp make LLAMA_CUBLAS=1 LLAMA_CUDA_NVCC=/usr/local/cuda/bin/nvcc bug：编译问题 使用make，nv...
-
面向AIGC的InfiniBand网络技术特性分析
在AIGC的训练场景，基本上不差钱的客户都会首选InfiniBand，作为跨AI服务器节点的网络组网方案，今天我们就来讲一讲InfiniBand到底有那些针对AIGC场景的技术优化： &nbs...
-
英特尔牙膏挤爆：功耗降40%、AI算力120TOPS，你的下一代笔记本没有内存条了
英特尔为了AI，再次做出重大架构变革： 像手机一样搞起SoC（系统级芯片），你的下一台笔记本不会再有独立内存条。 刚刚推出的新一代AI PC低功耗移动平台架构Lunar Lake，采用全新MoP（Memory on Package）封装，片上集成16或3...
-
Stable Diffusion安装（非秋叶包一键部署）
Stable Diffusion安装与配置详细步骤 一 、下载前置资源 下载CUDA 1. 查看CUDA版本 通过以下命令查看CUDA版本： nvidia-smi 复制 确保CUDA版本符合要求。 2. 下载CUDA ...
-
LLM并发加速部署方案（llama.cpp、vllm、lightLLM、fastLLM）
大模型并发加速部署 解析当前应用较广的几种并发加速部署方案！ llama.cpp、vllm、lightllm、fastllm四种框架的对比： llama.cpp：基于C++，①请求槽，②动态批处理，③CPU/GPU混合推理 vllm：基于Pyth...
-
利用 NVIDIA Riva 快速部署企业级中文语音 AI 服务并进行优化加速
一、Riva 概览 1. Overview Riva 是 NVIDIA 推出的一款 SDK，用于实时的 Speech AI 服务。它是一个高度可定制的工具，并且使用 GPU 进行加速。NGC 上提供了很多预训练好的模型，这些模型开箱即用，可以直接使用...