-
大模型也能切片，微软SliceGPT让LLAMA-2计算效率大增
大型语言模型（LLM）通常拥有数十亿的参数，用了数万亿 token 的数据进行训练，这样的模型训练、部署成本都非常高。因此，人们经常用各种模型压缩技术来减少它们的计算需求。 一般来讲，这些模型压缩技术可以分为四类：蒸馏、张量分解（包括低秩因式分解）、剪枝...
-
stable diffusion实践操作-大模型介绍-SDXL1大模型
系列文章目录 大家移步下面链接中，里面详细介绍了stable diffusion的原理，操作等（本文只是下面系列文章的一个写作模板）。stable diffusion实践操作 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档...
-
Midjourney使用教程：三 图片风格提示
这里我根据现在的官方文档来继续我们的Midjourney的教程，看到这里如果你去实践的话，估计你已经有了好多张属于自己的图片。 这时候你不在满足简单的提示生成的Midjourney的默认风格图片，实际上你可以通过一些关键词做提示，来改变输出的图片风格，像...
-
PAI-ChatLearn ：灵活易用、大规模 RLHF 高效训练框架（阿里云最新实践）
PAI-ChatLearn 是阿里云机器学习平台 PAI 团队自主研发的，灵活易用、大规模模型 RLHF 高效训练框架，支持大模型进行 SFT（有监督指令微调）、RM（奖励模型）、RLHF（基于人类反馈的强化学习）完整训练流程。PAI-ChatLear...
-
【AI】Chinese-LLaMA-Alpaca-2 7B llama.cpp 量化方法选择及推理速度测试 x86_64 RTX 2060 6G 显存太小了
环境 操作系统 CPU 内存 生成量化版本模型 转换出q4_0 q4_k q6_k q8_0模型 cd ~/Downloads/ai/llama.cpp sourvce venv/bin/activate ~/Downloads/...
-
每日一看大模型新闻（2023.11.14）谷歌提出新型生成式AI模型IGN；谷歌天气预报模型GraphCast登刊Science；贾扬清吐槽国产大模型套壳Llama 假装自研，零一万物回应
1.产品发布 1.1面壁智能：发布AI Agents首个SaaS级产品ChatDev 发布日期：2023-11-15 面壁智能打造首个“大模型+Agent” SaaS级产品ChatDev 主要内容：面壁智能已经推出了基于群体智能和其新一代千...
-
2024年度AI投资策略报告：AI三要素共振，AIGC云到端加速推进
今天分享的AI系列深度研究报告：《2024年度AI投资策略报告：AI三要素共振，AIGC云到端加速推进》。 （报告出品方：中国银河证券研究院） 报告共计：103页 核心观点:行业热度将持续，积极把握六大投资主线 (一 行业行情回顾及 2...
-
stable-diffusion-webui（AI绘画）项目实现，即遇到的问题
实现步骤： 为了使环境中的库版本不会乱，导致自己电脑原来一些项目无法运行最好使用虚拟环境 下载miniconda 在搜索中搜所miniconda找到 建立虚拟环境 conda create --name sdwebui python=3....
-
重塑3D生成核心理论：VAST、港大、清华用「零」训练数据生成了3D模型
无需任何训练数据，只需对着模型描述一句话，如「一个做作业的香蕉人」： 或是「一只戴着 VR 眼镜的猫」： 就能生成符合描述的带有高质量纹理贴图的 3D 场景。不仅如此，还能对已有的 3D 模型进行精细化贴图。 这是港大与清华大学联合 3D 生成明星...
-
微软开发新型大模型压缩方法SliceGPT
SliceGPT是微软开发的一种新型的大语言模型压缩方法。通过SLICE GPT，可以在保持99%，99%，和90%零样本任务性能的同时，将LLAMA2-70B、OPT66B和Phi-2模型分别去除高达25%的模型参数（包括嵌入）。 这意味着使用SLICE...
-
【AIGC】从零手写一个GPT
手写一个GPT 在GPT，确切的说是Transformer，出现之前，一个问题长久地困扰着人们——如何让两句内容不同、但语义相近的句子得到较为接近的表示。 比如我们有两句话 我喜欢你 吾中意你 它们作为句子内容并不一样，但是表达的含义却...
-
GenAI成功道路上的十个“坑”
想要实现生成式人工智能（GenAI）?是个好消息!大多数IT决策者都看到了这种变革性技术的潜力，您可以将自己视为其中之一。虽然GenAI有可能为业务增加显著的效率，但它也带来了一系列必须克服的挑战。 以下是实施GenAI的十大挑战，按重要性降序排列。...
-
谷歌与Hugging Face携手，共推开源模型助力AI发展
Google与Hugging Face近日宣布战略合作，旨在推动开放AI和机器学习的发展。这一合作将集成Hugging Face的平台与Google Cloud的基础设施，包括Vertex AI，旨在使生成式AI更易于开发者使用。这一合作的重要性被认为是A...
-
百川智能发布大模型Baichuan3 称中文评测超越GPT-4
百川智能于 1 月 29 日推出了拥有超过千亿参数的大型语言模型Baichuan 3。该模型在多个公认的通用能力评估，如CMMLU、GAOKAO和AGI-Eval等，都展示了卓越的表现，特别是在中文任务上更是超过了GPT- 4 的水平。同时，该模型在数学和...
-
【腾讯云HAI域探秘】利用HAI搭建AI绘画应用，随心所欲，畅享创作乐趣
【腾讯云HAI域探秘】利用HAI搭建AI绘画应用，随心所欲，畅享创作乐趣 1️⃣基于HAI部署的StableDiffusionWebUI快速进行AI绘画 （1）创建并启动StableDiffusion应用服务器 （2）使用StableDiff...
-
谷歌AI芯片TPU v5p在训练LLM方面比其前一代快2.8倍
谷歌正迅速成为其最好的朋友英伟达的强大对手——其超级计算机所使用的TPU v5p人工智能芯片比以往任何时候都更快、更大、更宽，甚至超过了强大的H100。谷歌在最近推出其Gemini人工智能模型的同时，也发布了其最新版本的旗舰张量处理单元（TPU），用于人工...
-
谷歌云与Hugging Face签署人工智能基础设施合作协议
谷歌公司（Google LLC）云计算部门今天宣布与Hugging Face公司建立新的合作伙伴关系，后者是一个流行的共享开源人工智能模型平台运营商。 根据协议，谷歌云将成为Hugging Face人工智能训练和推理工作负载的 “首选目的地”。此外，两...
-
LLaMA Efficient Tuning
文章目录 LLaMA Efficient Tuning 安装 数据准备 浏览器一体化界面 单 GPU 训练 train_bash 1、预训练 pt 2、指令监督微调 sft 3、奖励模型训练 rm 4、PPO 训练 ppo 5、DPO 训练...
-
三星：2023年前旧机型不支持Galaxy AI
快科技1月28日消息，三星最近发布了Galaxy S24系列手机，三星已经确认Galaxy AI将登陆一部分旧设备。 其中包括Galaxy S23系列（S23/S23 /S23 Ultra/S23 FE）手机、Galaxy Tab S9系列（Tab S9/...
-
Llama-2 推理和微调的硬件要求总结：RTX 3080 就可以微调最小模型
大语言模型微调是指对已经预训练的大型语言模型（例如Llama-2，Falcon等）进行额外的训练，以使其适应特定任务或领域的需求。微调通常需要大量的计算资源，但是通过量化和Lora等方法，我们也可以在消费级的GPU上来微调测试，但是消费级GPU也无法承载比...
-
OpenAI联创Karpathy发文：用自动驾驶诠释AGI！原贴已删速收藏
对于「通用人工智能」，OpenAI科学家Karpathy下场做出了解释。 前几天，Karpathy在个人blog发表了一篇文章「将自动驾驶作为AGI的一个案例来研究」。 不知是何原因，他却删除了这篇文章，幸而，还有网络备份。 众所周知，Karpat...
-
大语言模型部署：基于llama.cpp在Ubuntu 22.04及CUDA环境中部署Llama-2 7B
llama.cpp是近期非常流行的一款专注于Llama/Llama-2部署的C/C++工具。本文利用llama.cpp来部署Llama 2 7B大语言模型，所采用的环境为Ubuntu 22.04及NVIDIA CUDA。文中假设Linux的用户目录（一般为...
-
Llama 2: Open Foundation and Fine-Tuned Chat Models
文章目录 TL;DR Introduction 背景 本文方案 实现方式 预训练 预训练数据 训练细节 训练硬件支持 预训练碳足迹 微调 SFT SFT 训练细节 RLHF 人类偏好数据收集 奖励模型 迭代式微调（RLHF） 拒...
-
【随手记录】Llama Tutorial 大语言模型实践 手把手系列带实践源码
这个tutorial的契机是yy突然看到了一个workshop 所以类似于一周大作业的形式，输入command输出使用了自动驾驶哪些模块，代码在这里 所以就干一干，顺便写一个tutorial给大家参考和教程 引申更多的应用 参考资料： https:...
-
webassembly003 whisper.cpp的项目结构CMakeLists.txt
注：带星号的为非重要部分 基础配置 cmake_minimum_required (VERSION 3.5 project(whisper.cpp VERSION 1.5.0 # Add path to modules list(APPEND...
-
Stable Diffusion训练Lora模型
以下内容参考:https://www.bilibili.com/video/BV1Qk4y1E7nv/?spm_id_from=333.337.search-card.all.click&vd_source=3969f30b089463e19db0...
-
Stable Diffusion 系列教程 - 6 Dreambooth及训练
Stable-Diffusion、Imagen等文生图大模型已经具备了强大的生成能力，假设我们的Prompt为 [Cyberpunk Style]，SD或许能很快画出赛博朋克风格的一幅画。但你作为一个不知名的人，不能奢求SD在训练的时候把你自己想要的风格也...
-
利用 “diart“ 和 OpenAI 的 Whisper 简化实时转录
利用 "diart" 和 OpenAI 的 Whisper 简化实时转录 工作原理 Diart 是一个基于人工智能的 Python 库，用于实时记录说话者语言（即 "谁在什么时候说话"），它建立在 pyannote.audio 模型之上，专为实时音频流...
-
记录Stable-Diffusion-Webui 在Windows11的Anaconda环境下的避坑安装
#记录工作，工作复盘 仅作记录，未尽之处请补充，谢谢！ 电脑配置情况大致记录如下，请参考： MSI移动工作站，64G内存，4GB显存 一、安装前准备： 阅读文档，明确软件依赖和安装要求： 在用Anaconda环境下安装stable-diff...
-
无需本地部署 在线使用Stable Diffusion Webui 使用共享模型
尝试本地部署Stable Diffusion的时候遇到了很多的麻烦，自己训练AI也非常的麻烦，可以尝试使用Webui使用别人上传的模型 第一步进入网站https://github.com/camenduru/stable-diffusion...
-
Stable-Diffusion环境搭建
硬件可以采用DELL R7525 搭配L4 或者T4 等等企业级显卡 环境如下： 可以看到有相应的GPU卡信息 esxi 7.u3 信息 设置GPU穿透方式 查看相应的虚拟机参数信息 PCI 设备加载穿透GPU信息...
-
Stable Diffusion 硬核生存指南：WebUI 中的 CodeFormer
本篇文章聊聊 Stable Diffusion WebUI 中的核心组件，强壮的人脸图像面部画面修复模型 CodeFormer 相关的事情。 写在前面 在 Stable Diffusion WebUI 项目中，源码 modules 目录中，有一个有趣...
-
高效底座模型LLaMA
论文标题：LLaMA: Open and Efficient Foundation Language Models 论文链接：https://arxiv.org/abs/2302.13971 论文来源：Meta AI 一、概述 大型语...
-
无独立显卡电脑安装Stable Diffusion教程，附安装包
Stable Diffusion是一款开源的人工智能绘图工具。能通过文本生成精美的图片。 视频演示： 大叔试用人工智能 无独立显卡如何安装StableDiffusion 看一下Stable Diffusion生成的图片样例：...
-
【Midjourney】Midjourney 基本操作 ① ( 使用 Midjourney 生成图片 | V 按钮继续生成 | U 按钮获取结果 | Midjourney 设置面板 )
文章目录 一、使用 Midjourney 生成图片 1、初次生成图片 2、查看 GPU 时间消耗 3、重新生成图片 4、V 按钮继续生成 / U 按钮获取结果 二、Discord 中的 Midjourney 设置面板 1、Midjourn...
-
使用 Transformers 为多语种语音识别任务微调 Whisper 模型
本文提供了一个使用 Hugging Face 🤗 Transformers 在任意多语种语音识别 (ASR 数据集上微调 Whisper 的分步指南。同时，我们还深入解释了 Whisper 模型、Common Voice 数据集以及微调等理论知识，并提供...
-
chatglm2-2b+sdxl1.0+langchain打造私有AIGC（五）
一、实现目标 上篇文章写完LLM的Agent之后，流程应该是进入到了SDXL的“文生图”“图生图”阶段了 目标很明确，使用SDXL为ChatGLM生成的内容进行配图，说明：大部分使用SD模型的大神都是使用SD模型配套的开源WebUI，因为我主打一个...
-
推翻Transformer奠基之作疑被拒收，ICLR评审遭质疑！网友大呼黑幕，LeCun自曝类似经历
去年12月，CMU和普林斯顿的2位研究者发布了Mamba架构，瞬间引起AI社区震动！ 结果，这篇被众人看好有望「颠覆Transformer霸权」的论文，今天竟曝出疑似被顶会拒收？！ 今早，康奈尔大学副教授Sasha Rush最先发现，这篇有望成为奠基之作...
-
NeurIPS 2023精选回顾：大模型最火，清华ToT思维树上榜
近日，作为美国前十的科技博客，Latent Space对于刚刚过去的NeurIPS 2023大会进行了精选回顾总结。 在NeurIPS会议总共接受的3586篇论文之中，除去6篇获奖论文，其他论文也同样优秀和具有潜力，甚至有可能预示着下一个AI领域的新突破...
-
大模型推理成本排行榜来了：贾扬清公司效率领跑
「大模型的 API 是个亏本买卖吗？」 随着大语言模型技术的逐渐实用化，越来越多的科技公司提出了大模型 API 供开发者们使用。但前有 OpenAI「每天烧掉 70 万美元」，我们也有理由怀疑以大模型为基础的业务到底能不能持续。 本周四，AI 创业公司...
-
Oracle推出云生成式AI服务 帮助企业部署和微调语言模型
数据库巨头Oracle近日推出了Oracle Cloud Infrastructure Generative AI服务，发布的同时推出了各种创新技术，使大型企业能够利用生成式AI技术的最新成果。 这次推出的OCI Generative AI服务是一项全...
-
零基础入门AI绘画神器Stable Diffusion保姆级别教程！！小白必收藏！！！
手把手教你入门绘图超强的AI绘画程序Stable Diffusion，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新Stable Diffusion保姆级教程资料包（文末可获取） 一、本地部署 Stable diffusion...
-
stable diffusion在server上的部署测试
SD infinite canvas Automatic1111 vs InvokeAI Automatic1111 vs InvokeAI - pros and cons stablediffusion-infinity 该repo的问题是已...
-
Stable-Diffusion-WebUI 搭建使用教程
Stable-Diffusion-Webui 是一个基于Gradio库的Stable Diffusion的浏览器界面，可以说是AI绘画集合体，支持目前主流的开源AI绘画模型，例如 NovelAi/Stable Diffusion，有了它，我们就可以很方便地...
-
stable diffusion webui的代码结构解析
stable-diffusion-webui源码分析（1）-Gradio - 知乎AUTOMATIC1111的webui是近期很流行的stable-diffusion应用，它集合stable-diffusion各项常用功能，还通过扩展的形式支持contro...
-
AIGC内容分享(三十五)：AIGC赋能的“秒鸭相机”到底有多强？
目录 01-FaceChain算法简介 02-FaceChain-FACT算法简介 03-FaceChain算法流程 04-FaceChain-FACT算法流程 05-FaceChain算法应用场景 06-FaceChain环境搭建与运...
-
OpenAI创始人想打造全球芯片工厂网络 设计制造一把抓以对抗英伟达
OpenAI联合创始人Sam Altman最近提出一个设想，他想在全球打造AI芯片工厂网络，以对抗英伟达。 为了训练大语言模型，AI企业需要采购大量英伟达GPU，耗资不菲。当模型正常运营，向消费者开放，运营费用更是天文数字。 如何降低成本？大企业绞尽脑...
-
FlashAttention2原理解析以及面向AIGC的加速实践
FlashAttention-2提出后，便得到了大量关注。本文将具体讲述FlashAttention-2的前世今生，包括FlashAttention1&2的原理解析、加速效果比较以及面向AIGC的加速实践，在这里将相关内容与大家分...
-
AI万花筒官网体验入口 AI绘画在线工具免费使用地址
AI万花筒是一个集成了GPT、Stable Diffusion、AI绘画等在线AI工具的创意平台。创作者可以通过免费使用这些工具来生成创意素材。该平台提供免费和付费版本，付费用户可以享受GPU加速、增加使用次数等服务。AI万花筒的定位是提供优质、便捷的AI...
-
AIGC带来的产业投资机会：全球视角下的产业洞察
AIGC （AI生成内容），是指利用人工智能技术生成各种形式的内容，如文本、图像、音频、视频，典型应用如ChatGPT、Midjourney等。AIGC技术在近年来得到了飞速的发展，为各个领域带来了巨大的变革和价值。与此同时，AIGC技术也催生了全球范围内...