-
AI加速引擎PAI-TorchAcc：OLMo训练加速最佳实践
作者：黄奕桐、沈雯婷、艾宝乐、王昂、李永 摘要 阿里云机器学习平台PAI开发的Pytorch训练加速框架PAI-TorchAcc已接入最新开源的大语言模型 OLMo。 在保证模型效果和易用性的前提下，PAI-TorchAcc相对 PyTorch 性能在...
-
论坛安保三部曲：DISCUZ如何巧妙开启防采集功能
互联网的崛起不仅是时代的变革象征，也让资源共享变为常态化操作，方便多人也繁华多人，亦扫出了社会版本的职能之作-—众多数据中心与工作依赖并通过技术的支配出一份竭尽其妙来解决便宜运到符咒剪裁通过网络造就？——尴尬的简化舒洪流getNetwork Giantis...
-
【AI绘画 Stable Diffution】解决下载安装“mixlab-nodes”节点插件，ComfyUI中不显示问题。
前言 1）如果用ComfyUI Manager插件下载mixlab插件的时候，中途可能会出错，一直无法下载完成。 2）下载好官方的项目直接放在custom_nodes目录下，ComfyUI中不显示 3）插件放置目录是ComfyUI_windows_p...
-
千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略
2023 年 9 月，AI 领域的权威基准评测 MLPerf 推出了 Storage Benchmark。该基准测试通过模拟机器学习 I/O 负载的方法，在不需要 GPU 的情况下就能进行大规模的性能压测，用以评估存储系统的在 AI 模型训练场景的适用性。...
-
RNN模型挑战Transformer霸权！1%成本性能比肩Mistral-7B，支持100+种语言全球最多
在大模型内卷的同时，Transformer的地位也接连受到挑战。 近日，RWKV发布了Eagle 7B模型，基于最新的RWKV-v5架构。 Eagle 7B在多语言基准测试中，击败了所有的同级别模型，在单独的英语测试中，也和表现最好的模型基本打平。 同时...
-
机器学习中的十种非线性降维技术对比总结
降维意味着我们在不丢失太多信息的情况下减少数据集中的特征数量，降维算法属于无监督学习的范畴，用未标记的数据训练算法。 尽管降维方法种类繁多，但它们都可以归为两大类:线性和非线性。 线性方法将数据从高维空间线性投影到低维空间(因此称为线性投影 。例子包括...
-
政安晨：演绎在KerasCV中使用Stable Diffusion进行高性能图像生成
小伙伴们好，咱们今天演绎一个使用KerasCV的StableDiffusion模型生成新的图像的示例。 考虑计算机性能的因素，这次咱们在Colab上进行，Colab您可以理解为在线版的Jupyter Notebook，还不熟悉Jupyter的的小伙伴可以...
-
扩展说明: 指令微调 Llama 2
这篇博客是一篇来自 Meta AI，关于指令微调 Llama 2 的扩展说明。旨在聚焦构建指令数据集，有了它，我们则可以使用自己的指令来微调 Llama 2 基础模型。 目标是构建一个能够基于输入内容来生成指令的模型。这么做背后的逻辑是，模型如此...
-
基于PAI-EAS一键部署Stable Diffusion AIGC绘画
人工智能平台PAI完成云上Stable Diffusion以文生图应用搭建，支持两种方式： 使用交互式建模 PAI-DSW 使用模型在线服务 PAI-EAS 两种部署适用人群： 1. 使用交互式建模 PAI-DSW 部署Stable Di...
-
从0开始用 PyTorch 构建完整的 NeRF
本文经自动驾驶之心公众号授权转载，转载请联系出处。 在解释代码之前，首先对NeRF（神经辐射场）的原理与含义进行简单回顾。而NeRF论文中是这样解释NeRF算法流程的： “我们提出了一个当前最优的方法，应用于复杂场景下合成新视图的任务，具体的实现原理是...
-
秒速出图！体验 TensorRT 加速 Stable Diffusion 图像创作
TensorRT 如何加速 Stable Diffusion？ 生成式 AI 图像内容生成技术近年来发展迅速，可以根据人类语言描述生成图片，在时尚、建筑、动漫、广告、游戏等领域有着广泛应用。 Stable Diffusion WebUI 是 Githu...
-
Eagle7B: 基于RWKV-v5架构、跨足100多种语言的7.52B参数AI模型
随着人工智能的发展，大型语言模型在各个领域开始受到广泛关注和应用。这些模型在数十亿级别的数据规模上进行训练，涵盖了健康、金融、教育、娱乐等多个领域，从自然语言处理和翻译到其他任务都发挥着重要作用。 最近，研究人员开发了Eagle7B，这是一个具有惊人75...
-
2023-12-30 AIGC-LangChain指南-打造LLM的垂域AI框架
摘要: 2023-12-30 AIGC-LangChain指南-打造LLM的垂域AI框架 LangChain指南-打造LLM的垂域AI框架 CHATGPT以来，Langchain 可能是目前在 AI 领域中最热门的事物之一，仅次于向量数据库。...
-
无注意力大模型Eagle7B：基于RWKV，推理成本降低10-100 倍
无注意力大模型Eagle7B：基于RWKV，推理成本降低10-100 倍 在 AI 赛道中，与动辄上千亿参数的模型相比，最近，小模型开始受到大家的青睐。比如法国 AI 初创公司发布的 Mistral-7B 模型，其在每个基准测试中，都优于 Llama 2...
-
实时设计:带你0基础入门ComfyUI工作流#N3期AIGC训练营
想知道这个工作流是怎么实现的吗？ 使用ComfyUI，一款基于Stable diffusion的节点式UI，低显存占用，完成SD使用流程的自动化。通过自定义的屏幕共享节点，调用实时LCM生成图像。 这个月还有 AI 训练营可以报名...
-
使用核模型高斯过程(KMGPs)进行数据建模
核模型高斯过程(KMGPs 作为一种复杂的工具可以处理各种数据集的复杂性。他通过核函数来扩展高斯过程的传统概念。本文将深入探讨kmgp的理论基础、实际应用以及它们所面临的挑战。 核模型高斯过程是机器学习和统计学中对传统高斯过程的一种扩展。要理解kmgp，...
-
Llama-2 推理和微调的硬件要求总结：RTX 3080 就可以微调最小模型
大语言模型微调是指对已经预训练的大型语言模型（例如Llama-2，Falcon等）进行额外的训练，以使其适应特定任务或领域的需求。微调通常需要大量的计算资源，但是通过量化和Lora等方法，我们也可以在消费级的GPU上来微调测试，但是消费级GPU也无法承载比...
-
NeurIPS 2023精选回顾：大模型最火，清华ToT思维树上榜
近日，作为美国前十的科技博客，Latent Space对于刚刚过去的NeurIPS 2023大会进行了精选回顾总结。 在NeurIPS会议总共接受的3586篇论文之中，除去6篇获奖论文，其他论文也同样优秀和具有潜力，甚至有可能预示着下一个AI领域的新突破...
-
异常值检测方法比较——基于美国职业棒球联盟2023赛季击球数据
译者 | 朱先忠 审校 | 重楼 异常值检测是一种无监督的机器学习任务，用于识别给定数据集中的异常（即“异常观测”）。在大量现实世界中，当我们的可用数据集已经被异常“污染”时，异常值检测任务对于整个机器学习环节来说是非常有帮助的。当前，开源框架Sciki...
-
基于 PAI-EAS 一键部署 Stable Diffusion AIGC 绘画
人工智能平台PAI完成云上Stable Diffusion以文生图应用搭建，支持两种方式： 使用交互式建模 PAI-DSW 使用模型在线服务 PAI-EAS 两种部署适用人群： 1.使用交互式建模 PAI-DSW 部署Stable Diffus...
-
【LLM】微调LLM：LoRA 还是全参数？Llama 2 的深入分析
?大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流? ?个人主页－Sonhhxg_柒的博客_CSDN博客 ? ?欢迎各位→点赞? + 收藏⭐️ + 留言? ?系列专栏 - 机器学习【ML】 自然语言...
-
AI 时间是能编辑的，空间是可计算的 ｜N4 连麦对谈 AIGC
本期关键词：AIPC、生成式AI、ComfyUI、应用、场景、超级个体、算力、数据、组织模式、范式更新、AI 绘画 在数字化浪潮中，我们正处于各种范式更新的窗口期。AI 看似已经变得无所不能，可以预见的是，未来还可能会出现更强大的电脑设备和...
-
使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion
使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion 0. 前言 1. Amazon SageMaker 与机器学习 1.1 机器学习流程 1.2 Amazon SageMaker 简介 1.3 Amaz...
-
20分钟，使用Amazon SageMaker快速搭建属于自己的AIGC应用
真火！ 作为最近一段时间人工智能领域内的顶流之一，AIGC（AI-Generated Content）早已火爆出圈，频登各大互联网平台热搜。 cite: 微软亚洲研究院官方微博 这段时间以来，基于深度学习的内容生成在图像、视频、语音、音乐、...
-
AI平台：OpenXLab浦源
OpenXLab浦源 开放项目应用中心模型中心数据集中心文档中心 搜索 中文EN创建登录注册人工智能开源开放体系浦源内容平台应用中心探索多领域应用，体验丰富的社区生态AIGC语音计算机视觉自然语言处理多模态技术更多在这里...
-
突破Pytorch核心点，优化器 ！！
嗨，我是小壮！ 今儿咱们聊聊Pytorch中的优化器。 优化器在深度学习中的选择直接影响模型的训练效果和速度。不同的优化器适用于不同的问题，其性能的差异可能导致模型更快、更稳定地收敛，或者在某些任务上表现更好。 因此，选择合适的优化器是深度学习模型调优中...
-
突破Pytorch核心点，CNN ！！！
哈喽，我是小壮！ 创建卷积神经网络（CNN），很多初学者不太熟悉，今儿咱们来大概说说，给一个完整的案例进行说明。 CNN 用于图像分类、目标检测、图像生成等任务。它的关键思想是通过卷积层和池化层来自动提取图像的特征，并通过全连接层进行分类。 原理 1.卷...
-
[AI绘画] 即插即用！SDXL+T2I-Adapters 高效可控的生成图片
标题：T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models 论文：https://arxiv....
-
谷歌推Bard百度推文心一言：挑战ChatGPT 竞争白热化
雷递网 雷建平 2月7日 在ChatGPT大获成功的推动下，百度宣布将推出类ChatGPT项目，该项目名字确定为文心一言，英文名ERNIE Bot，三月份完成内测，面向公众开放。 目前，文心一言在做上线前的冲刺。 2022年9月，百...
-
一文读懂分类模型评估指标
模型评估是深度学习和机器学习中非常重要的一部分，用于衡量模型的性能和效果。本文将逐步分解混淆矩阵，准确性，精度，召回率和F1分数。 混淆矩阵 混淆矩阵是在分类问题中用于评估模型性能的表格，它展示了模型对样本的分类情况。混淆矩阵的行表示实际类别，列表示预...
-
ChatGPT科研绘图（基于python）【chatgpt使用指南-python绘图】
? Welcome to Aedream同学 's blog! ? 文章目录 背景 chatgpt操作 结果 chatgpt可以通过编写Python、matlab等代码实现绘图功能。经过试验，其中以Python最为高效准...
-
大语言模型之四-LlaMA-2从模型到应用
最近开源大语言模型LlaMA-2火出圈，从huggingface的Open LLM Leaderboard开源大语言模型排行榜可以看到LlaMA-2还是非常有潜力的开源商用大语言模型之一，相比InstructGPT，LlaMA-2在数据质量、培训技术、能力...
-
基于 NNCF 和 Optimum 面向 Intel CPU 对 Stable Diffusion 优化
基于隐空间的扩散模型 (Latent Diffusion Model ，是解决文本到图片生成问题上的颠覆者。Stable Diffusion 是最著名的一例，广泛应用在商业和工业。Stable Diffusion 的想法简单且有效: 从噪声向量开始，多次去...
-
基于 NNCF 和 Optimum 面向 Intel CPU 对 Stable Diffusion 优化
? 宝子们可以戳 阅读原文 查看文中所有的外部链接哟！ 基于隐空间的扩散模型 (Latent Diffusion Model ，是解决文本到图片生成问题上的颠覆者。Stable Diffusion 是最著名的一例，广泛应用在商业和工...
-
AIGC提示词（Prompt）网站
目录 Learning Prompt Snack Prompt Flow GPT Prompt Hero Public Prompts 整理的 AI提示词（Prompt）网站，让AI工具效率翻倍！ 我的Blog https://xxl...
-
OpenMMLab-AI实战营第二期——6-2.玩转AIGC神器MMagic
文章目录 1. 基本介绍 2. 动手实验 视频链接：玩转AIGC神器MMagic 代码教程：https://github.com/TommyZihao/MMagic_Tutorials 1. 基本介绍 Stable Diffu...
-
如何在阿里云快速启动Stable Diffusion轻松玩转AI绘画
前言 AIGC最近非常火热，除了chatGPT，还有Stable Diffusion AI绘画，之前看到了一系列关于AIGC的文章，了解到很多同学都想体验下AIGC的魅力。关于Stable Diffusion部署，在网上看到了很多版本，云上最简单最快速...
-
stable-diffusion-webui(1.2.1版本) win10系统本地电脑部署
在安装stable-diffusion-webui(1.2.1版本 之前需要确认win10本地电脑具有的环境 1.显卡类型：NVIDIA（英伟达） 建议显存高于4G以上，这样512*512的还是可以运行的 2.python(版本必须最好是3.10.6...
-
数字图像处理的图像操作
图像操作在计算机视觉和图像处理中发挥着至关重要的作用。这些操作对于诸如预处理、增强图像质量和启用高级算法等任务至关重要。在计算机视觉中，诸如调整大小、裁剪、调整亮度/对比度/伽玛和几何变换等操作是基础的。它们允许进行高效的计算、提取感兴趣区域、规范化图像...
-
基于LoRA微调部署Stable Diffusion【免费试用阿里云】
文章目录 Stable Diffusion介绍 环境及资源准备过程 交互式建模（PAI-DSW）的试用 在创建的工作空间中创建实例 Stable Diffusion的Web-UI部署 下载stable-diffusion-webui开源库...
-
AI绘画stable-diffusion-webui+ChilloutMix云部署
AI绘画stable-diffusion-webui+ChilloutMix云部署 腾讯GPU实验室：https://cloud.tencent.com/act/pro/gpu-study?from=10680 实例规格：GPU计算型GN7 | GN...
-
借助亚马逊云科技生成你的第一张AIGC图片
一幅绘画引领的AIGC(AI Generated Content，人工智能生成内容 热潮！ 2022年9月AI绘画“太空歌剧院”获得美国科罗拉多州博览会一等奖，同年11月底ChatGPT（人工智能对话聊天机器人）推出并迅速风靡全球，从时间节...
-
确定数据分布正态性的11种基本方法
在数据科学和机器学习领域，许多模型都假设数据呈现正态分布，或者假设数据在正态分布下表现更好。例如，线性回归假设残差呈正态分布，线性判别分析（LDA）基于正态分布等假设进行推导。 因此，了解如何测试数据正态性的方法对于数据科学家和机器学习从业者至关重要。...
-
微调语言大模型选LoRA还是全参数？基于LLaMA 2深度分析
本文对比了全参数微调和LoRA，并分析了这两种技术各自的优势和劣势。作者使用了三个真实用例来训练LLaMA 2模型，这提供了比较特定任务的性能、硬件要求和训练成本的基准。本文证明了使用LoRA需要在serving效率和模型质量之间做出权衡，而这...
-
小红书推搜场景下如何优化机器学习异构硬件推理突破算力瓶颈！
本文将分享小红书推搜场景下，全 GPU 化建设过程中的模型服务、GPU 优化等相关工作。 一、前言 近年来，机器学习领域的视频、图像、文本和推广搜等应用不断发展，其模型计算量和参数量远远超过了 CPU 摩尔定律的增长速度。在此背景下，GPU 的算力发展...
-
Stable Diffusion - SDXL 模型测试与全身图像参数配置
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/132085757 图像来源于 SDXL 模型，艺术风格是赛博...
-
[效率提升]vscode+copilot
1，安装最新版本的vscode； https://code.visualstudio.com/docs/getstarted/introvideos 点击最新版本后，将链接中 http://az764295.vo.msecnd.net 替换为 http...
-
Llama 2 来袭 - 在 Hugging Face 上玩转它
? 宝子们可以戳 阅读原文 查看文中所有的外部链接哟！ 引言 今天，Meta 发布了 Llama 2，其包含了一系列最先进的开放大语言模型，我们很高兴能够将其全面集成入 Hugging Face，并全力支持其发布。Llama 2...
-
Keras 3.0一统江湖！大更新整合PyTorch、JAX，全球250万开发者在用了
刚刚，Keras 3.0正式发布！ 经过5个月的公开Beta测试，深度学习框架Keras 3.0终于面向所有开发者推出。 全新的Keras 3对Keras代码库进行了完全重写，可以在JAX、TensorFlow和PyTorch上运行，能够解锁全新大模型训...
-
六个常用的聚类评价指标
评估聚类结果的有效性，即聚类评估或验证，对于聚类应用程序的成功至关重要。它可以确保聚类算法在数据中识别出有意义的聚类，还可以用来确定哪种聚类算法最适合特定的数据集和任务，并调优这些算法的超参数(例如k-means中的聚类数量，或DBSCAN中的密度参数 ...