-
实战干货｜Spark 在袋鼠云数栈的深度探索与实践
Spark 是一个快速、通用、可扩展的大数据计算引擎，具有高性能、易用、容错、可以与 Hadoop 生态无缝集成、社区活跃度高等优点。在实际使用中，具有广泛的应用场景： · 数据清洗和预处理：在大数据分析场景下，数据通常需要进行清洗和预处理操作以确保数据...
-
1MB的神奇AI，检测百万文件，99%的准确率！
在 Web 开发中，上传文件至服务器前的文件类型检测至关重要。这一步骤不仅能够确保服务器和用户的安全，拦截可能的恶意文件，还能保证上传的文件完整且符合预期，提高数据的合规性。同时，通过及时给予用户反馈和指导，也能提升用户体验，避免不必要的困惑。 之前阿宝...
-
(含代码)利用NVIDIA Triton加速Stable Diffusion XL推理速度
在 NVIDIA AI 推理平台上使用 Stable Diffusion XL 生成令人惊叹的图像 扩散模型正在改变跨行业的创意工作流程。 这些模型通过去噪扩散技术迭代地将随机噪声塑造成人工智能生成的艺术，从而基于简单的文本或图像输入生成令人惊叹的...
-
Stable Diffusion WebUI 图生图（img2img）：图生图/涂鸦绘制/局部重绘/有色蒙版/上传蒙版/批量处理/反推提示词
本文收录于《AI绘画从入门到精通》专栏，专栏总目录：点这里，订阅后可阅读专栏内所有文章。 大家好，我是水滴~~ 本篇文章我们介绍 Stable Diffusion WebUI 的图生图功能，主要包括：图生图、图生图（手绘修正）/涂鸦绘制、局部重绘、...
-
探索LLaMA模型：架构创新与Transformer模型的进化之路
引言 在人工智能和自然语言处理领域，预训练语言模型的发展一直在引领着前沿科技的进步。Meta AI（前身为Facebook）在2023年2月推出的LLaMA（Large Language Model Meta AI）模型引起了广泛关注。LLaMA模型以...
-
基于stable diffusion的IP海报生成
【AIGC】只要10秒，AI生成IP海报，解放双手！！！在AIGC市场发展的趋势下，如何帮助设计工作者解放双手。本文将从图像生成方向切入，帮助大家体系化的学习Stable diffusion的使用，完成自有IP的训练以及生成，主要从部署、训练、生成3大核心...
-
llama factory 参数体系EvaluationArguments、DataArguments、FinetuningArguments、FreezeArguments、LoraArgument
项目地址 https://github.com/hiyouga/LLaMA-Factory 模型层参数 这段代码是使用Python的dataclasses模块定义的一个数据类ModelArguments，用于管理和存储与模型微调相关的参数。这个类的设计是...
-
使用 QLoRA 进行微调Llama 2 和 Mistral的初学者指南
本指南适用于任何想要为自己的项目定制强大的语言模型（如 Llama 2 和 Mistral）的人。使用 QLoRA，我们将逐步完成...
-
[AIGC] 深入理解Flink中的窗口、水位线和定时器
Apache Flink是一种流处理和批处理的混合引擎，它提供了一套丰富的APIs，以满足不同的数据处理需求。在本文中，我们主要讨论Flink中的三个核心机制：窗口（Windows）、水位线（Watermarks）和定时器（Timers）。 1. 窗口...
-
discuz! x3 采集插件解析与实用指南
Discuz! 作为国内广泛使用的论坛软件系统之一，历来深受网站管理员的喜欢。而在论坛运营的过程中，内容采集成为许多站长追求的目标之一。它不仅能为网站带来更多的内容和流量，同时也能够为管理员提供更加方便快捷的管理手段。为此，“discuz x3 采集插件”...
-
AI实时绘画系统StreamMultiDiffusion 支持局部涂抹+提示生成图片
近期，一篇名为"StreamMultiDiffusion"的论文提出了一种新颖的实时、交互式的文本到图像生成系统。这种系统能够根据用户提供的手绘区域和相应的语义文本提示来生成图像，为专业图像创作者提供了一个强大的工具，可以用于快速原型设计和创意探索。 项...
-
教你如何合理合法采集Discuz论坛的附件
在当今信息化的社会中，各种论坛作为信息交流、共享和知识传播的平台发挥着巨大的作用。Discuz，作为知名的社区论坛软件，广泛应用于各个行业。但在日常的使用和管理工作中，如何合法且合规地采集论坛中的附件信息成为了不少人面临的问题。今天，我们将详细解读合法采集...
-
AIGC实战——GPT(Generative Pre-trained Transformer)
AIGC实战——GPT 0. 前言 1. GPT 简介 2. 葡萄酒评论数据集 3. 注意力机制 3.1 查询、键和值 3.2 多头注意力 3.3 因果掩码 4. Transformer 4.1 Transformer 块 4.2 位置编...
-
微信公众号文章采集：探索、挑战与机遇
在当今这个信息爆炸的时代，微信公众号已成为人们获取信息、学习知识和交流思想的重要平台。每天，数以万计的文章在公众号上发布，涵盖了从新闻资讯、科技动态到生活百科、文化娱乐等各个领域。这些文章不仅丰富了我们的阅读选择，也为我们提供了宝贵的知识资源。然而，如何高...
-
PyTorch 该怎么学？太简单了
挺多小伙伴问过PyTorch该怎么学，经过长期实践来看，初学者需要熟知的概念和用法真的不多，以下总结的简明指南一起看看吧！ 构建Tensor PyTorch 中的 Tensors 是多维数组，类似于 NumPy 的 ndarrays，但可以在 GPU...
-
图片生成 Stable Diffusion Web 安装教程
一 Stable Diffusion Web介绍 1 什么是stable diffussion web ？ Stable Diffusion Web 是一个基于 Stable Diffusion 模型开发的图形用户界面（GUI）应用...
-
实战解析：打造风控特征变量平台，赋能数据驱动决策
金融业务产品授信准入、交易营销等环节存在广泛的风控诉求，随着业务种类增多，传统的专家规则、评分卡模型难以应付日趋复杂的风控场景。 在传统风控以专家规则系统为主流应用的语境下，规则模型的入参习惯被称为“变量”。基于专家规则的风险评估，存在规则触发阈值难量化...
-
Magika:基于AI支持的文件类型检测工具，依靠深度学习提供准确的检测
数字化时代，对我们所遇到的文件进行准确识别至关重要，这涉及到用户安全和信息保护的方方面面。然而，在处理众多文件格式时，如何准确迅速地检测文件内容成为一项挑战。现有方法可能并不总是高效或准确，可能导致潜在风险或误分类。 Magika作为一种创新的文件类型检测...
-
高性能 LLM 推理框架的设计与实现
一、大语言模型推理概要介绍 与传统的 CNN 模型推理不同，大语言模型的推理通常会分成 prefill 和 decoding 两个阶段。每一个请求发起后产生的推理过程都会先经历一个 Prefill 过程，prefill 过程会计算用户所有的输入，并生...
-
首席分析师揭秘爆火Groq，每小时要烧168美元！10倍H100拥有成本，老黄笑而不语
最近爆火的AI初创公司Groq，推出了比目前常见GPU推理系统快4倍，成本低70%的大模型推理解决方案。 他们提供的运行Mistral Mixtral 8x7b的API演示，让大部分习惯了其他LLM「娓娓道来」的用户直呼，简直是魔法！ Groq在处理...
-
[AIGC大数据基础] Flink: 大数据流处理的未来
Flink 是一个分布式流处理引擎，它被广泛应用于大数据领域，具有高效、可扩展和容错的特性。它是由 Apache 软件基金会开发和维护的开源项目，并且在业界中受到了广泛认可和使用。 文章目录 什么是 Flink Flink 的特点...
-
实时矢量搜索如何彻底改变各行各业？
译者 | 布加迪 审校 | 重楼 实时分析技术已经巩固了其作为众多行业的基石这一地位。另外，生成式AI具有的魅力吸引了广泛的关注，创新的解决方案有望为从娱乐到医疗保健的各个行业领域提供前所未有的洞察力。使用生成式AI方法与众多实时分析技术的融合带来了显著...
-
如何使用TensorFlow和Cleanvision检测大堡礁的海星威胁？
澳大利亚的大堡礁美不胜收，是全球最大的珊瑚礁，也是多种多样的海洋生物栖息的家园。不幸的是，珊瑚礁面临蚕食珊瑚的棘冠海星（COTS）的威胁。为了控制COTS爆发，珊瑚礁管理人员使用一种名为Manta Tow勘查的方法，将潜水员拖在船后，目测评估珊瑚礁的各...
-
llama.cpp中main函数参数
使模型类gpt式交互： ./main -m .\models\llama-2-7b-chat\ggml-model-q4_0.gguf -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompt...
-
使用Kohya_ss训练Stable Diffusion Lora
Stable Diffusion模型微调方法 Stable Diffusion主要有 4 种方式：Dreambooth, LoRA, Textual Inversion, Hypernetworks。 Textual Inversion （也称为 Em...
-
谷歌官宣TensorFlow-GNN 1.0发布！动态和交互采样，大规模构建图神经网络
2005年，划时代之作「The Graph Neural Network Model」的问世，将图神经网络带到每个人面前。 在此之前，科学家处理图数据的方式是，在数据预处理阶段，将图转换为一组「向量表示」。 而CNN的出现彻底改变这种信息丢失的弊端，近2...
-
从0开始用 PyTorch 构建完整的 NeRF
本文经自动驾驶之心公众号授权转载，转载请联系出处。 在解释代码之前，首先对NeRF（神经辐射场）的原理与含义进行简单回顾。而NeRF论文中是这样解释NeRF算法流程的： “我们提出了一个当前最优的方法，应用于复杂场景下合成新视图的任务，具体的实现原理是...
-
[AIGC 大数据基础] 浅谈hdfs
HDFS介绍 什么是HDFS？ HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统的一部分，是一个分布式文件系统。它被设计用于存储和处理大规模数据集，并且能够容错、高可靠和高性能地处理文...
-
基于医疗领域数据微调LLaMA——ChatDoctor模型
文章目录 ChatDoctor简介 数据构建和训练过程 建立外部知识库 ChatDoctor相比ChatGPT有什么优势？ ChatDoctor的效果 代码解读 train_lora.py文件解读 微调实战 下载仓库并进入目录 创建con...
-
[AIGC大数据基础] Spark 入门
大数据处理已成为当代数据领域的重要课题之一。为了高效地处理和分析大规模数据集，许多大数据处理引擎应运而生。其中，Spark作为一个快速、通用的大数据处理引擎备受关注。 本文将从“是什么、怎么用、为什么用”三个角度来介绍Spark。首先，我们会详细探讨...
-
高效底座模型LLaMA
论文标题：LLaMA: Open and Efficient Foundation Language Models 论文链接：https://arxiv.org/abs/2302.13971 论文来源：Meta AI 一、概述 大型语...
-
使用推测解码 (Speculative Decoding) 使 Whisper 实现 2 倍的推理加速
Open AI 推出的 Whisper 是一个通用语音转录模型，在各种基准和音频条件下都取得了非常棒的结果。最新的 large-v3 模型登顶了 OpenASR 排行榜，被评为最佳的开源英语语音转录模型。该模型在 Common Voice 15 数据...
-
stable diffusion 百宝书
文章目录 0. 环境搭建 0.1 Windows 0.1.1 git环境安装 0.1.2 python 环境搭建 0.1.2.1 配置pip国内镜像源 0.1.3 stable diffusion环境搭建 0.1.3.1 远程访问Stab...
-
【AIGC】AnimateDiff:无需定制化微调的动画化个性化的文生图模型
前言 Animatediff是一个有效的框架将文本到图像模型扩展到动画生成器中，无需针对特定模型进行调整。只要在大型视频数据集中学习到运动先验知识。AnimateDiff就可以插入到个性化的文生图模型中，与Civitai和Huggingface的文生图...
-
人工智能实战：Stable Diffusion技术分享
背景 Stable Diffusion是计算机图形学和可视化领域中的一项重要技术。在这篇分 享中 ，我们将深入探讨稳定扩散的原理、关键要素和实施步骤 ，通过了解Stable Diffusion的流程化 ，我们可以提升自身的设计能力和创造力 ，为公司 和个...
-
部署新思路 | Minuet：在 GPU 上加速 3D 稀疏卷积
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：Minuet: Accelerating 3D Sparse Convolutions on GPUs 论文链接：https://arxiv.org/pdf/2401.06145.pdf 代码...
-
一文了解AIGC与ChatGPT
关注微信公众号掌握更多技术动态 --------------------------------------------------------------- 一、AIGC简介 1.AIGC基础 (1 AIGC是什么 AIGC是人...
-
英文视频添加中英双语字幕（基于Whisper语音识别和Google翻译）
第一步：安装配置环境，这一步重要介绍安装的环境依赖，可以看完第二章再来看一遍 （1）Whisper环境配置 可以参考以下博客的内容讲显卡驱动，CUDA和cudnn的安装比较详细，我建议能用GPU加速就尽量使用，Whisper速度有点慢如何在你的电脑...
-
Stable Diffusion 源码解析（1）
参考1：https://blog.csdn.net/Eric_1993/article/details/129393890 参考2：https://zhuanlan.zhihu.com/p/613337342 1.StableDiff...
-
llama.cpp模型推理之界面篇
目录 前言 一、llama.cpp 目录结构 二、llama.cpp 之 server 学习 1. 介绍 2. 编译部署 3. 启动服务 4、扩展或构建其他的 Web 前端 5、其他 前言 在《基于llama.cpp学习开源LL...
-
吞吐量提升5倍，联合设计后端系统和前端语言的LLM接口来了
大型语言模型 (LLM 越来越多地用于需要多个链式生成调用、高级 prompt 技术、控制流以及与外部环境交互的复杂任务。然而，用于编程和执行这些应用程序的现有高效系统存在着明显的缺陷。 现在，开源社区的研究者们面向 LLM 提出了一种结构化生成语言（...
-
【慕伏白】stable diffusion webui 使用手册
文章目录 Global Parameters 1. Stable Diffusion checkpoint 2. Functions text2img 1. Prompt Prompt Editing 2. Negative prompt...
-
超越BEVFusion！又快又好的极简BEV融合部署方案
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在算法开发中，激光雷达-相机3D目标检测遇到了过度拟合问题，这是由于违反了一些基本规则。在数据集构建的数据标注方面，本文参考了理论补充，并认为回归任务预测不应涉及来自...
-
LLaMA的解读与其微调：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙/LLaMA 2
前言 近期，除了研究ChatGPT背后的各种技术细节 不断看论文(至少100篇，100篇目录见此：ChatGPT相关技术必读论文100篇 ，还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节 ...
-
[AIGC] Apache Spark 简介
Apache Spark是一个开源的大数据处理框架，它提供了高效的分布式数据处理和分析能力。Spark通过将数据加载到内存中进行计算，可以大幅提高数据处理速度。以下是Apache Spark的几个基本概念： 弹性分布式数据集（RDD）：RDD是Spa...
-
基于Springboot+Openai SDK搭建属于自己的ChatGPT3.5 Ai聊天知识库，已接入Stable Diffusion绘图Api
介绍 花费二个多月查阅资料与前后端开发，终于完成了我的开源项目HugAi聊天知识库。项目是基于Springboot+vue2集成了OpenAi SDK开发的一套智能AI知识库，已接入ChatGpt3.5接口以及openai的绘图接口，前后端代码都开源。...
-
使用 OpenLLM 构建和部署大模型应用
本次分享主题为：使用 OpenLLM 快速构建和部署大语言模型的应用。OpenLLM 是一个开源的大语言模型（LLM）开发框架。它支持多种开源的 LLM 模型，并且具有内建的两个关键的 LLM 优化，能够优化内存使用。此外，它与 LangChain 和...
-
突破Pytorch核心点，模型定义与搭建 ！！
嗨，我是小壮！ 咱们今儿来聊聊关于模型定义与搭建。很适合初学者！ 在使用PyTorch进行深度学习时，首先需要了解的是如何定义和搭建模型。这块内容非常重要。 在PyTorch中，模型的定义通常通过创建一个继承自torch.nn.Module的类来完成。...
-
一文通透位置编码：从标准位置编码、旋转位置编码RoPE到ALiBi、LLaMA 2 Long
前言 关于位置编码和RoPE 应用广泛，是很多大模型使用的一种位置编码方式，包括且不限于LLaMA、baichuan、ChatGLM等等 我之前在本博客中的另外两篇文章中有阐述过(一篇是关于LLaMA解读的，一篇是关于transformer从零实现...
-
AI视野：腾讯云AI绘画上线SaaS版本；SOLAR10.7B大模型屠榜；LG发布全新AI笔记本；麻省理工开源Stream Diffusion
新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 腾讯云AI绘画上线SaaS版本 腾讯云AI绘画推出SaaS版本，成为国内首批通过中国信通院评估的AIGC绘画平台，提供API和在线工具，支持智能图生成、文生成图等多种能力...