-
Datawhale X 魔搭 第四期 AIGC文生图方向-Task03笔记
Hello,各位小伙伴们,继上一次我们精读并跑通了baseline2后,我们对AIGC文生图方向又有了更进一步的了解。今天呢我们实现AIGC方向的进阶上分,还在犹豫什么,还不快快行动起来~ 好,话不多说,今天我们就来聊聊ComfyUI和Lora微调吧~...
-
Datawhale AI夏令营第四期 AIGC文生图方向 Task3学习笔记
经过前两个task的学习,对于文生图的基本原理,技术支持,模型微调,工作流程等有了一定的了解,尤其是在prompt工程上面,提示词的质量决定着生成图像的流畅性和观赏性,AI大模型在这一方面为学习者们提供了非常大的帮助,通过大模型生成和优化提示词,能实现学习...
-
再融近5亿!清华系AI创业新势力,成最吸金“算力运营商”
一笔近5个亿新融资,投向AI大模型领域。 量子位独家获悉,清华系AI创业公司无问芯穹完成了近5亿元A轮融资。加码的股东阵容很全、很豪华: 一口气新增15家股东,涵盖北京上海等地的国资/地方基金,顺为资本/达晨财智等市场化头部VC,还有券商直投和产业CVC。...
-
Datawhale X 魔搭 AI夏令营第四期AIGC方向笔记task3
part1:工具初探一ComfyUI应用场景探索 初识ComfyUI 什么是ComfyUI GUI 是 "Graphical User Interface"(图形用户界面)的缩写。简单来说,GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的...
-
让AI更懂物理世界,人大北邮上海AI Lab等提出多模态分割新方法
让AI像人类一样借助多模态线索定位感兴趣的物体,有新招了! 来自人大高瓴GeWu-Lab、北邮、上海AI Lab等机构的研究人员提出Ref-AVS(Refer and Segment Objects in Audio-Visual Scenes,视听场景下...
-
AIGC大模型产品经理高频面试大揭秘‼️
近期有十几个学生在面试大模型产品经理(薪资还可以,详情见下图),根据他们面试(包括1-4面)中出现高频大于3次的问题汇总如下,一共32道题目(有答案)。 29.讲讲T5和Bart的区别,讲讲Bart的DAE任务 T5(Text-to-Text Tr...
-
精通 Stable Diffusion 调优秘籍
一、Stable Diffusion 调优概览 Stable Diffusion 作为一款强大的 AI 绘画工具,其调优具有至关重要的意义。通过合理的调优,可以显著提升图像生成的质量、速度和准确性,满足用户更加多样化和精细化的需求。 调优主要涵盖了...
-
Datawhale AI夏令营第四期魔塔-AIGC文生图方向 task03笔记
目录 一、工具初探一ComfyUI应用场景探索 1.初识ComfyUI 2.20分钟速通安装ComfyUI 3.浅尝ComfyUI工作流 二、Lora微调 1.Lora简介 2.Lora详解 一、工具初探一ComfyUI应用场景...
-
LORA模型在Stable Diffusion中的注意力机制优化
LORA模型在Stable Diffusion中的注意力机制优化 引言 1.1 Stable Diffusion在生成模型领域的地位和作用 1.2 介绍LORA模型及其在微调预训练模型时的效率和灵活性 1.3 强调注意力机制在LORA模型优化...
-
Datawhale X 魔搭 AI夏令营 AIGC人物风格赛
工具初探一ComfyUI应用场景探索 什么是ComfyUI GUI 是 "Graphical User Interface"(图形用户界面)的缩写。简单来说,GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。 ComfyUI 是GU...
-
Datawhale X 魔搭 AI夏令营 第四期 AIGC task3
part 1:认识comfyUI 1.初识ComfyUI 1.1什么是Comfy UI GUI是"Graphical User Interface"(图形用户界面)的缩写。简单来说,GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。...
-
GOLLIE : ANNOTATION GUIDELINES IMPROVE ZERO-SHOT INFORMATION-EXTRACTION
文章目录 题目 摘要 引言 方法 实验 消融研究 题目 Techgpt-2.0:解决知识图谱构建任务的大型语言模型项目 论文地址:https://arxiv.org/abs/2310.03668 摘要 大...
-
Datawhale X 魔搭 AI夏令营 第四期 魔搭-AIGC方向 Task03笔记
从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动(“AIGC”方向),基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习。 Datawhale官方的速通教程链接: Task 1...
-
国产AI机器人好超前…弹琴泡茶打咏春,还能撸猫??
什么水平,让海外最火AI机器人Figure的CEO都第一时间关注? 国产人形机器人大秀肌肉,最新技能居然是弹琴泡功夫茶……和颠勺?! 手握琴竹,精准轻巧敲击每根琴弦,演奏动听音乐。 熟练泡一壶功夫茶,十几道工序、数个杯壶轻松拿捏。 搞定一份香喷喷的华夫饼...
-
面完 AIGC 大模型算法岗,心态崩了。。。
大家好,今天我们继续聊聊 AI 科技圈发生的那些事。 内容包括:AI 科技圈最新动态和最新面试题总结。 Meta 推新一代 SAM 2 图像识别再进化!Meta 推新一代SAM 2 官方链接:https://ai.meta.com/blog/se...
-
AIGC前沿 | LivePortrait
0. 资源链接 论文超链接: LivePortrait 项目: https://github.com/KwaiVGI/LivePortrait 1. 背景动机 现有AIGC存在的问题 随着智能手机和其他录制设备的普及,人们越来越频繁地...
-
Exponential Moving Average (EMA) in Stable Diffusion
1.Moving Average in Stable Diffusion (SMA&EMA 1.Moving average 2.移动平均值 3.How We Trained Stable Diffusion for Less than $5...
-
阿里开源新语音模型,比OpenAI的Whisper更好!
阿里巴巴在Qwen-Audio基础之上,开源了最新语音模型Qwen2-Audio。 Qwen2-Audio一共有基础和指令微调两个版本,支持使用语音向音频模型进行提问并识别内容以及语音分析。 例如,让一位女生说一段话,然后识别她的年纪或解读她的心情;发布一...
-
谷歌发布大模型数据筛选方法:效率提升13倍,算力降低10倍
随着GPT-4o、Gemini等多模态大模型的出现,对训练数据的需求呈指数级上升。无论是自然语言文本理解、计算机视觉还是语音识别,使用精心标注的数据集能带来显著的性能提升,同时大幅减少所需的训练数据量。 但目前多数模型的数据处理流程严重依赖于人工筛选,不仅...
-
从炒菜到缝针!斯坦福炒虾团队打造自主「AI达芬奇」,苦练神指当外科医生
【新智元导读】斯坦福炒虾机器人作者,又出新作了!通过模仿学习,达芬奇机器人学会了自己做「手术」——提起组织、拾取针头、缝合打结。最重要的是,以上动作全部都是它自主完成的。 斯坦福炒虾机器人作者,又出新作了。 这次,机器人不是给我们炒饭了,而是给我们做外科手...
-
AIGC学习笔记—LLM(前言)
大语言模型本身我不是很了解,但是掌握一些基础的知识点,由于要准备某个公司的二面,所以浅学一下这个技术,也是边摸索边学习...... 首先,我先简单的解释一下大模型,大模型是指具有大规模参数和复杂计算结构的机器学习模型,通常由深度神经网络构建而成,拥有数十...
-
基于LORA的Stable Diffusion模型在增强学习中的应用
基于LORA的Stable Diffusion模型在增强学习中的应用 @[toc](基于LORA的Stable Diffusion模型在增强学习中的应用 引言:探索未知的AI前沿 揭秘LORA:轻量化的力量 Stable Diff...
-
【八股文】算法岗位八股文、深度学习、AIGC八股文面试经验(一)
1. 请解释一下Batch Normalization的原理及其在训练深度神经网络中的作用。 Batch Normalization(批归一化)是一种在训练深度神经网络时常用的技术,旨在提高训练速度、稳定性和性能。 2. 在图像预处理过程中,如何选择合适...
-
提示词用上“过去式“,秒破GPT4o等六大模型安全限制!中文语境也好使
只要在提示词中把时间设定成过去,就能轻松突破大模型的安全防线。 而且对GPT-4o尤其有效,原本只有1%的攻击成功率直接飙到88%,几乎是“有求必应”。 有网友看了后直言,这简直是有史以来最简单的大模型越狱方式。 来自洛桑联邦理工学院的一篇最新论文,揭开...
-
【AIGC调研系列】AIGC赋能测试用例生成的案例
基于功能需求规格说明的测试用例自动生成方法研究表明,传统的测试用例生成方法存在一些局限性,如需要额外的建模成本和缺少测试输入数据等问题[2]。这为AIGC在测试用例生成中的应用提供了背景。AIGC技术,特别是像ChatGPT这样的模型,能够理解和生成自然语...
-
山东大学项目实训(十六):基于LLaMA-Factory的微调模型评估和测试
在LLaMA-Factory的Evaluate & Predict界面进行评测 原始模型评测 微调后模型评测 可以看到,微调之后的模型在各个指标上有了显著提升 在完成大型语言模型(如 ChatGLM)的微调后,对模型进行全面评估...
-
基于MindSpore实现BERT对话情绪识别
本文分享自华为云社区《【昇思25天学习打卡营打卡指南-第二十四天】基于 MindSpore 实现 BERT 对话情绪识别》,作者:JeffDing。 模型简介 BERT全称是来自变换器的双向编码器表征量(Bidirectional Encoder...
-
Diffusion【1】:SDSeg——基于Stable Diffusion的单步扩散分割!
文章目录 前言 Abstract Introduction Methods Latent Estimation Concatenate Latent Fusion Trainable Vision Encoder Experiment D...
-
6700万参数比肩万亿巨兽GPT-4!微软MIT等联手破解Transformer推理密码
「因果推理」绝对是当前GenAI热潮下的小众领域,但是它有一个大佬级的坚定支持者——Yann LeCun。 他在推特上的日常操作之一,就是炮轰Sora等生成模型,并为自己坚信的因果推理领域摇旗呐喊。 甚至,早在2019年VentureBeat的采访中,他...
-
调研分析:LLama大模型
1. 引言 在当前的自然语言处理(NLP)研究中,大规模预训练模型如BERT、GPT-3和RoBERTa已经展示了其卓越的性能和广泛的应用。随着技术的发展,新的模型不断涌现,推动了NLP领域的持续进步。本文将聚焦于LLama模型,分析其结构、预训练策略、优...
-
LLaMA-Adapter:零初始注意机制的语言模型高效微调
23年6月来自上海AI实验室,香港中文大学和UCLA的论文“LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention“。 LLaMA-Adapter是...
-
AIGC 011-SAM第一个图像分割大模型-分割一切!
AIGC 011-SAM第一个图像分割大模型-分割一切! 文章目录 0 论文工作 1论文方法 2 效果 0 论文工作 这篇论文介绍了 Segment Anything (SA 项目,这是一个全新的图像分割任务、模...
-
AIGC工具的使用测评
一、引言 随着人工智能技术的飞速发展,AIGC(Artificial Intelligence Generated Content)工具作为生成式人工智能的重要应用之一,受到了广泛关注。本次测评旨在详细评估AIGC工具的功能、性能、使用体验及其在实际应用...
-
AIGC入门(一) 从零开始搭建Transformer!(上)
前言 我记得曾经看过一篇综述,综述里曾这样讲过: 多模态使用Transformer作为基石模型的一个原因之一,就是因为它能够很好地统一视觉(ViT、DiT)和文本,并且无限制地扩大其参数。这是一个在工程上很有作用也很有实际意义的事情。 笔者...
-
详解联邦学习中的异构模型集成与协同训练技术
本文分享自华为云社区《联邦学习中的异构模型集成与协同训练技术详解》,作者:Y-StarryDreamer。 引言 随着数据隐私和安全问题的日益突出,传统的集中式机器学习方法面临着巨大的挑战。联邦学习(Federated Learning)作为一种新...
-
每日AIGC最新进展(25):复旦大学提出参数高效微调框架Adapter-X、上海交通大学提出大型多模态模型新测试标准A-Bench、腾讯提出统一多模态布局生成框架PosterLLaVa
Diffusion Models专栏文章汇总:入门与实战 Adapter-X: A Novel General Parameter-Efficient Fine-Tuning Framework for Vision 本文提出了一种新的参数高效...
-
大模型论文解读|| 数学新巅峰,微软&清华联合研究发现:7B级LLaMA-2模型数学能力惊人,准确率高达97.7%
开篇:数学能力在常规语言模型中的崭露头角 数学能力长期以来被认为是语言模型中难以攻克的领域,只有在模型规模极大或经过大量数学相关预训练的情况下才可能显现。然而,最新的研究表明,即使是规模较小的常规语言模型,如LLaMA-2 7B,也已经展现出了强大的数学...
-
轻松识别Midjourney等AI生成图片,开源GenImage
AIGC时代,人人都可以使用Midjourney、Stable Diffusion等AI产品生成高质量图片,其逼真程度肉眼难以区分真假。这种虚假照片有时会对社会产生不良影响,例如,生成公众人物不雅图片用于散播谣言;合成虚假图片用于金融欺诈,造成信任危机等。...
-
技术前沿 |【大模型LLaMA:技术原理、优势特点及应用前景探讨】
大模型LLaMA:技术原理、优势特点及应用前景探讨 一、引言 二、大模型LLaMA的基本介绍 三、大模型LLaMA的优势特点 五、结论与展望 一、引言 随着人工智能技术的飞速发展,大模型已成为推动这一领域进步的重要力量。近年来...
-
谷歌推创新框架AGREE 可增强大模型生成内容准确性
谷歌研究院推出了一个名为AGREE的创新框架,旨在增强大型语言模型(LLM)生成内容和引用的准确性。这一框架通过检索文档中的相关段落来增强大模型生成回答的事实基础,并提供相应的引用,从而提高回答的准确性,并为用户提供验证信息真实性的途径。 核心技术:...
-
【AIGC调研系列】浙大&蚂蚁OneKE大模型知识抽取框架是什么
浙大&蚂蚁OneKE大模型知识抽取框架是由蚂蚁集团和浙江大学联合研发的,它是一个具备中英文双语、多领域多任务泛化知识抽取能力的大模型知识抽取框架。OneKE不仅提供了完善的工具链支持,还以开源形式贡献给了OpenKG开放知识图谱社区[1][2][3...
-
一文带你搞懂AI前沿技术AIGC
人工智能(AI)领域的发展日新月异,而AIGC(Adversarial Instance Generation and Correction)作为其中的一项前沿技术备受关注。本文将带你深入探索AIGC,解析其背后的原理、应用场景以及未来发展趋势。 什么...
-
Llama改进之——均方根层归一化RMSNorm
引言 在学习完GPT2之后,从本文开始进入Llama模型系列。 本文介绍Llama模型的改进之RMSNorm(均方根层归一化 。它是由Root Mean Square Layer Normalization论文提出来的,可以参阅其论文笔记1。 L...
-
港科大最新!Vista:一种具有高保真度和多功能可控的世界模型
本文经自动驾驶之心公众号授权转载,转载请联系出处。 原标题:Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability 论文链接...
-
首个智慧城市大模型UrbanGPT,全面开源开放|港大&百度
时空预测技术,迎来ChatGPT时刻。 时空预测致力于捕捉城市生活的动态变化,并预测其未来走向,它不仅关注交通和人流的流动,还涵盖了犯罪趋势等多个维度。目前,深度时空预测技术在生成精确的时空模型方面,依赖于大量训练数据的支撑,这在城市数据不足的情况下显得...
-
whisper-v3模型部署环境执行
1. 安装whisperV3 github git clone https://github.com/openai/whisper.git pip install -U openai-whisper pip install setuptools-ru...
-
港大&百度发布首个智慧城市大模型UrbanGPT,助力时空预测技术突破
香港大学与百度联合发布了首个智慧城市大模型 UrbanGPT,该模型在时空预测技术领域引发了重大突破。时空预测技术的重要性日益凸显,不仅关注交通和人流的流动,还涵盖了犯罪趋势等多个维度。然而,由于城市数据不足,传统的时空预测模型在精确预测方面受到了限制。U...
-
详解AI作画算法原理
引言 (1)背景介绍 AI作画,即利用人工智能技术进行艺术创作,近年来引起了广泛关注。随着计算机科学的发展,特别是深度学习和生成对抗网络(GAN)等技术的进步,AI作画从一个新颖的概念逐步走向实用化。AI作画的兴起可以追溯到早期的计算机艺术实验,如...
-
通用大模型研究重点之五:llama family
LLAMA Family decoder-only类型 LLaMA(Large Language Model AI)在4月18日公布旗下最大模型LLAMA3,参数高达4000亿。目前meta已经开源了80亿和700亿版本模型,主要升级是多模态、长文本方...
-
适应多形态多任务,最强开源机器人学习系统「八爪鱼」诞生
在机器人学习方面,一种常用方法是收集针对特定机器人和任务的数据集,然后用其来训练策略。但是,如果使用这种方法来从头开始学习,每一个任务都需要收集足够数据,并且所得策略的泛化能力通常也不佳。 原理上讲,从其它机器人和任务收集的经验能提供可能的解决方案,能让...