-
【AI绘画】Comfyui搭建Webui的文生图基础工作流：文生图+Lora+ControlNet工作流(文末自取)
大家好，我是写编程的木木。从这篇开始，我将持续更新Comfyui的入门系列教程，这期我们先一起搭建一个Webui的文生图正常工作流。 我们知道在comfyui中，目前很多一键包，和在线平台都可以看到文生图的基础工作流，但是在使用过程中，仅文生图，太有限了...
-
【AIGC】FaceChain:发挥生成式内容的无限可能性
基于图像生成的个性化肖像框架 摘要 FaceChaine提供了一系列的生成方案，通过少量的图像输入，就能生成逼真的个性化肖像。它是一个个性化肖像生成框架，包含丰富的人脸感知相关的模型，例如人脸检测，深度人脸向量提取，人脸属性分析等等。输入主要的肖像...
-
【AIGC-图片生成视频系列-7】MoonShot：实现多模态条件下的可控视频生成和编辑
目录 一. 贡献概述 二. 方法详解编辑 三. Zero-Shot主题定制视频生成 四. 文本到视频生成 五. 直接使用图像ControlNet 六. 图像动画比较 七. 视频编辑 八. 针对视频生成中多模态 Cross-Attn的消融实...
-
探索多模态智能边界：Visual-Chinese-LLaMA-Alpaca 开源项目解析与应用指南
探索多模态智能边界：Visual-Chinese-LLaMA-Alpaca 开源项目解析与应用指南 在人工智能领域，多模态学习正逐渐成为研究热点，它旨在融合视觉和语言信息，构建能够理解和生成跨模态内容的智能体。Visual-Chinese-LLaMA...
-
什么是“瞬息全宇宙”（AI绘画Stable Diffusion进阶篇：Deforum插件教程）
在之前的笔记中想必大伙也了解了Deforum的简单操作和一些进阶参数如何使用，而可能会有一些小伙伴们好奇，一些在油管或者抖音比较火的Deforum视频例如这样： 像是这种突然在视频的某一帧定格，然后画面开始变化的这一功能就是我们本篇笔记要学习的主要内...
-
【学习笔记】文生图模型——Stable diffusion3.0
2.0原理才看到VAE，sd3.0就发布了，虽然还没看到源码和详解，但原来的那个小方向估计得弃。人已经麻了。 1.LDMs模型（stable diffusion≈LDMs+CLIP） 2.stable diffusion3.0模型架构图...
-
Google Play Store整顿生成式AI应用 严控不当内容传播
Google近日发布了针对AI应用程序的新指导方针，旨在减少“不适当”和“被禁止”的内容传播。根据报道，Google Play Store宣布了对生成式AI类应用的整顿，要求这类应用限制不当内容的传播。 根据最新政策，所有提供生成式 AI 功能的应用必须采...
-
【AIGC调研系列】MiniCPM-Llama3-V2.5模型与GPT-4V对比
MiniCPM-Llama3-V2.5模型与GPT-4V的对比可以从多个方面进行分析，包括性能、应用场景和技术特点。 从性能角度来看，MiniCPM-Llama3-V2.5在OCR识别、模型幻觉能力和空间理解能力方面表现出色，实现了开源模型的性能SOTA...
-
IC-Light-在stable diffusion中实现图像的光影控制新方法 - 技术原理篇
?背景与来源 最近在stable diffusion的粉丝群看到光影控制又有了新的玩法，是controlnet的作者lllyasviel，发了一款名为IC-Light的模型，并且已经被另外一位名为huchenlei的朋友实现了comfyui和webUI（...
-
自动驾驶系统架构转变思考
本文经自动驾驶之心公众号授权转载，转载请联系出处。 自动驾驶系统架构转变思考 从事辅助驾驶系统架构一段时间后，感觉到了疲惫和无力感，更加深刻的理解到道德经，道生于有，有生于无，有无相生，难易相承，.....是以圣人处无为之事，行不言之教，万物作焉而不辞...
-
探索Llama 3模型在地理行业的应用
Llama 3模型简介 Llama 3模型是基于最新的神经网络架构设计而成，它融合了Transformer和图像注意力机制，能够同时处理自然语言和图像输入，实现跨模态信息的融合和理解。这使得Llama 3模型在地理信息处理和分析方面有着独特的优势...
-
从Claude 3中提取数百万特征，首次详细理解大模型的「思维」
刚刚，Anthropic 宣布在理解人工智能模型内部运作机制方面取得重大进展。 Anthropic 已经确定了如何在 Claude Sonnet 中表征数百万个概念。这是对现代生产级大型语言模型的首次详细理解。这种可解释性将帮助我们提高人工智能模型的安全...
-
一览Occ与自动驾驶的前世今生！首篇综述全面汇总特征增强/量产部署/高效标注三大主题
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 近年来，自动驾驶因其在减轻驾驶员负担和提高驾驶安全方面的潜力而越来越受到关注。基于视觉的三维占用预测是一种新兴的感知任务，适用于具有成本效益的自动驾驶感知系统，它可以...
-
神秘大模型一夜刷屏，能力太强被疑GPT-4.5，奥特曼避而不答打哑谜
一夜之间，大模型话题王，再次易主。 一个神秘模型突然杀入众人视野，能力超越一众开源模型，甚至包括GPT-4。几乎所有人都在谈论它，服务器都被挤爆了。 它就是“gpt2-chatbot”。 （注意啊，是gpt2不是GPT-2） 它有多强？ IMO国际数学...
-
元象开源首个多模态大模型XVERSE-V 支持任意宽高比图像输入
元象公司发布了首个多模态大型模型 XVERSE-V，并将其开源。这一模型支持任意宽高比的图像输入，并在多个权威评测中取得了优异的成绩。 相比其他开源和闭源模型，XVERSE-V 在综合能力上表现出色。该模型采用了融合整体和局部信息的策略，使其在识别和分析...
-
轻松拿捏4K高清图像理解！这个多模态大模型自动分析网页海报内容，打工人简直不要太方便
一个可以自动分析PDF、网页、海报、Excel图表内容的大模型，对于打工人来说简直不要太方便。 上海AI Lab，香港中文大学等研究机构提出的InternLM-XComposer2-4KHD（简写为IXC2-4KHD）模型让这成为了现实。 相比于其他多模...
-
CVPR 2024 | 巨幅提升24%！LiDAR4D会是LiDAR重建的答案么？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 尽管神经辐射场（NeRFs）在图像新视角合成（NVS）方面取得了成功，但激光雷达NVS的发展却相对缓慢。之前的方法follow图像的pipeline，但忽略了激光雷达...
-
多个SOTA ！OV-Uni3DETR：提高3D检测在类别、场景和模态之间的普遍性（清华&港大）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 这篇论文聚焦于3D目标检测的领域，特别是Open-Vocabulary的3D目标检测。在传统的3D目标检测任务中，系统旨在预测真实场景中物体的定向3D边界框和语义类别标签，这通常依赖于点云或RGB图像...
-
GPT-5：我们期待看到的4个新功能
尽管我们不知道GPT-5何时发布，但是我们依然可以期待一下GPT-5的新功能。 OpenAI的GPT-4目前是市场上最好的生成式AI工具，但这并不意味着我们不展望未来。随着OpenAI首席执行官Sam Altman定期暗示GPT-5的信息，似乎我们不久将...
-
太全了！多模态深度学习的综述！
1.介绍 我们对世界的体验是多模态的 —— 我们看到物体，听到声音，感觉到质地，闻到气味，尝到味道。模态是指某件事发生或经历的方式，当一个研究问题包含多个模态时，它就具有多模态的特征。为了让人工智能在理解我们周围的世界方面取得进展，它需要能够同时解释这些...
-
揭秘AI幻觉：GPT-4V存在视觉编码漏洞，清华联合NUS提出LLaVA-UHD
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ GPT-4V 的推出引爆了多模态大模型的研究。GPT-4V 在包括多模态问答、推理、交互在内的多个领域都展现了出色的能力，成为如今最领先...
-
AniPortrait官网体验入口 腾讯AI音频驱动人脸动画生成工具免费使用地址
AniPortrait是一个根据音频和图像输入生成会说话、唱歌的动态视频的项目。它能够根据音频和静态人脸图片生成逼真的人脸动画，口型保持一致。支持多种语言和面部重绘、头部姿势控制。功能包括音频驱动的动画合成、面部再现、头部姿势控制、支持自驱动和音频驱动的视...
-
老奶奶都会用的AI绘画工具~fooocus基础教程来了！
[免费本地AI绘画工具Fooocus，新手入门必备~老手也会喜欢上它！] 安装好了FOOOCUS之后，打开网页链接后进入fooocus页面正式使用。目前FOOOCUS的最新版本是2.1862，这个版本已经很完善，目前不会有太大的修改。大家可以放心使用。...
-
OccFusion：一种简单有效的Occ多传感器融合框架（性能SOTA）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 对3D场景的全面理解在自动驾驶中至关重要，最近的3D语义占用预测模型已经成功地解决了描述具有不同形状和类别的真实世界物体的挑战。然而，现有的3D占用预测方法在很大程度上依赖于全景相机图像，这使得它们容...
-
OpenAI把GPT塞进机器人大脑，具身AGI奇点迫近！英伟达微软参投26亿美金独角兽Figure
人形机器人明星公司Figure迎来了高光时刻！ 就在刚刚，OpenAI与Figure官宣合作，专为人形机器人打造下一代AI多模态模型。 图片 这项合作最大的目的是，增强机器人处理语言和推理的能力。 上个月，机器人Figure 01仅使用神经网络煮咖啡的视...
-
一文搞懂：AI、机器学习与深度学习的联系与区别
在当今科技日新月异的浪潮中，人工智能（Artificial Intelligence, AI）、机器学习（Machine Learning, ML）与深度学习（Deep Learning, DL）如同璀璨星辰，引领着信息技术的新浪潮。这三个词汇频繁出现在...
-
全网最全Stable Diffusion原理快速上手，模型结构、关键组件、训练预测方式！！！！
手把手教你入门绘图超强的AI绘画程序，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新保姆级教程资料包（文末可获取） 【AIGC】Stable Diffusion的建模思想、训练预测方式快速 在这篇博客中，将会用机器学习入门级描...
-
Windows、Office直接上手，大模型智能体操作电脑太6了
当我们谈到 AI 助手的未来，很难不想起《钢铁侠》系列中那个令人炫目的 AI 助手贾维斯。贾维斯不仅是托尼・斯塔克的得力助手，更是他与先进科技的沟通者。如今，大模型的出现颠覆了人类使用工具的方式，我们或许离这样的科幻场景又近了一步。想象一下，如果一个多模...
-
上海人工智能实验室发布LLaMA-Adapter | 如何1小时训练你的多模态大模型用于下游任务
本文首发于微信公众号 CVHub，未经授权不得以任何形式售卖或私自转载到其它平台，违者必究！ Title: LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-...
-
首个环视世界模型DrivingDiffusion: BEV数据和仿真新思路！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 笔者的一些个人思考 在自动驾驶领域，随着BEV-based子任务/端到端方案的发展，高质量的多视图训练数据和相应的仿真场景构建愈发重要。针对当下任务的痛点，“高质量”可以解耦成三个方面： 不同维度...
-
LLaMA模型指令微调 字节跳动多模态视频大模型 Valley 论文详解
Valley: Video Assistant with Large Language model Enhanced abilitY 大家好，我是卷了又没卷，薛定谔的卷的AI算法工程师「陈城南」~ 担任某大厂的算法工程师，带来最新的前沿AI知识和工具...
-
360度无死角！UC伯克利华人发布3DHM框架：一张图片即可模仿任意视频动作
输入一张任意姿势的照片，想让照片里的人跟随「指定视频」来进行动作模仿并不简单，除了肢体动作的模仿外，模型还需要对运动过程中衣服、人物外观的变化进行建模。 如果输入图像是正面的，而模仿的视频动作包括转身的话，模型还需要「想象」出衣服的背面样子，以及衣...
-
从20亿数据中学习物理世界，基于Transformer的通用世界模型成功挑战视频生成
建立会做视频的世界模型，也能通过Transformer来实现了！ 来自清华和极佳科技的研究人员联手，推出了全新的视频生成通用世界模型——WorldDreamer。 它可以完成自然场景和自动驾驶场景多种视频生成任务，例如文生视频、图生视频、视频编辑、动作序...
-
Stable Diffusion动画版上线！十五种风格预设，支持文本图像视频多种输入方式
Stable Diffusion也能生成视频了！ 你没听错，Stability AI推出了一款新的文本生成动画工具包Stable Animation SDK，可支持文本、文本+初始图像、文本+视频多种输入方式。 使用者可以调用包括Stable...
-
一文读懂Stable Diffusion 论文原理+代码超详细解读
背景 Stable diffusion是一个基于Latent Diffusion Models（LDMs）实现的的文图生成（text-to-image）模型。 2022年8月，游戏设计师Jason Allen凭借AI绘画作品《太空歌剧院（Théâtre...
-
迈向分割的大一统！OMG-Seg：一个模型搞定所有分割任务
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者个人思考 图像分割已经从单任务分割走到了语义分割、实例分割、全景分割三种分割任务的统一；大模型以及多模态的发展又带来了文本和图像统一，使得跨模态端到端成为可能；追求更高级、更全面...
-
Stable Diffusion五问
一，什么是Stable diffusion？ Stable Diffusion" 是一种基于扩散模型的深度学习框架，用于生成高质量的图像。它是一种生成模型，通过模拟物理扩散过程，从随机噪声中逐步生成详细和结构化的图像。Stable Diffusion因其...
-
AI看图猜位置，准确率超90%！斯坦福最新PIGEON模型：40%预测误差不到25公里
随手在网络上发布的一张照片，能暴露多少信息？ 外国的一位博主@rainbolt就长年接受这种「照片游戏」的挑战，网友提供照片，他来猜测照片的具体拍摄地，有些照片甚至还能猜到具体的航班细节。 是不是细思极恐？ 但「照片挑战」也同样抚慰了很多人心中的遗憾，...
-
Textual Inversion: 一种精调Stable Diffusion模型的方法
引言 最近的文本到图像Stable Diffusion （SD）模型已经证明了使用文本提示合成新颖场景的前所未有的能力。这些文本到图像的模型提供了通过自然语言指导创作的自由。然而，它们的使用受到用户描述特定或独特场景、艺术创作或新物理产品的能力的限制。...
-
2024 AIGC 应用层十大趋势；iPhone 遭史上最复杂攻击！丨 RTE 开发者日报 Vol.119
开发者朋友们大家好： 这里是 「RTE 开发者日报」 ，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE （Real Time Engagement） 领域内「有话题的 新闻 」、「有态度的 观点 」、「有意思的 数据 」、「有思考的...
-
AIGC之GPT-4：GPT-4的简介(核心原理/意义/亮点/技术点/缺点/使用建议)、使用方法、案例应用(计算能力/代码能力/看图能力等)之详细攻略
AIGC之GPT-4：GPT-4的简介(核心原理/意义/亮点/技术点/缺点/使用建议 、使用方法、案例应用(计算能力/代码能力/看图能力等 之详细攻略 解读：在2022年11月横空出世的ChatGPT，打遍天下无敌手的时候，就知道会有这么一天，...
-
HandRefiner官网体验入口 AI手部图像修复工具app免费下载地址
HandRefiner是一款专门用于手部图像修复的AI模型。ControlNet-HandRefiner-pruned模型是对原HandRefiner模型进行剪枝压缩处理后的版本，能够更快速地进行手部图像修复。它采用弥散模型进行条件性图像补全，能精确修复手...
-
GPT-4V开源平替！清华浙大领衔，LLaVA、CogAgent等开源视觉模型大爆发
如今，GPT-4 Vision在语言理解和视觉处理方面展现出了非凡的能力。 然而，如果想在不影响性能的前提下，寻求具有成本效益的替代方案，开源方案就蕴藏着无限可能。 国外的一位开发者Youssef Hosni为大家奉上了三种GPT-4V的开源替代方案，可...
-
基于Stable Diffusion的2D游戏关卡生成【实战】
接下来的几篇文章将与常规主题有所不同（这是在从事通用机器人技术的职业中吸取的教训）。 相反，我决定利用我的一些新空闲时间 1 边做边学，并使用所有酷孩子都在谈论的一些很酷的新 ML。 推荐：用 NSDT设计器 快速搭建可编程3D场景。...
-
Gemini vs GPT-4V到底哪家强？视觉-语言模型的全面比较和结合使用
概括 大家好，我是戚张扬，目前就读于香港大学，今天和大家分享一篇我们关于视觉语言模型最新的研究，这篇论文提供了对谷歌的Gemini和OpenAI的GPT-4V(ision 两个SOTA模型的深入定性比较研究。我们的研究涉及到对这两个模型在视觉语言能力、与...
-
谷歌推出 Google AI SDK，简化在安卓应用中集成高性能模型 Gemini Pro
12 月 26 日消息，谷歌近日推出了全新的 Google AI SDK，旨在简化 Android 应用集成其高性能的 Gemini Pro 模型。借助该 SDK，开发人员无需构建和管理自己的后端基础架构。 据谷歌介绍，Gemini Pro 是其功能...
-
Google 推出新 AI SDK，简化在安卓应用中集成最高性能模型 Gemini Pro
Google 近日发布了其新的 Google AI SDK，旨在简化在安卓应用中集成其迄今为止表现最佳的模型Gemini Pro。使用此 SDK，开发者无需构建和管理自己的后端基础设施。 据 Google 介绍，Gemini Pro 是他们最佳的模型，具...
-
AI绘画中CLIP文本-图像预训练模型
介绍 OpenAI 在 2021 年提出了 CLIP（Contrastive Language–Image Pretraining）算法，这是一个先进的机器学习模型，旨在理解和解释图像和文本之间的关系。CLIP 的核心思想是通过大规模的图像和文本对进行...
-
OpenAI否认与Jony Ive合作开发AI设备
OpenAI的首席执行官Sam Altman在接受《华尔街日报》技术大会采访时否认了与前苹果设计总监Jony Ive合作开发人工智能（AI）设备的传闻。Altman表示，虽然存在一个潜在的重要项目，但他对具体细节仍然不确定。 Altman在会上表示，Ope...
-
2023-12-2 AIGC-chatgpt4-功能-记录
摘要: 2023-12-2 AIGC-chatgpt4-功能-记录 英文: ChatGPT-4, as an evolution of OpenAI's language models, has a wide range of capa...