-
【ICCV】AIGC时代下的SOTA人脸表征提取器TransFace，FaceChain团队出品
一、论文 本文介绍被计算机视觉顶级国际会议ICCV 2023接收的论文 "TransFace: Calibrating Transformer Training for Face Recognition from a Data-Centric Persp...
-
研究人员推新AI框架CyberDemo:通过视觉观察让机器人模仿学习
加利福尼亚大学圣地亚哥分校（UCSD）和南加利福尼亚大学(USC 的研究人员最近推出了一种名为 CyberDemo 的新型人工智能框架，旨在通过视觉观察进行机器人模仿学习。 传统的模仿学习方法通常需要大量高质量的示范数据来教导机器人完成复杂任务，特别是对...
-
Anything in Any Scene：逼真物体插入（助力各类驾驶数据合成）
原标题：Anything in Any Scene: Photorealistic Video Object Insertion 论文链接：https://arxiv.org/pdf/2401.17509.pdf 代码链接：https://github....
-
逆天UniVision：BEV检测和Occ联合统一框架，双SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
7B模型超越GPT4-V！港科大等发布「图推理问答」数据集GITQA：视觉图可提升推理能力
图神经网络（GNNs）擅长利用图的结构信息进行推理，但它们通常需要特定于领域的调优才能达到峰值性能，这阻碍了它们在不同任务之间的泛化性。 相比之下，基于大型语言模型（LLM）的图推理具有更强的跨任务和泛化能力，但它们在特定任务上的性能往往逊色于专用的图...
-
厦门大学、Intel、大疆联合出品，从网络视频中学习零样本图像匹配大模型
图像匹配是计算机视觉的一项基础任务，其目标在于估计两张图像之间的像素对应关系。图像匹配是众多视觉应用如三维重建、视觉定位和神经渲染 (neural rendering 等的基础和前置步骤，其精确度和效率对于后续处理十分重要。 传统算法（SIFT）在面临...
-
动手实践丨轻量级目标检测与分割算法开发和部署(RK3568)
本文分享自华为云社区《自动驾驶(AIOT - 轻量级目标检测与分割算法开发和部署(RK3568 【玩转华为云】》，作者：HouYanSong。 本文将在ModelArts平台上开发轻量级目标检测与分割算法，并使用ModelBox框架在RK3568开发板...
-
逆天了！UniVision：BEV检测和Occ联合统一框架，双任务SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
大型多视角高斯模型LGM：5秒产出高质量3D物体，可试玩
为满足元宇宙中对 3D 创意工具不断增长的需求，三维内容生成（3D AIGC）最近受到相当多的关注。并且，3D 内容创作在质量和速度方面都取得了显著进展。 尽管当前的前馈式生成模型可以在几秒钟内生成 3D 对象，但它们的分辨率受到训练期间所需密集计算的限...
-
2024年IT行业“龙抬头”：AI和网络安全是最大热点
IDC指出，2024年的IT市场充满机遇，尽管通胀和经济等因素带来隐忧，但整体增长势头强劲。数字化的浪潮推动着对结构化数据和人工智能(AI 的需求，企业逐渐意识到数据带来的巨大价值，以及利用AI和自动化管理数据、进行高级数据处理的重要性。 IDC市场研...
-
如何使用TensorFlow和Cleanvision检测大堡礁的海星威胁？
澳大利亚的大堡礁美不胜收，是全球最大的珊瑚礁，也是多种多样的海洋生物栖息的家园。不幸的是，珊瑚礁面临蚕食珊瑚的棘冠海星（COTS）的威胁。为了控制COTS爆发，珊瑚礁管理人员使用一种名为Manta Tow勘查的方法，将潜水员拖在船后，目测评估珊瑚礁的各...
-
AI读心术再升级！一副眼镜直接控制波士顿机器狗，脑控机器人成真
还记得之前的AI读心术吗？最近，「心想事成」的能力再次进化， ——人类可以通过自己的想法直接控制机器人了！ 来自麻省理工的研究人员发表了Ddog项目，通过自己开发的脑机接口（BCI）设备，控制波士顿动力的机器狗Spot。 狗狗可以按照人类的想法，移动到特...
-
ChatLaw：基于LLaMA微调的法律大模型
文章目录 动机 数据组成 模型框架 模型评估 北大团队发布首个的中文法律大模型落地产品ChatLaw，为大众提供普惠法律服务。模型支持文件、语音输出，同时支持法律文书写作、法律建议、法律援助推荐。 github地址：https://g...
-
首个环视世界模型DrivingDiffusion: BEV数据和仿真新思路！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 笔者的一些个人思考 在自动驾驶领域，随着BEV-based子任务/端到端方案的发展，高质量的多视图训练数据和相应的仿真场景构建愈发重要。针对当下任务的痛点，“高质量”可以解耦成三个方面： 不同维度...
-
【思路合集】talking head generation+stable diffusion
1 以DiffusionVideoEditing为baseline： 改进方向 针对于自回归训练方式可能导致的漂移问题： 训练时，在前一帧上引入小量的面部扭曲，模拟在生成过程中自然发生的扭曲。促使模型查看身份帧以进行修正。 在像VoxCeleb或L...
-
Depth Anything：释放大规模无标注数据的深度估计
本文经自动驾驶之心公众号授权转载，转载请联系出处。 24年1月论文“Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data“，来自香港大学、字节、浙江实验室和浙江大学。 这项...
-
Stable Diffusion完整入门指南，保姆级教程！
SD 保姆教程，从原理功能到案例输出展示，最后简述 ControlNet 的使用技巧。 Stable Diffusion 的基本介绍 首先官方给出的解释是： 这和 MJ 有什么区别？为了更方便理解我们将 Stable Diff...
-
Stable Diffusion XL总结
Stable Diffusion XL是一个二阶段的级联扩散模型，包括Base模型和Refiner模型。其中Base模型的主要工作和Stable Diffusion一致，具备文生图，图生图，图像inpainting等能力。在Base模型之后，级联了Refi...
-
米塔体验入口 AI社区平台创作工具软件教程使用地址
米塔是一个连接全球创作者的AI社区平台，为作家、设计师、编剧、诗人等创意工作者以及对AI创作感兴趣的普通用户提供创作工具。通过米文、米画等功能，用户只需输入文字提示，即可利用AI技术生成小说大纲、文章、画作等创意内容。米塔不仅具有写作辅助、图像生成、智能对...
-
【刻削生千变，丹青图“万相”】阿里云AI绘画创作模型 “通义万相”测评
刻削生千变，丹青图“万相 4月7日，阿里大模型“通义千问”开始邀请用户测试体验。现阶段该模型主要定向邀请企业用户进行体验测试，用户可通过官网申请（tongyi.aliyun.com），符合条件的用户可参与体验。 随后，在2023云峰会上，阿里巴巴集团董事...
-
迈向分割的大一统！OMG-Seg：一个模型搞定所有分割任务
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者个人思考 图像分割已经从单任务分割走到了语义分割、实例分割、全景分割三种分割任务的统一；大模型以及多模态的发展又带来了文本和图像统一，使得跨模态端到端成为可能；追求更高级、更全面...
-
纪念碑谷式错觉图像都被「看穿」，港大、TikTok的Depth Anything火了
人类有两只眼睛来估计视觉环境的深度信息，但机器人和 VR 头社等设备却往往没有这样的「配置」，往往只能靠单个摄像头或单张图像来估计深度。这个任务也被称为单目深度估计（MDE）。 近日，一种可有效利用大规模无标注图像的新 MDE 模型 Depth Any...
-
[AI绘图教程]stable-diffusion webui加载模型与插件. 实战AI绘画
之前讲了stable diffusion webui搭建,这里主要介绍使用方法以及模型,扩展等. 模型下载 主要下载网址 HuggingFace：Stable Diffusion、ControlNet的官方仓库。 Civitai：里面多是Lo...
-
逆天了！UniVision：BEV检测和Occupancy联合统一框架，双任务SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
Llama 2打败GPT-4！Meta让大模型自我奖励自迭代，再证合成数据是LLM终局
Llama 2-70B一夜之间打败GPT-4，让整个AI社区为之震惊！ 甚至，在AlpacaEval 2.0排行榜中，微调后的模型胜率完全碾压Claude 2、Gemini Pro等模型。 Meta和NYU研究团队究竟提出了什么秘制配方，才能让Llam...
-
最近读的AIGC相关论文思路解读
AIGC之SD可控生成论文阅读记录 提示：本博客是作者本人最近对AIGC领域相关论文调研后，临时记录所用，所有观点都是来自作者本人局限理解，以及个人思考，不代表对。如果你也正好看过相关文章，发现作者的想法和思路有问题，欢迎评论区留言指正！ 既然是论...
-
20源代码模型的数据增强方法：克隆检测、缺陷检测和修复、代码摘要、代码搜索、代码补全、代码翻译、代码问答、问题分类、方法名称预测和类型预测对论文进行分组【网安AIGC专题11.15】
Data Augmentation Approaches for Source Code Models: A Survey 写在最前面 对nlp领域其他方向的启发 英文版： 论文名片 论文总结 一个有意思的表 1.背景Background...
-
AIGC：使用生成对抗网络GAN实现MINST手写数字图像生成
1 生成对抗网络 生成对抗网络（Generative Adversarial Networks, GAN）是一种非常经典的生成式模型，它受到双人零和博弈的启发，让两个神经网络在相互博弈中进行学习，开创了生成式模型的新范式。从 2017 年以后，GAN相...
-
【论文笔记 · PFM】Lag-Llama: Towards Foundation Models for Time Series Forecasting
Lag-Llama: Towards Foundation Models for Time Series Forecasting 摘要 本文提出Lag-Llama，在大量时间序列数据上训练的通用单变量概率时间序列预测模型。模型在分布外泛化能力上取...
-
OpenAI开源全新解码器和语音识别模型Whisper-v3
在11月7日OpenAI的首届开发者大会上，除了推出一系列重磅产品之外，还开源了两款产品，全新解码器Consistency Decoder（一致性解码器）和最新语音识别模型Whisper v3。 据悉，Consistency Decoder可以替代Sta...
-
Stable Diffusion五问
一，什么是Stable diffusion？ Stable Diffusion" 是一种基于扩散模型的深度学习框架，用于生成高质量的图像。它是一种生成模型，通过模拟物理扩散过程，从随机噪声中逐步生成详细和结构化的图像。Stable Diffusion因其...
-
超越BEVFusion！又快又好的极简BEV融合部署方案
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在算法开发中，激光雷达-相机3D目标检测遇到了过度拟合问题，这是由于违反了一些基本规则。在数据集构建的数据标注方面，本文参考了理论补充，并认为回归任务预测不应涉及来自...
-
深挖RLHF潜力，复旦语言和视觉团队创新奖励模型优化，让大模型更对齐
继第一份大模型对齐技术报告（Secrets of RLHF in Large Language Models Part I）获 NeurIPS 2023 workshop best paper 后，第二份报告强势归来，复旦语言和视觉团队联合推出的第二...
-
五种资源类别，如何提高大语言模型的资源效率，超详细综述来了
近年来，大型语言模型（LLM）如 OpenAI 的 GPT-3 在人工智能领域取得了显著进展。这些模型，具有庞大的参数量（例如 1750 亿个参数），在复杂度和能力上实现了飞跃。随着 LLM 的发展趋势朝着不断增大的模型规模前进，这些模型在从智能聊天机器...
-
【计算机视觉 | 目标检测】术语理解9：AIGC的理解，对比学习，解码器，Mask解码器，耦合蒸馏，半耦合，图像编码器和组合解码器的耦合优化
文章目录 一、AIGC的理解 二、对比学习 三、解码器 四、Mask解码器 五、耦合蒸馏 六、半耦合 七、图像编码器和组合解码器的耦合优化 一、AIGC的理解 AIGC指的是使用人工智能技术自动生成的各类数字内容,包括文本、图像、...
-
图解tinyBERT模型——BERT模型压缩精华
译者 | 朱先忠 审校 | 重楼 简介 近年来，大型语言模型的发展突飞猛进。BERT成为最受欢迎和最有效的模型之一，可以高精度地解决各种自然语言处理（NLP）任务。继BERT模型之后，一组其他的模型也先后出现并各自展示出优秀的性能。 不难看到一个明显趋势...
-
人工智能利用深度学习技术增强高级驾驶辅助系统(ADAS)
译者 | 李睿 审校 | 重楼 人工智能和机器学习利用深度学习技术的优势，使高级驾驶辅助系统(ADAS 发生了重大变革。ADAS在很大程度上依赖深度学习来分析和解释从各种传感器获得的大量数据。摄像头、激光雷达(光探测和测距 、雷达和超声波传感器都是传感器...
-
Stable Diffusion (持续更新)
引言 本文的目的为记录stable diffusion的风格迁移，采用diffusers example中的text_to_image和textual_inversion目录 2023.7.11 收集了6张水墨画风格的图片，采用textual_...
-
使用 Stable Diffusion Img2Img 生成、放大、模糊和增强
在线工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 3D数字孪生场景编辑器 Stable Diffusion...
-
基于Python的图像预处理完整指南
你是否曾在机器学习或计算机视觉项目中遇到过质量较差的图像问题？图像是许多AI系统的生命线，但并非所有图像都是相同的。在训练模型或运行算法之前，通常需要对图像进行一些预处理以获得最佳结果。在Python中进行图像预处理将成为您的新伙伴。 在本指南中，您将...
-
MonoLSS：用于视觉3D检测训练中的样本选择
本文经自动驾驶之心公众号授权转载，转载请联系出处。 MonoLSS: Learnable Sample Selection For Monocular 3D Detection 论文链接：https://arxiv.org/pdf/2312.14474...
-
处理不平衡数据的过采样技术对比总结
在不平衡数据上训练的分类算法往往导致预测质量差。模型严重偏向多数类，忽略了对许多用例至关重要的少数例子。这使得模型对于涉及罕见但高优先级事件的现实问题来说不切实际。 过采样提供了一种在模型训练开始之前重新平衡类的方法。通过复制少数类数据点，过采样平衡了训...
-
14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍
就今天的人工智能发展水平来说，文生图、图生视频、图像/视频风格迁移都已经不算什么难事。 生成式 AI 天赋异禀，能够毫不费力地创建或修改内容。尤其是图像编辑，在以十亿规模数据集为基础预训练的文本到图像扩散模型的推动下，经历了重大发展。这股浪潮催生了大量图...
-
数据治理与大模型一体化实践
降本增效方面，以机器学习团队的构成为例，滴普科技Deepexi产品线总裁柏海峰介绍道：“传统机器学习或者说小模型的技术落地，对人才的要求很高，但企业往往没有意识到这个问题。具体来说，一般需要构建一个综合性的团队即数据科学团队，团队中需要数据开发工程师、...
-
大语言模型微调数据竞赛，天翼云斩获冠军！
近日，天池FT-Data Ranker竞赛落下帷幕，天翼云智能边缘事业部AI团队（后称天翼云AI团队）凭借在大语言模型（LLM）训练数据增强方面的卓越研究，荣获大语言模型微调数据竞赛——7B模型赛道冠军。 FT-Data Ranker竞赛是一场面向大语...
-
走在GPT 4.5前面？3D、视频直接扔进对话框，大模型掌握跨模态推理
给你一首曲子的音频和一件乐器的 3D 模型，然后问你这件乐器能否演奏出这首曲子。你可以通过听觉来辨认这首曲子的音色，看它是钢琴曲还是小提琴曲又或是来自吉他；同时用视觉识别那是件什么乐器。然后你就能得到问题的答案。但语言模型有能力办到这一点吗？ 实际上，...
-
如何训练一个简单的stable diffusion模型(附详细注释）
注：代码来自https://github.com/darcula1993/diffusion-models-class-CN/blob/main/unit1/01_introduction_to_diffusers_CN.ipynb 本文是本人学习后的...
-
stable-diffusion-webui 中 Controlnet 使用说明
文章目录 1. 安装 自动安装 手动安装 2. 启用 Controlnet 3. 配置 Controlnet 4. 预训练模型区别 5. 多 ControlNet 组合应用 6. 参数介绍 7. 版本对比 Reference...
-
NeuRAD: 用于自动驾驶的神经渲染（多数据集SOTA）
论文"NeuRAD: Neural Rendering for Autonomous Driving"，来自Zenseact，Chalmers科技大学，Linkoping大学和Lund大学。 神经辐射场（NeRF）在自动驾驶（AD）社区中越来越受欢迎。最...
-
DetZero：Waymo 3D检测榜单第一，媲美人工标注！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 本文提出了一套离线3D物体检测算法框架DetZero，通过在 Waymo 公开数据集上进行全面的研究和评估，DetZero可生成连续且完整的物体轨迹序列，并充分利用长时序点云特征显着提升感知结果的质...