-
多模态预训练模型在 OPPO 端云场景的落地实践
一、端侧图文检索技术研究 1. 解决了什么问题？ 首先来介绍图文检索技术。以前在手机端相册搜索照片，都是基于标签来搜索。从 CLIP 模型出现后开始做自然语言搜索。目前正在解决端侧性能、搜索效果、安全等问题。技术难度并不大，重点在于提高搜索速度。并...
-
【带文字的图像生成-附开源代码】AIGC 如何在图像中准确生成文字？字体篇（上）
文字图像生成是什么？ “文字图像生成（Text-image generation）”即生成带有指定文字的图像。如下图所示，市面常见的通用文生图很难准确地生成带有指定文字的图像。文字图像生成也被称为文本渲染（Text rendering）。 为什么重要？...
-
港大字节提出多模态大模型新范式，模拟人类先感知后认知，精确定位图中物体
当前，多模态大模型 （MLLM）在多项视觉任务上展现出了强大的认知理解能力。 然而大部分多模态大模型局限于单向的图像理解，难以将理解的内容映射回图像上。 比如，模型能轻易说出图中有哪些物体，但无法将物体在图中准确标识出来。 定位能力的缺失直接限制了多模态...
-
AIGC全面介绍
随着人工智能技术的飞速发展，AIGC（Artificial Intelligence Generated Content）作为人工智能领域的重要分支，正逐渐崭露头角，成为推动人类社会进步的重要力量。本文将对AIGC进行全面介绍，包括其定义、发展历程、技术原...
-
换了30多种方言，我们竟然没能考倒中国电信的语音大模型
不管你来自哪个城市，相信在你的记忆中，都有自己的「家乡话」:吴语柔软细腻、关中方言质朴厚重、四川方言幽默诙谐、粤语古雅潇洒…… 某种意义上说，方言不只是一种语言习惯，也是一种情感连接、一种文化认同。我们「上网冲浪」遇到的新鲜词汇中，有不少就是来自各地方言。...
-
只需单卡RTX 3090，低比特量化训练就能实现LLaMA-3 8B全参微调
自 2010 年起，AI 技术历经多个重大发展阶段，深度学习的崛起和 AlphaGo 的标志性胜利显著推动了技术前进。尤其是 2022 年底推出的 ChatGPT，彰显了大语言模型（LLM）的能力达到了前所未有的水平。自此，生成式 AI 大模型迅速进入高...
-
Meta LlaMA 3模型深度解析
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 拉玛的故事 “在安第斯山脉崎岖的山区，生活着三种非常美丽的生物——里约、洛基和塞拉。它们有着光泽的皮毛和闪闪发光的眼睛，是力量和韧性的...
-
LLM大模型推理加速实战：vllm、fastllm与llama.cpp使用指南
随着人工智能技术的飞速发展，大型语言模型（LLM）在诸如自然语言处理、智能问答、文本生成等领域的应用越来越广泛。然而，LLM模型往往具有庞大的参数规模，导致推理过程计算量大、耗时长，成为了制约其实际应用的关键因素。为了解决这个问题，一系列大模型推理加速工具...
-
Llama大型语言模型原理详解
Llama大型语言模型是一种基于深度学习的自然语言处理模型，它在文本生成、问答、摘要等多种NLP任务中展现出强大的性能。本文将详细解析Llama模型的原理，包括其结构、训练过程以及工作机制，帮助读者深入理解这一先进的模型。 一、模型结构 Llama模型...
-
在个人 Linux 机器 (GPU/CPU) 上本地运行 LLaMA-3(Docker+Ollama+Open WebUI+LLama3教程含详细步骤)
在当今快速发展的人工智能环境中，部署开源大型语言模型 (LLM 通常需要复杂的计算基础设施。然而，Ollama 的创新平台正在改变这一规范，支持在标准个人计算机上使用这些强大的模型，支持CPU和GPU配置。本指南介绍了如何使用 Ollama 在您自己的设...
-
Llama模型下载
最近llama模型下载的方式又又变了，所以今天简单更新一篇文章，关于下载的，首先上官网，不管在哪里下载你都要去官网登记一下信息：https://llama.meta.com/llama2 然后会出现下面的信息登记网页： 我这里因为待业所以or...
-
AI大模型日报#0418：Stable Diffusion 3开放API、Meta新研究让AI Agent理解物理世界
导读： 欢迎阅读《AI大模型日报》，内容基于Python爬虫和LLM自动生成。目前采用“文心一言”生成了每条资讯的摘要。标题: 微软刚发布了VASA-1 这个人工智能可以让单张图像具有生动的说话和歌唱能力 摘要: 微软发布了VASA-1人工智能，...
-
【AIGC大模型】跑通wonder3D （windows）
这两天看了AI大神李某舟被封杀，课程被下架的新闻，TU商 认为：现在这种玩概念、徒具高大上外表却无实质内容的东西太多了，已经形成一种趋势和风潮，各行各业各圈层都在做大做强这种势，对了，这种行为的学名叫宣传，俗名叫营销，花名叫忽悠，真名叫骗人。老老实实做事...
-
Llama 3大模型发布！快速体验推理及微调
Meta，一家全球知名的科技和社交媒体巨头，在其官方网站上正式宣布了一款开源的大型预训练语言模型——Llama-3。 据了解，Llama-3模型提供了两种不同参数规模的版本，分别是80亿参数和700亿参数。这两种版本分别针...
-
CVPR 2024 | 图像超分、图像恢复汇总！用AIGC扩散模型diffusion来解决图像low-level任务的思路...
1、Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Decoder 超分辨率（SR）和图像生成是计算...
-
CVPR 2024 | 图像检测类（目标、deepfake、异常）！AIGC扩散模型diffusion解决detection任务...
目标跟踪 1、Delving into the Trajectory Long-tail Distribution for Muti-object Tracking 多目标跟踪（Multiple Object Tracking，MOT）是计算...
-
微调llama 3 — PEFT微调和全量微调
1. llama 3 微调基础 1.1 llama 3 简介 官方blog llama 3 目前有两个版本：8B版和70B版。8B版本拥有8.03B参数，其尺寸较小，可以在消费者硬件上本地运行。 meta-llama/Meta-Llama-3-...
-
Llama 3开源！手把手带你推理，部署，微调
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集 《大模型面试...
-
【优质书籍推荐】AIGC时代的PyTorch 深度学习与企业级项目实战
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
LLaMA-Factory参数的解答（命令，单卡，预训练）
前面这个写过，但觉得写的不是很好，这次是参考命令运行脚本，讲解各个参数含义。后续尽可能会更新，可以关注一下专栏！！ *这是个人写的参数解读，我并非该领域的人如果那个大佬看到有参数解读不对或者有补充的请请反馈！谢谢（后续该文章可能会持续更新） * LLaMA...
-
Stable Diffusion【ControlNet】：ControlNet的IP-Adapter预处理器：SD垫图实现
大家好，今天我们来详细介绍一下ControlNet的预处理器IP-Adapter。简单来说它就是一个垫图的功能，我们在ControlNet插件上传一张图片，然后经过这个预处理器，我们的图片就会在这张上传的图片的基础上进行生成。该预处理器提供的垫图功能，让S...
-
CVPR 2024 | 风格迁移和人像生成汇总！扩散模型diffusion用于经典AIGC方向
风格迁移 1、DEADiff: An Efficient Stylization Diffusion Model with Disentangled Representations 基于文本到图像扩散模型在迁移参考风格方面具有巨大潜力。然而，...
-
Llama 3 开源！手把手带你进行大模型推理，部署，微调和评估
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 基于大模型实践和技术交流，我...
-
Hugging Face全攻略：轻松下载Llama 3模型，探索NLP的无限可能！【实操】
Hugging Face：自然语言处理的强大开源模型库 在数字化时代，自然语言处理（NLP）技术的崛起为人工智能的发展注入了新的活力。而Hugging Face，作为这一领域的佼佼者，凭借其强大的模型仓库、易用的API以及活跃的社区支持，成为无数NL...
-
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略 导读：2024年4月18日，Meta 重磅推出了Meta Llama 3，本文章主要介绍了Meta推出的新的开源大语言模型Meta Llama 3。模型架构 Llam...
-
LLamaFactory：当下最容易上手的大模型微调工具
近日，国内的一款微调框架发布了自己的论文《LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models》，对他们的框架做了系统性的总结。该框架自推出后迅速出圈，现已斩获15.6k的s...
-
基于分层自监督学习将视觉Transformer扩展到千兆像素图像
本文经计算机视觉研究院公众号授权转载，转载请联系出处。 Vision Transformers (ViT 及其多尺度和分层变体已成功地捕获图像表示，但它们的使用通常被研究用于低分辨率图像（例如256×256、384×384）。 1 概括 对于计算病...
-
通用世界模型问世：不学习就能生成新领域视频，可实时控制
随着 OpenAI 今年 2 月发布 Sora，世界模型（World Model）再次成为了 AI 领域的热门。 世界模型，即通过预测未来的范式对数字世界和物理世界进行理解，一直以来被认为是通往通用人工智能（AGI）的关键路径之一，与当前大模型推崇的智能...
-
Stable Diffusion Windows本地部署超详细教程（手动+自动+整合包三种方式）
一、 Stable Diffusion简介 2022年作为AIGC（Artificial Intelligence Generated Content）时代的元年，各个领域的AIGC技术都有一个迅猛的发展，给工业界、学术界、投资界甚至竞赛...
-
探索Llama 3模型在地理行业的应用
Llama 3模型简介 Llama 3模型是基于最新的神经网络架构设计而成，它融合了Transformer和图像注意力机制，能够同时处理自然语言和图像输入，实现跨模态信息的融合和理解。这使得Llama 3模型在地理信息处理和分析方面有着独特的优势...
-
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
系列篇章? AI大模型探索之路-训练篇1：大语言模型微调基础认知AI大模型探索之路-训练篇2：大语言模型预训练基础认知AI大模型探索之路-训练篇3：大语言模型全景解读AI大模型探索之路-训练篇4：大语言模型训练数据集概览AI大模型探索之路-训练篇5：大...
-
我们该如何看待AIGC（人工智能）
目录 AIGC的概述： AIGC的发展经历： AIGC的发展带来的机遇： 我们该如何去看待AIGC： AIGC的概述： @[TOC]( ?文章目录 ---AIGC全称为AI-Generated Content，指基于生成对抗网...
-
简单通用：视觉基础网络最高3倍无损训练加速，清华EfficientTrain++入选TPAMI 2024
本文经计算机视觉研究院公众号授权转载，转载请联系出处。 论文链接：https://arxiv.org/pdf/2405.08768 代码和预训练模型已开源：https://github.com/LeapLabTHU/EfficientTrain 会议...
-
综述！全面概括基础模型对于推动自动驾驶的重要作用
写在前面&笔者的个人理解 近年来，随着深度学习技术的发展和突破，大规模的基础模型（Foundation Models）在自然语言处理和计算机视觉领域取得了显著性的成果。基础模型在自动驾驶当中的应用也有很大的发展前景，可以提高对于场景的理解和推理。...
-
单模型斩获「蛋白质突变预测」榜一！西湖大学提出基于结构词表方法 | ICLR 2024 Spotlight
蛋白质结构相比于序列往往被认为更加具有信息量，因为其直接决定了蛋白质的功能。 而随着AlphaFold2带来的巨大突破，大量的预测结构被发布出来供人研究使用，如何利用这些蛋白质结构来训练强大且通用的表征模型是一个值得研究的方向。 西湖大学的研究人员利用F...
-
Inflection AI揭示新团队和计划，将情感AI嵌入商业机器人
前不久，Inflection AI 的首席人工智能专家之一 Mustafa Suleyman 离职加入微软 AI 部门，这一消息在科技界引起了广泛的关注。然而，对于留在 Inflection AI 的命运，人们却没有过多讨论。Inflection AI 曾...
-
Meta发布类GPT-4o多模态模型Chameleon
Meta最近发布了一个名为Chameleon的多模态模型，它在多模态模型发展中设立了新的标杆。Chameleon是一个早期融合的基于token的混合模态模型家族，能够理解并生成任意顺序的图像和文本。它通过一个统一的Transformer架构，使用文本、图像...
-
案例分享｜Alluxio在自动驾驶模型训练中的应用与部署
分享嘉宾： 杨林三-辉羲智能 关于辉羲智能： 辉羲智能是一家做自动驾驶芯片的初创公司，成立于2022年。致力打造创新车载智能计算平台，提供高阶智能驾驶芯片、易用开放工具链及全栈自动驾驶解决方案，助力车企实现优质高效的自动驾驶量产交付，构建低成本、大规...
-
牛津大学最新 | 近400篇总结！畅谈大语言模型与三维世界最新综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 随着大型语言模型（LLM）的发展，它们与3D空间数据（3D LLM）之间的集成取得了快速进展，为理解物理空间和与物理空间交互提供了前所未有的能力。本文全面概述了LLM...
-
蚂蚁多模态团队在视频多模态方向的技术探索
一、概述 视频多模态检索在蚂蚁内部有着广泛的应用。视频多模态检索具体包括两个方向，一个是视频-文本的语义检索，另外一个是视频-视频的同源检索。 视频-文本的语义检索方向旨在通过文本检索与其语义相近的视频，其检索文本未必在检索到的视频描述中直接出现，但检...
-
150B token从头训练，普林斯顿Meta发布完全可微MoE架构Lory
不同于大多数模型使用字母缩略起名，论文作者在脚注中解释道，Lory是一种羽毛有彩虹颜色的鹦鹉，和「软MoE」的精神非常相似。 论文的作者团队也可以称之为「明星阵容」。 论文地址：https://arxiv.org/abs/2405.03133 主要作者...
-
数据更多更好还是质量更高更好？这项研究能帮你做出选择
对基础模型进行 scaling 是指使用更多数据、计算和参数进行预训练，简单来说就是「规模扩展」。 虽然直接扩展模型规模看起来简单粗暴，但也确实为机器学习社区带来了不少表现卓越的模型。之前不少研究都认可扩大神经模型规模的做法，所谓量变引起质变，这种观点也...
-
自动驾驶场景中的长尾问题怎么解决？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 昨天面试被问到了是否做过长尾相关的问题，所以就想着简单总结一下。 自动驾驶长尾问题是指自动驾驶汽车中的边缘情况，即发生概率较低的可能场景。感知的长尾问题是当前限制单车智能自动驾驶车辆运行设计域的主要原...
-
Meta首发「变色龙」挑战GPT-4o，34B参数引领多模态革命！10万亿token训练刷新SOTA
GPT-4o的横空出世，再次创立了一个多模态模型发展的新范式！ 为什么这么说？ OpenAI将其称为「首个『原生』多模态」模型，意味着GPT-4o与以往所有的模型，都不尽相同。 传统的多模态基础模型，通常为每种模态采用特定的「编码器」或「解码器」，将不...
-
HuggingFace教你怎样做出SOTA视觉模型
前有OpenAI的GPT-4o，后有谷歌的系列王炸，先进的多模态大模型接连炸场。 其他从业者在震撼之余，也再次开始思考怎么追赶这些超级模型了。 刚好在这时，HuggingFace和法国索邦大学的一篇论文，总结出了构建视觉大模型的关键经验，给开发者指明了一...
-
恒生电子首席科学家白硕：长文本和多模态是生成式AI落地金融的两大利器
嘉宾丨白硕 采访/撰稿丨张洁 编辑丨千山 出品 | 51CTO技术栈（微信号：blog51cto） 在千行百业中，金融业一贯是新技术的早期采用者。无论是在数字化水平，还是在关于产业AI化的探索上，都走在了前列。因此，金融业也被视为生成式AI应用落地的潜力...
-
Ilya离职后第一个动作：点赞了这篇论文，网友抢着传看
自Ilya Sutskever官宣离职OpenAI后，他的下一步动作成了大家关注焦点。 甚至有人密切关注着他的一举一动。 这不，Ilya前脚刚刚点赞❤️了一篇新论文—— ——网友们后脚就抢着都看上了： 论文来自MIT，作者提出了一个假说，用一句话总结...
-
生成式AI时代下的企业，该如何充分挖掘数据价值？
在数字经济迅猛发展的时代背景下，数据已经上升为核心生产要素，不仅有力促进了各行各业的创新转型升级，更成为推动经济增长的重要力量。 特别是近年来生成式AI快速发展，极大地改变了企业决策的方式和效率。而在这一过程中，数据作为智能的“燃料”，其质量和数量直接...
-
AI日报：抖音测试AI购物小助手；GPT-4o再秀神操作惊呆网友；华为“天生会画”App发布；小米大模型通过备案
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 1、抖音试水AI电商 测试AI购物小助手 抖音电商正在测试首款面向C端的AI电商服务“AI购物小助手”，...
-
OpenAI联合创始人：GPT-4性能在 “有限的数据量” 下面临挑战
OpenAI 的联合创始人 John Schulman 近在 Dwarkesh Patel 的播客节目中分享了他对 GPT-4性能的见解，并提到了由于有限的练数据而可能面临的挑战。Schulman 在2022年11月 ChatGPT 的推出中扮演了重要角色...