-
RAG 的优化进阶与引入 Reranker
引言 在简单的 RAG 系统中，通过结合检索和生成技术，已经可以显著提升了对复杂查询的响应质量。Reranker 作为 RAG 系统中一个关键的进阶组件，通过对原 RAG 中检索到的内容进行重新组织，可以进一步提高系统的准确性。 本文将深入探讨 RA...
-
AIGC总体相似度：定义、意义及潜在影响
大家好，小发猫降重今天来聊聊AIGC总体相似度：定义、意义及潜在影响，希望能给大家提供一点参考。 以下是针对论文重复率高的情况，提供一些修改建议和技巧，可以借助此类工具： AIGC总体相似度：定义、意义及潜在影响 在人工智能领域，AIGC（Art...
-
阿里重磅开源Qwen2-VL：能理解超20分钟视频，媲美GPT-4o！
阿里巴巴开源了最新视觉多模态模型Qwen2-VL，根据测试数据显示，其72B模型在大部分指标超过了OpenAI的GPT-4o，Anthropic的Claude3.5-Sonnet等著名闭源模型，成为目前最强多模态模型之一。 Qwen2-VL支持中文、英文、...
-
llama模型，nano
目录 llama模型 Llama模型性能评测 nano模型是什么 Gemini Nano模型 参数量 MMLU、GPQA、HumanEval 1. MMLU（Massive Multi-task Language Understanding）...
-
LLaMA模型量化方法优化:提高性能与减小模型大小
LLaMA模型量化方法优化:提高性能与减小模型大小 LLaMA模型量化方法优化:提高性能与减小模型大小 引言 新增量化方法 性能评估 7B模型 13B模型 结果分析 结论 LLaMA模型量化方法优化:提高性能与减小模型大小...
-
如何定量分析 Llama 3，大模型系统工程师视角的 Transformer 架构
读完全文后，你将获得回答以下问题的能力（参考答案，请见最后一章节）： Llama 3 技术博客说 70B 模型、最长序列 8K、15T Tokens，训练了 640w GPU 时，这发挥了 H100 理论算力（989TFlops）的百分之多少?...
-
每日AIGC最新进展(36)：以色列Lightricks提出视频中眼镜擦除技术V-LASIK、史蒂文斯理工学院提出实时交互式数字头像框架RITA、清华大学提出神经残差扩散模型Neural-RDM
Diffusion Models专栏文章汇总：入门与实战 V-LASIK: Consistent Glasses-Removal from Videos Using Synthetic Data 本文介绍了一种名为V-LASIK的视频编辑技术，...
-
LLaMA-Factory：开源的低代码大模型训练框架
LLaMA-Factory 是一个由零隙智能（SeamLessAI）开源的低代码大模型训练框架，它集成了业界最广泛使用的微调方法和优化技术，并支持众多开源模型的微调和二次训练。 一、功能特点 支持多种开源模型：LLaMA-Factory支持包括...
-
快速LLaMA：面向大型语言模型的查询感知推理加速 论文摘要翻译与评论
论文摘要翻译与评论 论文标题： QuickLLaMA: Query-aware Inference Acceleration for Large Language Models 提出的框架 我们Q-LLM框架的示意图。来自记忆上下文的输入被...
-
AIGC革新浪潮：大语言模型如何优化企业运营
在当今快速发展的商业环境中，企业对于有效管理知识资产的需求日益增长。知识管理作为企业核心竞争力的关键组成部分，对于提高决策质量、增强创新能力和优化运营流程起着至关重要的作用。随着数字化转型的推进，企业对知识管理系统提出了新的要求，期望其能够更加智能化、高效...
-
MonoDETRNext：下一代准确高效的单目3D检测方法！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 基于单目视觉的3D目标检测在各个领域都至关重要，但现有方法在准确性和计算效率方面面临着重大挑战。在2D检测和深度估计的成功策略的基础上，本文提出了MonoDETRNe...
-
Shortened LLaMA：针对大语言模型的简单深度剪枝法
? CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 论文标题 & 发表会议：Shortened LLaMA: A Simple Depth Pruning for Large Language Model...
-
开源！V2Xverse：上交发布首个面向V2X的仿真平台与端到端模型
本文经自动驾驶之心公众号授权转载，转载请联系出处。 车路协同的同步驾驶数据 车路协同辅助的自动驾驶V2X-AD（Vehicle-to-everything-aided autonomous driving）在提供更安全的驾驶策略方面具有巨大潜力。研...
-
人工客服要被取代？用GPT-4o模拟处理客服事务，100%流畅毫无AI味
OpenAI于2024年5月13日推出了GPT-4o模型，其中的“O”代表全能（Omni），在人机互动的自然度上取得了显著进步。GPT-4o支持多模态输入和输出，包括语音、视频、图像和代码，能够实时与用户进行无缝交流，理解情感，并展现出幽默个性。 该模型的...
-
58行代码把Llama 3扩展到100万上下文，任何微调版都适用
堂堂开源之王Llama 3，原版上下文窗口居然只有……8k，让到嘴边的一句“真香”又咽回去了。 在32k起步，100k寻常的今天，这是故意要给开源社区留做贡献的空间吗？ 开源社区当然不会放过这个机会： 现在只需58行代码，任何Llama 3 70b的微调...
-
谷歌DeepMind新方法Gecko，为测试AI图像生成器引入严格新标准
谷歌 DeepMind 最近的研究示了当前我们对文本到图像 AI 模型性能评估的隐藏局限性。在其发布在预印本服务器 ariv 上的研究中，他们引入了一种全新的方法称为 “Gecko”，承诺提供一个更全和可靠的基准，以评估这一蓬勃发展的技术。 研究团队在其...
-
超越BEVFormer！CR3DT：RV融合助力3D检测&跟踪新SOTA（ETH）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 本文介绍了一种用于3D目标检测和多目标跟踪的相机-毫米波雷达融合方法（CR3DT）。基于激光雷达的方法已经为这一领域奠定了一个高标准，但是其高算力、高成本的缺陷制约了...
-
2023年AAAS Fellow名单出炉！信息计算领域：浙大教授、中科大校友当选
4月18日，世界上最大的综合性科学学会之一，同时也是Science期刊出版商的美国科学促进会（AAAS），官宣了2023年的AAAS Fellow名单。 来自24个领域的502名科学家、工程师和创新者，将获得这一科学界的终身荣誉。 新当选的Fellow绝...
-
中山大学“梗王”大模型CLoT 靠讲笑话入选顶会CVPR
中山大学HCP实验室联合Sea AI Lab和哈佛大学等单位开展的一项研究，成功地让大型人工智能模型通过讲笑话的方式，探索多模态大模型的创造力，并因此获得了计算机视觉和模式识别领域的顶级会议CVPR的认可。 这项研究的关键在于使用来自日本的“大喜利”（Oo...
-
“梗王”大模型，靠讲笑话登上CVPR | 中山大学
谁能想到，只是让大模型讲笑话，论文竟入选了顶会CVPR！ 没开玩笑，这还真真儿的是一项正儿八经的研究。 例如看下面这张图，如果让你根据它来讲个笑话或梗，你会想到什么？ 现在的大模型看完后会说： 脑子短路。 再看一眼 蜘蛛侠 的海报，大模型会配一句“刚擦的...
-
史上首次，AI超越人类奥赛金牌得主！吴方法加持，30题做出27道破纪录
首位超越国际奥林匹克竞赛金牌得主的AI，刚刚诞生了！ 印度理工学院海得拉巴分校、图宾根AI中心、剑桥大学的研究者发现—— 通过「吴方法」，可以让AI变成和人类数学奥赛银牌得主同样的水平，而「AI数学大师」AlphaGeometry，则直接超越了IMO金牌...
-
斯坦福推可以在手机端跑的大模型 Octopusv2超越GPT-4一夜爆火
斯坦福大学的研究团队近日推出了一款名为Octopusv2的新型人工智能模型，这款模型以其在端侧设备上的强大运行能力而受到广泛关注。 Octopusv2是一款拥有20亿参数的开源语言模型，专为在Android设备上运行而设计，同时也适用于汽车、个人电脑等其他...
-
从零开始的LLaMA-Factory的指令增量微调
大模型相关目录 大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容从0起步，扬帆起航。 大模型应用向开发路径及一点个人思考 大模型应用开发实用开源项目汇总 大模型问答...
-
Stability AI开源3B代码生成模型：可补全，还能Debug
本周一，Stability AI 开源了小体量预训练模型 Stable Code Instruct 3B。 Stable Code Instruct 3B 是一个基于 Stable Code 3B 的指令调整编码语言模型（Code LM）。给出自然语言...
-
Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？
Stability AI在发布了Stable Diffusion 3之后，今天公布了详细的技术报告。 论文深入分析了Stable Diffusion 3的核心技术——改进版的Diffusion模型和一个基于DiT的文生图全新架构！ 报告地址： http...
-
港大开发V-IRL平台：将真实世界地图纳入虚拟环境 给AI Agent完整的一生！
近日，港大和NYU的研究团队合作开发了一个名为V-IRL的平台，该平台将真实世界的地图、街景等丰富信息融入到虚拟环境中，为AI Agent提供了更真实和完整的生活体验。 这项研究的核心在于构建一个可扩展的平台，利用地理信息和街景图像等API将AI智能体嵌入...
-
厦门大学、Intel、大疆联合出品，从网络视频中学习零样本图像匹配大模型
图像匹配是计算机视觉的一项基础任务，其目标在于估计两张图像之间的像素对应关系。图像匹配是众多视觉应用如三维重建、视觉定位和神经渲染 (neural rendering 等的基础和前置步骤，其精确度和效率对于后续处理十分重要。 传统算法（SIFT）在面临...
-
AIGC时代：大模型ChatGPT的技术实现原理、行业实践以及商业变现途径
大数据与人工智能实战专家—周红伟老师 法国科学院数据算法博士/曾任猪八戒大数据科学家/曾任马上消费金融风控负责人 课程背景 2023年，以ChatGPT为代表的接近人类水平的对话机器人，AIGC不断刷爆网络，其强大的内容生成能力给人们带来了巨大的震撼...
-
无需RLHF显著提升GPT-4/Llama2性能，北大团队提出Aligner对齐新范式
背景 大语言模型（LLMs）虽展现出了强大的能力，但也可能产生不可预测和有害的输出，例如冒犯性回应、虚假信息和泄露隐私数据，给用户和社会造成伤害。确保这些模型的行为与人类意图和价值观相对齐，是一个紧迫的挑战。 尽管基于人类反馈的强化学习（RLHF）提供了...
-
挖掘BEV潜力的边界！DA-BEV：无监督BEV SOTA新方案！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 今天和大家探讨3D视觉感知领域中的一个特定问题：针对纯视觉的鸟瞰图（BEV）的无监督领Domain Adaptation（Unsupervised Domain Ad...
-
大模型系列——解读RAG
RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上，覆盖了结合网络搜索引擎和 LLM 的问答服务，到成千上万个数据聊天的应用程序。很多人将RAG和Agent 作为大模型应用的两种主流架构，但什么是RAG呢？R...
-
华科大发布多模态大模型新基准 覆盖五大任务
近期，华中科技大学等机构发布了一项关于多模态大模型（LMMs）的全面评估新基准，旨在解决多模态大模型性能评估的问题。这项研究涉及了14个主流多模态大模型，包括谷歌Gemini、OpenAI GPT-4V等，覆盖了五大任务、27个数据集。然而，由于多模态大模...
-
【网安AIGC专题10.19】论文6（顶会ISSTA 2023）：提出新Java漏洞自动修复数据集：数据集 VJBench+大语言模型、APR技术+代码转换方法+LLM和DL-APR模型的挑战与机会
How Effective Are Neural Networks for Fixing Security Vulnerabilities 写在最前面 摘要 贡献 发现 介绍 背景：漏洞修复需求和Java漏洞修复方向 动机 方法 贡献...
-
阿里北交大实习生论文火了！MobileAgent 可模拟人类玩转手机，网友：加速剁手、吃土！
编辑 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） “太酷了，以后就靠AI帮我加速剁手吃土了。”近日一款名为MobileAgent的移动智能代理引起了圈内人的注意。 一个惊艳之处在于，这款Agent为“手机+GPT4”结合，做出...
-
Mobile-Agent: 具有视觉感知 可以像人类样操作手机的自主多模态AI代理
Mobile-Agent是一款具有视觉感知的自主多模式移动设备代理，由北京交通大学联合阿里巴巴团队共同开发。简单的说，Mobile-Agent相当于一个可以模拟人类操作手机的自主多模态AI代理。 该代理采用纯视觉解决方案，独立于XML和系统元数据，不需要...
-
WhisperKit官网体验入口 AI自动语音识别模型压缩与优化工具在线使用地址
WhisperKit是一个专为自动语音识别模型压缩与优化而设计的强大工具。它不仅支持对模型进行压缩和优化，还提供详细的性能评估数据。WhisperKit还为不同数据集和模型格式提供质量保证认证，并支持本地复现测试结果。 点击前往WhisperKit官网体...
-
Mobile-Agent官网体验入口 自主多模移动设备AI在线使用地址
Mobile-Agent是一款自主多模移动设备代理，采用先进的多模大语言模型（MLLM）技术。该代理利用视觉感知工具准确识别和定位应用程序前端界面的视觉和文字元素，实现了自主规划和分解复杂操作任务，通过逐步操作导航移动应用程序。与以往依赖应用程序的XML文...
-
大模型也能切片，微软SliceGPT让LLAMA-2计算效率大增
大型语言模型（LLM）通常拥有数十亿的参数，用了数万亿 token 的数据进行训练，这样的模型训练、部署成本都非常高。因此，人们经常用各种模型压缩技术来减少它们的计算需求。 一般来讲，这些模型压缩技术可以分为四类：蒸馏、张量分解（包括低秩因式分解）、剪枝...
-
用大模型帮程序员找Bug，中科院剖析102篇论文总结出这些方案
中科院对“找Bug”下手了，一口气总结了N种方案！ 法宝就是大模型。 大模型由于其卓越的自然语言理解、推理等能力，已经被应用于各种场景，取得了前所未有的效果。 类似的，软件测试领域也受益于其强大的能力，能够帮助生成逼真且多样化测试输入，模拟各种异常，加...
-
机器学习模型性能的十个指标
尽管大模型非常强大， 但是解决实践的问题也可以不全部依赖于大模型。一个不太确切的类比，解释现实中的物理现象，未必要用到量子力学。有些相对简单的问题，或许一个统计分布就足够了。对机器学习而言， 也不用言必深度学习与神经网络，关键在于明确问题的边界。 那么在...
-
UIUC清华联手发布全新代码大模型Magicoder 不到7B参数
在代码生成领域，UIUC和清华合作发布了Magicoder，这一全新的大型语言模型仅使用了7B参数，却能与顶级模型媲美，并以全面开源的方式分享了其代码、权重和数据。Magicoder的关键在于采用了OSS-INSTRUCT方法，该方法通过从开源代码中获取灵...
-
邢波团队提出全开源倡议LLM360 让大模型实现真正的透明
开源模型在人工智能领域展现强大活力，但闭源策略限制了LLM（大型语言模型）的发展。邢波团队提出的LLM360全面开源倡议旨在解决这一问题。该框架明确了包括训练数据、代码、模型检查点和性能指标在内的各方面细节，为当前和未来的开源模型树立了透明度的样本。 论...
-
全方位、无死角的开源，邢波团队LLM360让大模型实现真正的透明
开源模型正展现着它们蓬勃的生命力，不仅数量激增，性能更是愈发优秀。图灵奖获得者 Yann LeCun 也发出了这样的感叹：「开源人工智能模型正走在超越专有模型的路上。」 专有模型在技术性能和创新能力上展现了非凡的力量，但是它们不开源的性质成为 LLM 发...
-
ChatGPT模型在神经学考试中表现出色，超越人类学生水平
近期发表在JAMA Network Open期刊的一项研究中，研究人员评估了两个ChatGPT大型语言模型（LLMs）在回答美国精神病学和神经学委员会问题库的问题时的表现。他们比较了这两个模型在低阶和高阶问题上的结果与人类神经学生的表现。研究发现，其中一个...
-
新AI框架DreamSync:结合图像理解模型的反馈 改善文本到图像合成
来自南加州大学、华盛顿大学、巴伊兰大学和谷歌研究团队的研究人员推出了DreamSync，这是一种新型人工智能框架，致力于解决扩散型文本到图像（T2I）模型中对齐和审美吸引力的问题，而无需进行人工标注、修改模型架构或使用强化学习。 DreamSync的方法是...
-
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本 、安装、使用方法之详细攻略 导读：2023年9月25日，Colossal-AI团队推出了开源模型Colos...
-
AI绘画 矿卡CMP 40HX 五秒出图（2023.8.6更新）
华硕的CMP 40HX是基于Nvidia Turing架构的矿卡，相比P106/P104/P102系列基于Pascal架构的矿卡，CMP 40HX启用了Tensor核心，在AI运算方面的效率有了显示提升。 基于stable diffusion的webui...
-
GPT成熟之路官方笔记 | OpenAI开发者日
ChatGPT产品打造的细节，现在OpenAI自己交了个底。 并且这波干货分享真是信息量满满，包括但不限于： ChatGPT背后的产品和研发团队如何协作 大模型应用如何从原型走向成熟 OpenAI如何优化大模型性能…… 以上信息，依然来自今年的新晋...
-
教你如何使用PyTorch解决多分类问题
本文分享自华为云社区《使用PyTorch解决多分类问题：构建、训练和评估深度学习模型》，作者： 小馒头学Python。 引言 当处理多分类问题时，PyTorch是一种非常有用的深度学习框架。在这篇博客中，我们将讨论如何使用PyTorch来解决多分类...
-
最新！基于视觉方案的车辆速度、距离估计综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文名称：Vision-based Vehicle Speed Estimation: A Survey 导读 在精确检测车速车距的方案中，视觉方案是非常具有挑战性的，但由于没有昂贵的距离传感器而大幅...