-
AI在工业物联网（IIoT）中的安全管理与应用
作者 | 陈峻 审校 | 重楼 在开放的工业互联网环境中，数百万个基于物联网的终端和中间设备，需要全天候地持续通信并保持在线状态。不过，这些设备往往由于最初设计上的限制，在机密性、完整性、可用性、扩展性、以及互操作性上，存在着各种安全漏洞与隐患。与此同时...
-
顶流Mamba竟遭ICLR拒稿，学者集体破防变小丑，LeCun都看不下去了
一项ICLR拒稿结果让AI研究者集体破防，纷纷刷起小丑符号。 争议论文为Transformer架构挑战者Mamba，开创了大模型的一个新流派。发布两个月不到，后续研究MoE版本、多模态版本等都已跟上。 但面对ICRL给出的结果，康奈尔副教授Alexand...
-
普通人如何搭上AIGC行业快车道？近屿智能带你来看AI就业新趋势
Look！?我们的大模型商业化落地产品 ?更多AI资讯请??关注 Free三天集训营助教在线为您火热答疑??? 从ChatGPT-3.5到最新推出的GPT-4，AI技术的进步正快速朝着模仿人类智能的方向发展。GPT-4不仅能深度理解文本和图像，还...
-
文心一言 快速上手方法及常用指令汇总
文心一言四个字的来源是《文心雕龙》，这本书是中国南朝梁代文学家刘飙所著的一本文学理论著作，而其中的“文心”二字恰好与“一言”共用一个“言”字，这便构成了“文心一言””这一名字。 文心一言是百度研发的知识增强大语言模型，能够与人对话互动，回答问题,协助创作...
-
【AIGC入门一】Transformers 模型结构详解及代码解析
Transformers 开启了NLP一个新时代，注意力模块目前各类大模型的重要结构。作为刚入门LLM的新手，怎么能不感受一下这个“变形金刚的魅力”呢？ 目录 Transformers ——Attention is all You Need 背景...
-
人工智能和数据分析的新兴趋势
显然，人工智能和数据分析的世界正处于动态变化的状态。未来需要一种平衡的方法，将创新与负责任和道德的数据实践相结合。进入2024年，人工智能和数据分析的格局正在快速发展，这是由技术进步和组织需求共同塑造的。从生成式人工智能的兴起到数据治理的重要性日益增加...
-
「think step by step」还不够，让模型「think more steps」更有用
如今，大型语言模型（LLM）及其高级提示策略的出现，标志着对语言模型的研究取得了重大进展，尤其是在经典的 NLP 任务中。这其中一个关键的创新是思维链（CoT）提示技术，该技术因其在多步骤问题解决中的能力而闻名。这项技术遵循了人类的顺序推理，在各种挑战中...
-
利用人工智能增强网络安全防御
人工智能在保护有价值且易受攻击的数据方面，前景广阔，但安全团队想要充分利用人工智能，就会面临一些挑战。 数据从未如此有价值。它是现代商业的命脉，同时也越来越容易受到攻击。混合云和远程工作的日益普及，意味着不良行为者拥有比以往更大的攻击面。其结果是，威胁...
-
首个通用双向Adapter多模态目标追踪方法BAT，入选AAAI 2024
目标跟踪是计算机视觉的一项基础视觉任务，由于计算机视觉的快速发展，单模态 (RGB 目标跟踪近年来取得了重大进展。考虑到单一成像传感器的局限性，我们需要引入多模态图像 (RGB、红外等 来弥补这一缺陷，以实现复杂环境下全天候目标跟踪。 然而，现有的多...
-
GPT与文心一言大模型的比较与展望
目录 前言 1 GPT和文心一言简介 2 GPT和文心一言的技术原理和基础架构 3 GPT和文心一言的模型规模和参数数量 4 GPT和文心一言的语言理解表现 5 展望GPT和文心一言未来的发展 5.1 技术改进 5.2 应用扩展 结语...
-
AI作画的背后是怎么一步步实现的？一文详解AI作画算法原理+性能评测
前言 “AI作画依赖于多模态预训练，实际上各类作画AI模型早已存在，之所以近期作品质量提升很多，可能是因为以前预训练没有受到重视，还达不到媲美人类的程度，但随着数据量、训练量的增多，最终达到了现在呈现的效果。”远在AI作画还没有爆火之前，深度学习就已经...
-
LLM之RAG实战（十六）| 使用Llama-2、PgVector和LlamaIndex构建LLM Rag Pipeline
近年来，大型语言模型（LLM）取得了显著的进步，然而大模型缺点之一是幻觉问题，即“一本正经的胡说八道”。其中RAG（Retrieval Augmented Generation，检索增强生成）是解决幻觉比较有效的方法。本文，我们将深入研究使用...
-
2024年1月11日最热AI论文Top5：开源界Stable Diffusion杀手、Prompt-tuning、零和游戏博弈
本文整理了今日发表在ArXiv上的AI论文中最热门的 TOP5。 以下内容由 赛博马良-「AI论文解读达人」 智能体生成，人工整理排版。 「AI论文解读达人」智能体可提供每日最热论文推荐、AI论文解读等功能。 如需查看其他热门论文，欢迎移步saibo...
-
Llama 2- Open Foundation and Fine-Tuned Chat Models＜3＞
3.4 RLHF 结果 3.4.1 基于模型的评估 评估LLMs是一个具有挑战性的开放研究问题。人类评估虽然是黄金标准，但可能会因各种 HCI 考虑因素而变得复杂（Clark 等人，2021；Gehrmann 等人，2023），并且并不总是可扩展的...
-
Yann LeCun：生成模型不适合处理视频，AI得在抽象空间中进行预测
在互联网文本数据即将枯竭之际，很多 AI 研究者将目光转向了视频。但如何让 AI 理解视频数据成了新的难题。 在 2024 世界经济论坛的一次会谈中，图灵奖得主、Meta 首席 AI 科学家 Yann LeCun 被问到了这个问题。他认为，虽然这个问题还...
-
无需训练实现价值观实时动态对齐：上交开源价值观对齐方法OPO，闭源与开源大模型均适用
随着人工智能技术的发展，以 GPT-4 为代表的大语言模型依靠其强大的能力正在对社会产生深远的影响。与此同时，大模型本身的安全性问题也变得尤为重要。如何确保大语言模型可以和人类的价值、真实的意图相一致，防止模型被滥用、输出有害的信息，这是大模型安全治理的...
-
消灭「幻觉」！谷歌全新ASPIRE方法让LLM给自己打分，效果碾压10x体量模型
大模型的「幻觉」问题马上要有解了？ 威斯康星麦迪逊大学和谷歌的研究人员最近开发了一个名为ASPIRE的系统，可以让大模型对自己的输出给出评分。 如果用户看到模型的生成的结果评分不高，就能意识到这个回复可能是幻觉。 如果系统可以进一步筛选评分的结果进行输...
-
视觉Mamba模型的Swin时刻，中国科学院、华为等推出VMamba
Transformer 在大模型领域的地位可谓是难以撼动。不过，这个AI 大模型的主流架构在模型规模的扩展和需要处理的序列变长后，局限性也愈发凸显了。Mamba的出现，正在强力改变着这一切。它优秀的性能立刻引爆了AI圈。 上周四， Vision Mamb...
-
自然语言处理的革命：AI大模型在AIGC领域的应用
1.背景介绍 自然语言处理（NLP）是人工智能（AI）领域的一个重要分支，其主要关注于计算机理解、生成和处理人类语言。自从2012年的深度学习革命以来，NLP 领域的研究取得了巨大进展，尤其是在自然语言生成和机器翻译等方面。然而，直到2020年，GPT-...
-
AIGC领域优秀的资源汇总(应用、论文、开源项目)
AIGC领域介绍，及一些比较优秀的应用，和论文，开源项目汇总。 AIGC大纲 一、AIGC概念 AIGC，全名“AI generated content”，又称生成式AI，意为人工智能生成内容。例如AI文本续写，文字转图像的AI图、AI主...
-
一文了解AIGC与ChatGPT
关注微信公众号掌握更多技术动态 --------------------------------------------------------------- 一、AIGC简介 1.AIGC基础 (1 AIGC是什么 AIGC是人...
-
AIGC的底层核心结构Transformer是如何彻底改变NLP游戏规则的？OJAC近屿智能带你一探究竟
Look！?我们的大模型商业化落地产品 ?更多AI资讯请??关注 Free三天集训营助教在线为您火热答疑??? 没有Transformer，就没有NLP的突破，听起来有些夸张，但事实确实如此。什么是Transformer？Transforme...
-
被OpenAI、Mistral AI带火的MoE是怎么回事？一文贯通专家混合架构部署
选自 HuggingFace 博客 编译:赵阳 专家混合 （MoE） 是 LLM 中常用的一种技术，旨在提高其效率和准确性。这种方法的工作原理是将复杂的任务划分为更小、更易于管理的子任务，每个子任务都由专门的迷你模型或「专家」处理。 早些时候，有人爆料...
-
AIGC、ChatGPT、GPT系列？我的认识
AIGC（AI generated content），新型内容生产方式。AIGC是利用人工智能技术来生成内容，也就是，它可以用输入数据生成相同或不同类型的内容，比如输入文字、生成文字，输入文字、生成图像等。 GPT-3是生成型的预训练变换模型，是...
-
RoSA: 一种新的大模型参数高效微调方法
随着语言模型不断扩展到前所未有的规模，对下游任务的所有参数进行微调变得非常昂贵，PEFT方法已成为自然语言处理领域的研究热点。PEFT方法将微调限制在一小部分参数中，以很小的计算成本实现自然语言理解任务的最先进性能。 (RoSA 是一种新的PEFT技术...
-
20源代码模型的数据增强方法：克隆检测、缺陷检测和修复、代码摘要、代码搜索、代码补全、代码翻译、代码问答、问题分类、方法名称预测和类型预测对论文进行分组【网安AIGC专题11.15】
Data Augmentation Approaches for Source Code Models: A Survey 写在最前面 对nlp领域其他方向的启发 英文版： 论文名片 论文总结 一个有意思的表 1.背景Background...
-
新一代注意力机制Lightning Attention-2：无限序列长度、恒定算力开销、更高建模精度
大语言模型序列长度的限制，极大地制约了其在人工智能领域的应用，比如多轮对话、长文本理解、多模态数据的处理与生成等。造成这一限制的根本原因在于当前大语言模型均采用的 Transformer 架构有着相对于序列长度的二次计算复杂度。这意味着随着序列长度的增加...
-
AIGC大模型必备知识——LLM ，你知道它是如何训练的吗？小白必读深度好文
Look！?我们的大模型商业化落地产品 ?更多AI资讯请??关注 Free三天集训营助教在线为您火热答疑??? 近年来，人工智能（AI）领域经历了令人瞩目的增长，尤其是自然语言处理（NLP）。你知道是什么推动了NLP领域的这种飞速发展吗？没错，那...
-
大模型时代下AIGC新浪潮
大模型时代下AIGC新浪潮 文章目录 大模型时代下AIGC新浪潮 1. **相关概念** 2. **迎接大模型时代** 3. **ChatGPT引爆AIGC产业** 4. **从产业链宏观看AIGC** 1. **上游：基础层**...
-
如何将知识图谱与AIGC结合？京东是这么做的
一、导言 首先介绍一下京东在电商场景下 AIGC 方面的探索。 这是一个商品营销文案自动生成的全景图，自下而上首先是商品的输入信息。输入信息是异构多源的，包括商品的商详页里的图片、文本、商品的标题以及商品的知识图谱。通用的知识图谱是三元组的形式，...
-
Tokenization 指南：字节对编码，WordPiece等方法Python代码详解
在2022年11月OpenAI的ChatGPT发布之后，大型语言模型(llm 变得非常受欢迎。从那时起，这些语言模型的使用得到了爆炸式的发展，这在一定程度上得益于HuggingFace的Transformer库和PyTorch等库。 计算机要处理语言，...
-
终于，NLP顶会ACL投稿不用匿名了
对于自然语言处理领域的研究人员，最近有一条好消息。 近日，计算语言学协会年会（ACL）正式宣布，该系列会议论文投稿已取消匿名期，同时允许作者在投稿期间宣传自身工作。新规定直接适用于下一个审稿周期。 今年的 ACL 是第 62 届，将于 2024 年 8...
-
使用 DPO 微调 Llama 2
简介 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步，它可以确保语言模型的输出符合人类在闲聊或安全...
-
互联网新时代要来了（二）什么是AIGC？
什么是AIGC？ 最近，又火了一个词“**AIGC”**2022年被称为是AIGC元年。那么我们敬请期待，AIGC为我们迎接人工智能的下一个时代。 TIPS:内容来自百度百科、知乎、腾讯、《AIGC白皮书》等网页 什么是AIGC？ 1...
-
使用Gradio搭建Stable Diffusion模型生成图像：简单快捷的图像生成体验
目录 0 开发环境 1 介绍 1.1 Gradio简介 1.2 Stable Diffusion模型简介 2 使用Gradio搭建基本界面 2.1 安装依赖库 2.2 加载预训练模型 2.3 解析返回的数据 2.4 构建图像字幕应用程序...
-
碎片笔记｜AIGC核心技术综述
前言：AIGC全称为AI-Generated Content，直译为人工智能内容生成。即采用人工智能技术来自动生产内容。AIGC在2022年的爆发，主要是得益于深度学习模型方面的技术创新。不断涌现的生成算法、预训练模型以及多模态等技术的融合引发了AIGC的...
-
最新开源！更擅长推理的LLaMA大模型，支持中文
©PaperWeekly 原创 · 作者 | 李忠利 研究方向 | 自然语言处理 跟大家介绍一下自己最近训练的 LLaMA 模型——BiLLa: A Bilingual LLaMA with Enhanced Reasoning Abi...
-
AIGC和ChatGPT推进百度、阿里、腾讯、华为大模型技术创新
AIGC | PC集群 | PC Farm | GPU服务器 生成式AI | Stable Diffusion | ChatGPT 2022 年 12 月，OpenAI 推出了 ChatGPT，这是一种高性能计算的大型语言生成模型。它的出现推动了人...
-
OpenAI Whisper论文笔记
OpenAI Whisper论文笔记 OpenAI 收集了 68 万小时的有标签的语音数据，通过多任务、多语言的方式训练了一个 seq2seq （语音到文本）的 Transformer 模型，自动语音识别（ASR）能力达到商用水准。本文为李沐老师论文精...
-
【LLM】微调LLM：LoRA 还是全参数？Llama 2 的深入分析
?大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流? ?个人主页－Sonhhxg_柒的博客_CSDN博客 ? ?欢迎各位→点赞? + 收藏⭐️ + 留言? ?系列专栏 - 机器学习【ML】 自然语言...
-
Transformer的无限之路：位置编码视角下的长度外推综述
在自然语言处理（Natural Language Processing，NLP）领域，Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。然而，Transformer 及在其基础之上的大语言模型（Large Language Model...
-
ChatGPT在亚马逊上「开网店」，一夜之间成了网红
「我们的 [产品] 可用于多种任务，例如 [任务 1]、[任务 2] 和 [任务 3]，使其成为你家庭的多功能补充。」 没想到，ChatGPT 的机器人话竟然在电商网站上火了。 GPT-5 的发布还尚需时日，最近 OpenAI 正在发力大语言模型的...
-
五种资源类别，如何提高大语言模型的资源效率，超详细综述来了
近年来，大型语言模型（LLM）如 OpenAI 的 GPT-3 在人工智能领域取得了显著进展。这些模型，具有庞大的参数量（例如 1750 亿个参数），在复杂度和能力上实现了飞跃。随着 LLM 的发展趋势朝着不断增大的模型规模前进，这些模型在从智能聊天机器...
-
ChatGPT探索系列之六：思考ChatGPT的未来发展趋势和挑战
文章目录 前言 一、未来发展趋势 1. ChatGPT重塑数据分析之道 2. ChatGPT颠覆企业运用人工智能和机器学习的途径 3. ChatGPT颠覆自动化商业流程 4. ChatGPT引领企业决策迈向新纪元 二、ChatGPT掀开未来...
-
大模型相关技术综述
多模态大模型&大模型训练语料持续迭代 已经开始整理多模态-视觉部分： 主要分为一下几块 多模态信息压缩模型（clip、vit、swiT） 生成模型（vae、gan、flow、ddpm、sde... 其它多模态大模型（语音...
-
LexisNexis 迎接生成式人工智能挑战
正在寻找抵御生成式人工智能破坏性威胁的突破口的 IT 领导者可能会从身为 LexisNexis 执行副总裁兼 CTO 的 Jeff Reihl 的建议中获益：快速采用该技术，以领先于潜在的破坏者。 Reih 指出，自 20 世纪 70 年代初成立以来，L...
-
AIGC技术研究与应用 ---- 下一代人工智能：新范式！新生产力！（2.4 -大模型发展历程 之 多模态）
文章大纲 什么是多模态 为什么 Transformer 也是多模态模型的基础架构 视觉 Transformer 和 Text Transformer 如何结合 - contrastive learning 对比学习 stable diffu...
-
为大模型恶补数学，上交开源MathPile语料库，95亿tokens，还可商用
在当前智能对话模型的发展中，强大的底层模型起着至关重要的作用。这些先进模型的预训练往往依赖于高质量且多样化的语料库，而如何构建这样的语料库，已成为行业中的一大挑战。 在备受瞩目的 AI for Math 领域，由于高质量的数学语料相对稀缺，这限制了生成式...
-
为什么人工智能如此需要资源？
截至2023年底，任何关于生成式人工智能需要多少能源的预测都是不准确的。 头条新闻倾向于猜测“人工智能需要5倍、10倍、30倍的电力”和“足够运行10万个家庭的电力”等。与此同时，数据中心新闻等专业出版物的报道称，功率密度将上升到每机架50千瓦或100千...
-
小红书搜索团队提出全新框架：验证负样本对大模型蒸馏的价值
大语言模型（LLMs）在各种推理任务上表现优异，但其黑盒属性和庞大参数量阻碍了它在实践中的广泛应用。特别是在处理复杂的数学问题时，LLMs 有时会产生错误的推理链。传统研究方法仅从正样本中迁移知识，而忽略了那些带有错误答案的合成数据。 在 AAAI 2...