-
GPT-4正接管人类数据专家！先验知识让LLM大胆预测，准确率堪比传统方式
在数据科学中，AI研究员经常面临处理不完整数据集的挑战。 然而，许多已有的算法根本无法处理「不完整」的数据序列。 传统上，数据科学家会求助于专家，利用他们的专业知识来填补空白，然而这一过程既耗时，却又不实用。 如果AI可以接管专家的角色，又会如何呢？ 近...
-
掌握商业人工智能：使用 RAG 和 CRAG 构建企业级人工智能平台
通过我们的指南了解如何为您的企业释放人工智能的力量。了解 RAG 和 CRAG 集成、矢量嵌入、LLM 和提示工程。非常适合负责任地拥抱人工智能的企业。 为企业打造AI-Ready平台 企业在引入生成式人工智能时，会遇到许多需要战略管理的业务风险。这...
-
一手借东风，Reddit把用户「卖」了个好价钱；AI增强搜索工具清单(私藏版)；2024年Star飙升的LLM学习路线图；AIGC教育行业全景报告 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🉑 国产大模型进入生态构建阶段，纷纷出炉开发者激励计划 https://www.moonshot.cn 2月5日，月之暗面 Moonsho...
-
Mac本地部署大模型体验AIGC能力
介绍 随着ChatGPT的横空出世，国内互联网大厂、创业公司纷纷加了AIGC赛道，不断推出各种大模型，而这些大模型由于规模庞大、结构复杂，往往包含了数十亿至数千亿的参数。这些模型在训练阶段，一般需要使用高效能的GPU集群训练数十天时间，在推理阶段，一般...
-
AIGC基础：大型语言模型 (LLM) 为什么使用向量数据库，嵌入(Embeddings)又是什么？
嵌入： 它是指什么？嵌入是将数据（例如文本、图像或代码）转换为高维向量的数值表示。这些向量捕捉了数据点之间的语义含义和关系。可以将其理解为将复杂数据翻译成 LLM 可以理解的语言。 为什么有用？原始数据之间的相似性反映在高维空间中对应向量之间的距离上。...
-
AIGC专题：生成式人工智能在能源和材料领域中的新机遇
今天分享的是AIGC系列深度研究报告：《AIGC专题：生成式人工智能在能源和材料领域中的新机遇》。 （报告出品方：McKinsey & Company） 报告共计：11页 来源：人工智能学派 利用人工智能的力量 Gen Al在加速增长和降...
-
AIGC报告：大模型改变开发及交互环境，处于高速迭代创新周期
今天分享的是AIGC系列深度研究报告：《AIGC报告：大模型改变开发及交互环境，处于高速迭代创新周期》。 （报告出品方：华安证券） 报告共计：64页 LLM大模型爆发的关键节点: 2017年“Transformer”模型的出现 • 在“Tran...
-
Quantitative Analysis: PIM Chip Demands for LLAMA-7B inference
1 Architecture 如果将LLAMA-7B模型参数量化为4bit，则存储模型参数需要3.3GB。那么，至少PIM chip 的存储至少要4GB。 AiM单个bank为32MB，单个die 512MB，至少需要8个die的芯片。 8个die...
-
借助知识图谱和Llama-Index实现基于大模型的RAG
幻觉是在处理大型语言模型（LLMs）时常见的问题。LLMs生成流畅连贯的文本，但经常产生不准确或不一致的信息。防止LLMs中出现幻觉的一种方法是使用外部知识源，如提供事实信息的数据库或知识图谱。 矢量数据库和知识图谱使用不同的方法来存储和表示数据。矢量数...
-
WhisperFusion：具有超低延迟无缝对话功能的AI系统
WhisperFusion 基于 WhisperLive 和 WhisperSpeech 的功能而构建，在实时语音到文本管道之上集成了大型语言模型 Mistral (LLM 。 LLM 和 Whisper 都经过优化，可作为 TensorRT 引擎高效运...
-
官宣！魅族All in AI首场发布会定档2月29日：致敬乔布斯发布iPhone
快科技2月23日消息，今天，魅族官方宣布将于2月29日19:00举办魅族特别活动，这也是魅族在All in AI”战略公布之后的首场活动。 值得一提的是，魅族通过其强大的AIGC能力生成了一张战略布局图，致敬了乔布斯发布iPhone开创智能手机时代的经典场...
-
OpenAI工程师必备经典《苦涩的教训》，原来20多年前就有了原型
OpenAI 推出视频生成模型 Sora 已经一周的时间了，热度不减，作者团队还在持续放出让人眼前一亮的视频。比如「一群爱冒险的小狗探索天空废墟的电影预告片」，Sora 一次生成并自己完成剪辑。 当然，一个个生动、逼真的 AI 视频让人们好奇为什么是 O...
-
ChatGPT突然疯了，意外输出震惊网友！OpenAI官方回应：token预测是根源
ChatGPT突然疯了！失去理智！精神错乱！ ——一大批ChatGPT用户炸了锅。 周二，「ChatGPT发疯」各种讨论话题纷纷刷榜Reddit，HN等各大社交平台。 网友表示，「我收到了ChatGPT有史以来最诡异的回复」。 随后，OpenAI...
-
清华叉院、理想提出DriveVLM，视觉大语言模型提升自动驾驶能力
与生成式 AI 相比，自动驾驶也是近期 AI 最活跃的研究和开发领域之一。要想构建完全的自动驾驶系统，人们面临的主要挑战是 AI 的场景理解，这会涉及到复杂、不可预测的场景，例如恶劣天气、复杂的道路布局和不可预见的人类行为。 现有的自动驾驶系统通常包括...
-
爆火Sora背后的技术，一文综述扩散模型的最新发展方向
为了使机器具有人类的想象力，深度生成模型取得了重大进展。这些模型能创造逼真的样本，尤其是扩散模型，在多个领域表现出色。扩散模型解决了其他模型的限制，如 VAEs 的后验分布对齐问题、GANs 的不稳定性、EBMs 的计算量大和 NFs 的网络约束问题。因...
-
模型融合、混合专家、更小的LLM，几篇论文看懂2024年LLM发展方向
在过去的 2023 年中，大型语言模型（LLM）在潜力和复杂性方面都获得了飞速的发展。展望 2024 年的开源和研究进展，似乎我们即将进入一个可喜的新阶段：在不增大模型规模的前提下让模型变得更好，甚至让模型变得更小。 现在，2024 年的第一个月已经过去...
-
谷歌最新开源的 Gemma 模型，秒杀 Llma-2！
Gemma 是什么 Gemma 是一个轻量级、最先进的开放式模型系列，采用了与创建 Gemini 模型相同的研究和技术。Gemma 由 Google DeepMind 和 Google 的其他团队共同开发，其灵感来源于双子座，名字反映了拉丁语 gemm...
-
Karpathy离职OpenAI，首发2小时AI大课！从头开始构建GPT分词器
离职OpenAI的技术大神karpathy，终于上线了2小时的AI大课。 ——「让我们构建GPT Tokenizer（分词器）」。 其实，早在新课推出两天前，karpathy在更新的GitHub项目中，就预告了这件事。 这个项目是minbpe——专为...
-
今年AI可能在三个重要方面影响网络安全
从超强的社交攻击到AI驱动的个人电脑，本文探讨了AI今年将如何重塑网络安全。 最近的AI进步为网络安全捍卫者和恶意行为者提供了新的工具和能力，网络犯罪分子已经开始探索AI如何加强攻击，并以新一代快速射击威胁的企业为目标，但AI也可以被永远利用——安全团...
-
谷歌VideoPoet负责人蒋路跳槽TikTok！对标Sora，AI视频模型大战在即
离职OpenAI的技术大神karpathy，终于上线了2小时的AI大课。 ——「让我们构建GPT Tokenizer（分词器）」。 图片 其实，早在新课推出两天前，karpathy在更新的GitHub项目中，就预告了这件事。 图片 这个项目是minbpe...
-
生成式AI智能体之间的秘密串通：一场隐藏的危机，你准备好了吗？
大型语言模型（LLM）的能力增强，开辟了一组通信生成AI智能体解决联合任务的应用程序。这对未经授权的信息共享或其他不必要的智能体协调形式带来了隐私和安全挑战。现代隐写技术可能会使这种动态难以检测。通过借鉴人工智能和安全文献中的相关概念，全面正式化了生成人...
-
大语言模型之LlaMA系列-LlaMA 2及LlaMA_chat(下)
多转一致性的系统消息 - System Message for Multi-Turn Consistency 在对话设置中，某些指示应适用于所有对话轮次。 例如，简洁地响应，或"充当"某个公众人物。当我们向Llama 2-Chat提供此类指示时，后...
-
都在搞端到端，试问端到端自动驾驶的基石到底是什么？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 基础模型的出现彻底改变了自然语言处理和计算机视觉领域，为其在自动驾驶（AD）中的应用铺平了道路。这项调查对40多篇研究论文进行了全面回顾，展示了基础模型在增强AD中的...
-
单GPU就能压缩模型，性能不变参数少25%！微软提出模型稀疏化新方法
众所周知，对于大语言模型来说，规模越大，所需的算力越大，自然占用的资源也就越多。 研究人员于是乎把目光转到了这片领域，即模型的稀疏化（Sparsification）。 今天要介绍的SliceGPT，则可以实现模型的事后稀疏。也就是说，在一个模型训练完了以...
-
Karpathy新视频又火了：从头构建GPT Tokenizer
技术大神卡帕西离职OpenAI以后，营业可谓相当积极啊。 这不，前脚新项目刚上线，后脚全新的教学视频又给大伙整出来了： 这次，是手把手教咱构建一个GPT Tokenizer（分词器），还是熟悉的时长（足足2小时13分钟）。 Ps. 上次讲课还是俩月前的...
-
2024 年亟需解决的AI引擎和软件开发安全问题
作者 | JFrog大中华区总经理董任远 随着AI应用的规模不断扩大以及大语言模型（LLM）的商品化，开发者越来越多地承担起将人工智能（AI）和机器学习（ML）模型与软件更新或新软件一起打包的任务。虽然AI/ML在创新方面大有可为，但同时也加剧了人们的...
-
四个优秀AI Agent开源项目，谈一谈大模型、人工智能代理
什么是AI Agent？ 现在我们与大模型的互动，一般的过程是先输入一个提示词，之后，大模型根据输入内容进行计算并响应。每次想要得到一个新的输出，我们就必须再提供一个提示词。这个过程有点麻烦，因为总是要有人来驱动。 AI Agent（人工智能代理）则以不...
-
深度学习在时间序列预测的总结和未来方向分析
2023年是大语言模型和稳定扩散的一年，时间序列领域虽然没有那么大的成就，但是却有缓慢而稳定的进展。Neurips、ICML和AAAI等会议都有transformer 结构(BasisFormer、Crossformer、Inverted transf...
-
Llama深入浅出
前方干货预警：这可能是你能够找到的最容易懂的最具实操性的学习开源LLM模型源码的教程。 本例从零开始基于transformers库逐模块搭建和解读Llama模型源码(中文可以翻译成羊驼 。 并且训练它来实现一个有趣的实例：两数之和。 输入...
-
企业数据在生成人工智能中的关键作用
大量基于GenAI的工具和应用涌入市场。其中一些应用非常聪明且富有创意，但它们大多是ChatGPT等应用背后的大型语言模型(LLM 的包装器。这并不是要贬低LLM的语言、概念和单词关系知识可以提供新的效率和生产力的数千种潜在场景。 但LLM和ChatGP...
-
英伟达NeMo框架在AI领域的综合应用与优势总结
一、NeMo 框架介绍 NVIDIA NeMo 是基于 PyTorch 和 PyTorch Lightning 的一个开源训练框架，源代码完全公开在 GitHub 上。NeMo 的主要目标是使 AI 开发者能够快速构建对话式 AI 模型并开发相关应用。...
-
10倍英伟达GPU：大模型专用芯片一夜成名，来自谷歌TPU创业团队
我们知道，大模型到 GPT-3.5 这种千亿体量以后，训练和推理的算力就不是普通创业公司所能承担的了，人们用起来速度也会很慢。 但自本周起，这种观念已成为历史。 有名为 Groq 的初创公司开发出一种机器学习处理器，据称在大语言模型任务上彻底击败了 GP...
-
大模型最快推理芯片一夜易主：每秒500tokens干翻GPU！谷歌TPU人马打造，喊话奥特曼：你们也太慢了
太快了太快了。 一夜间，大模型生成已经没什么延迟了……来感受下这速度。 ，时长00:06 眼花缭乱了吧，生成速度已经接近每秒500 tokens。 还有更直观的列表对比，速度最高能比以往这些云平台厂商快个18倍吧。 （这里面还有个熟悉的身影：Lepton...
-
在Sora引爆视频生成时，Meta开始用Agent自动剪视频了，华人作者主导
这几天，AI 视频领域异常地热闹，其中 OpenAI 推出的视频生成大模型 Sora 更是火出了圈。而在视频剪辑领域，AI 尤其是大模型赋能的 Agent 也开始大显身手。 随着自然语言被用来处理与视频剪辑相关的任务，用户可以直接传达自己的意图，从而不需...
-
【AIGC】大语言模型
大型语言模型，也叫大语言模型、大模型（Large Language Model，LLM；Large Language Models，LLMs） 什么是大型语言模型 大型语言模型（LLM）是指具有数千亿（甚至更多）参数的语言模型，它们是通过在大规模文本数...
-
比GPT-4快18倍，世界最快大模型Groq登场！每秒500 token破纪录，自研LPU是英伟达GPU 10倍
【新智元导读】卷疯了!世界最快的大模型Groq一夜之间爆火，能够每秒输出近500个token。如此神速的响应，背后全凭自研的LPU。 一觉醒来，每秒能输出500个token的Groq模型刷屏全网。 堪称是「世界上速度最快的LLM」! 相比之下，ChatG...
-
Groq大模型推理芯片每秒500tokens超越GPU，喊话三年超过英伟达
Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轰动，超越了传统GPU和谷歌TPU。该芯片由初创公司Groq研发，其团队成员来自谷歌TPU，包括创始人兼CEO Jonathan Ross，曾设计实现第一代TPU芯片的核心元件。 Groq采...
-
Sora给中国AI带来的真实变化
OpenAI的最新技术成果——文生视频模型Sora，在春节假期炸裂登场，令海内外的AI从业者、投资人彻夜难眠。 如果你还没有关注到这个新闻，简单介绍一下:Sora是OpenAI使用超大规模视频数据，训练出的一个通用视觉模型，可以理解和模拟运动中的物理世界，...
-
GPT-4可能也在用的推测解码是什么？一文综述前世今生和应用情况
众所周知，大型语言模型（LLM）的推理通常需要使用自回归采样，这个推理过程相当缓慢。为了解决这个问题，推测解码（Speculative Decoding）已经成为 LLM 推理的一种新型采样方法。这种方法在每个采样步骤中，会先预测几个可能的 token，...
-
大模型幻觉的起因、评估及落地场景下基于知识图谱的缓解策略探索
针对大模型落地应用的问题，当前行业内普遍的做法是利用大模型进行问答，但在实际应用中，这种方法往往效果不佳，很多问题的答案并不具有实际参考价值。作为算法人员，我们需要深入了解问题的来源，对于大模型产生的幻觉问题，我们需要明确其定义，是主观的还是客观的，并探...
-
离开OpenAI的大神卡帕西「开课了」：新项目日增千星，还是熟悉的min代码风
大神Karpathy从OpenAI离职，原本扬言要大休一周。 图片 但转眼，新项目就已上线GitHub，日增上千星的那种。 图片 还是熟悉的卡式配方： 74行Python代码搞定大模型标记化（tokenization）中常用的BPE（Byte Pair...
-
2024年IT行业“龙抬头”：AI和网络安全是最大热点
IDC指出，2024年的IT市场充满机遇，尽管通胀和经济等因素带来隐忧，但整体增长势头强劲。数字化的浪潮推动着对结构化数据和人工智能(AI 的需求，企业逐渐意识到数据带来的巨大价值，以及利用AI和自动化管理数据、进行高级数据处理的重要性。 IDC市场研...
-
AI自动化标注崛起，数据标注员要失业了？
在数据标注行业流行着一句话：“有多少智能，就有多少人工”。 由于需要标注的数据规模庞大且成本较高，一些互联网巨头及一些AI公司很少自己设有标注团队，大多交给第三方数据服务公司或者数据标注团队来做。 这也衍生出了专为AI而生的人力密集型的数据标注产业链。...
-
Meta发布全新AI自动剪辑视频工具Agents LAVE
Agents LAVE是Meta发布的全新AI自动剪辑视频工具，采用AI技术实现简单短视频和广告视频的自动生成，无需人工干预。工具界面包括输入提示、素材库和视频时间轴，而Agents设计则指导编辑行动计划的执行。 论文地址:https://arxiv.o...
-
意外！明星公司 Jasper 裁员；SD进阶教程之混合语法；2份LLM进展必读报告；谷歌Bard支持中文且免费 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🤖 AIGC 领域的当红炸子鸡 Jasper 裁员，转头聚焦AI营销 Jasper是一家美国人工智能公司，乘着 AIGC 的东风迅速崛起，成为AI助手...
-
如何使用MyScale将知识库引入OpenAI的GPT
译者 | 李睿 审校 | 重楼 2023年11月6日，OpenAI公司对外发布了ChatGPT。在这个无代码平台上，专业(或业余 开发人员可以使用工具和提示构建定制的GPT或聊天机器人，有效地改变他们与OpenAI GPT的交互。以前的交互（LangCh...
-
Nomic AI 发布首个完全开源的长文本嵌入模型，超越 OpenAI Ada-002在各项基准测试中的表现
在自然语言处理（NLP）领域不断发展的背景下，理解和处理广泛的文本内容至关重要。最近的一些进展显著提升了语言模型的能力，特别是通过文本嵌入的发展。这些嵌入成为许多应用的基础，包括大型语言模型(LLMs 的检索增强生成和语义搜索。它们将句子或文档转换为低维向...
-
使用LlamaIndex和ChatGPT的无代码检索增强生成（RAG）
检索增强生成(RAG 是使用大型语言模型(LLM 的关键工具。RAG使LLM能够将外部文档合并到它们的响应中，从而更紧密地与用户需求保持一致。这个功能在传统上使用LLM犹豫不决的领域尤其有益，尤其是在事实很重要的时候。 自从ChatGPT和类似的LLM推...
-
训不动Mixtral，要不试试LLaMA-MoE？
深度学习自然语言处理 原创作者：cola 随着各种各样增强版LLaMA的出现，Mixture-of-Expert(MoE 类模型越来越受大家关注。而LLaMA-MoE正是基于LLaMA系列和SlimPajama的MoE模型。它显著的一个好处...
-
如何免费访问和使用Gemini API？
Gemini是谷歌开发的一个新模型。有了Gemini可以为查询提供图像、音频和文本，获得几乎完美的答案。 我们在本教程中将学习Gemini API以及如何在机器上设置它。我们还将探究各种Python API函数，包括文本生成和图像理解。 Gemini A...