-
向英伟达发起挑战的Groq是什么来头?简单科普新型AI芯片LPU
在如今的人工智能领域,「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU,连 OpenAI 都不能轻易升级 ChatGPT。 不过最近,GPU 的地位也在经受挑战:一家名为 Groq 的初创公司开发出了一种新的 AI 处理器...
-
xiunobbs采集技巧与最佳实践
由于“xiunobbs采集”似乎是一个特定的主题或术语,但在我的训练数据中没有明确的上下文或广泛认可的定义,因此我将根据一般的理解和可能的应用场景来构建这篇文章。请注意,这篇文章将是假设性的,并且会努力达到1500字的要求。---标题:探索xiunobbs...
-
RNN效率媲美Transformer,谷歌新架构两连发:同等规模强于Mamba
这一次,谷歌 DeepMind 在基础模型方面又有了新动作。 我们知道,循环神经网络(RNN)在深度学习和自然语言处理研究的早期发挥了核心作用,并在许多应用中取得了实功,包括谷歌第一个端到端机器翻译系统。不过近年来,深度学习和 NLP 都以 Transf...
-
从AI推理性能优化角度看LLaMA的模型结构和源码
本篇文章讲讲LLaMA的结构,已经有很多文章已经对LLaMA在一些结构上任务表现上做了一些解析,本文主要从优化的角度、实现kernel的角度解析一下LLaMA,读者事先对transformer的结构有基本认识最好。本文首发于我的公众号“AI不止算法”,文章...
-
如何基于 Arthur Bench 进行 LLM 评估 ?
Hello folks,我是 Luga,今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 评估 。 一、传统文本评估面临的挑战 近年来,随着大型语言模型(LLM 的快速发展和改进,传统的文本评估方法在某些方面可能已经不再适用。在文本评估...
-
模型偏好只与大小有关?上交大全面解析人类与32种大模型偏好的定量组分
在目前的模型训练范式中,偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中,偏好数据通常被用作对齐(alignment)时的训练优化目标,如基于人类或 AI 反馈的强化学习(RLHF/RLAIF)或者直接偏好优化(DPO),而在模型评估中,由于任务...
-
AIGC 为何能火爆全网,赋能智能时代?
Hi,大家好,我是半亩花海。2023年,人工智能新浪潮涌起,AIGC 火爆全网,不断赋能各大行业。从短视频平台上火爆的“AI 绘画”,到智能聊天软件 ChatGPT,都引起了大家的广泛关注。那么 AIGC 到底是什么?为什么如此引人关注?AIGC 能产生什...
-
大模型的未来:如何推动AIGC技术的进一步发展
1.背景介绍 人工智能(AI 和大数据技术的发展已经进入了一个新的高潮,尤其是自然语言处理(NLP 和计算机视觉(CV 等领域的突破性进展。随着大模型(such as GPT-3, DALL-E, and CLIP 的出现,人工智能生成(AIGC...
-
京东电商知识图谱与AIGC落地
导读 本文将分享如何将知识图谱应用到电商场景下的 AIGC。 文章将围绕下面五个方面进行分享: 1. 导言 2. 基于领域知识图谱的商品文案生成 3. 基于通用知识图谱的商品文案生成 4. 基于领域知识图谱的 LLM 5. 基于通用知识图谱的...
-
中国AIGC技术与应用,发展峰会来啦!
随着技术的快速发展,AIGC正高歌猛进,已经成为推动创新、重塑行业边界的关键力量。AIGC技术利用人工智能算法,如自然语言处理(NLP)和深度学习模型,自动化地生成文字、图片、视频和音频等内容,这些技术不仅在效率上超越了传统的内容创作方法,还在质量、多样性...
-
如何使用生成式人工智能构建实时Slackbot
译者 | 李睿 审校 | 重楼 本文将展示如何使用由Apache NiFi支持的Cloudera DataFlow与IBM WatsonX交互。人工智能实时建立大型语言模型,并且可以使用任何基础模型,例如谷歌FLAN T5 XXL或IBM Granite...
-
知名AI研究者深挖谷歌Gemma:参数不止70亿,设计原则很独特
就在几天前,开源大模型领域迎来了重磅新玩家:谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini,Gemma 更加轻量,同时保持免费可用,模型权重也一并开源了,且允许商用。 谷歌发布了包含两种权重规模的模型:Gemma 2B 和 Gemma...
-
当"狂飙"的大模型撞上推荐系统
随着以 ChatGPT 为代表的大模型技术的迅速发展,推荐系统正经历着一场革命性的变革。传统的推荐系统主要基于用户和物品的历史行为数据进行预测,大模型技术的出现,为推荐系统带来了更强的泛化能力和更高的效率,解决了传统推荐系统中的一些难题,如用户和物品...
-
8/8/6/3的Mamba论文,最终还是被ICLR 2024拒了,网友:悬着的心终于死了
几天前,ICLR 2024 的最终接收结果出来了。 大家应该还记得,Mamba 被 ICLR 2024 大会 Decision Pending(待定)的消息在 1 月份引发过一波社区热议。 当时,多位领域内的研究者分析,Decision Pending...
-
【EMNLP 2023】面向Stable Diffusion的自动Prompt工程算法
近日,阿里云人工智能平台PAI与华南理工大学朱金辉教授团队合作在自然语言处理顶级会议EMNLP2023上发表了BeautifulPrompt的深度生成模型,可以从简单的图片描述中生成高质量的提示词,从而使文生图模型能够生成更美观的图像。BeautifulP...
-
LangChain原理学习笔记
最新越发觉得AI的发展,对未来是一场革命,LangChain已经在工程设计上有了最佳实践,类似于AI时代的编程模型或编程框架,有点Spring框架的意思。之前在LangChain上也有些最佳实践,所以在这里分享记录下。 L...
-
AIGC报告:大模型改变开发及交互环境,处于高速迭代创新周期
今天分享的是AIGC系列深度研究报告:《AIGC报告:大模型改变开发及交互环境,处于高速迭代创新周期》。 (报告出品方:华安证券) 报告共计:64页 LLM大模型爆发的关键节点: 2017年“Transformer”模型的出现 • 在“Tran...
-
OpenAI和谷歌,AI对线中的飞驰人生
到底什么时候,才能有一家公司赶超OpenAI?这句问题,想必是过去一年多来,萦绕在不少读者心中的困惑。 如果全世界只有一家公司能赶超OpenAI,谷歌应该是最有希望的选手。 同为北美AI巨头的谷歌,与OpenAI有着相同的AGI目标、世界级的技术人才、全球...
-
NLP独角兽被曝停工停产!融了10亿仍难造血,大模型热浪中更难活了
明星NLP公司突发消息:停工停产6个月。 最新流传一张截图显示,竹间智能即日起(2月20日起)部分部门和岗位停工重组。 原因也很直接:由于公司所处经营环境艰难,受到多方不利影响。 一时间让不少网友觉得意外,上一波AI公司快要没饭吃了? 要说一年前,...
-
都在搞端到端,试问端到端自动驾驶的基石到底是什么?
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 基础模型的出现彻底改变了自然语言处理和计算机视觉领域,为其在自动驾驶(AD)中的应用铺平了道路。这项调查对40多篇研究论文进行了全面回顾,展示了基础模型在增强AD中的...
-
Java ChatGPT和文心一言是两个不同的工具,它们有着不同的用途和功能
Java ChatGPT和文心一言是两个不同的工具,它们有着不同的用途和功能。 Java ChatGPT:ChatGPT是由OpenAI开发的自然语言处理模型,可以进行对话生成。它基于深度学习技术,通过训练大量的数据来理解用户输入并生成相应的回答。Ja...
-
英伟达NeMo框架在AI领域的综合应用与优势总结
一、NeMo 框架介绍 NVIDIA NeMo 是基于 PyTorch 和 PyTorch Lightning 的一个开源训练框架,源代码完全公开在 GitHub 上。NeMo 的主要目标是使 AI 开发者能够快速构建对话式 AI 模型并开发相关应用。...
-
【AIGC】大语言模型
大型语言模型,也叫大语言模型、大模型(Large Language Model,LLM;Large Language Models,LLMs) 什么是大型语言模型 大型语言模型(LLM)是指具有数千亿(甚至更多)参数的语言模型,它们是通过在大规模文本数...
-
揭秘Sora技术路线:核心成员来自伯克利,基础论文曾被CVPR拒稿
最近几天,据说全世界的风投机构开会都在大谈 Sora。自去年初 ChatGPT 引发全科技领域军备竞赛之后,已经没有人愿意在新的 AI 生成视频赛道上落后了。 在这个问题上,人们早有预判,但也始料未及:AI 生成视频,是继文本生成、图像生成以后技术持续发...
-
机器学习是联络中心的未来
机器学习在联络中心的应用将改变游戏规则。 企业必须利用这项技术,让已经感到不满的客户在与联络中心打交道时不再那么乏味。 联络中心的成功与否或多或少取决于两个关键绩效指标——平均呼叫处理时间(AHT 和客户满意度评级。这意味着客户拨打的每个电话不仅必须快...
-
2024年应该关注的十大人工智能创新
人工智能(AI 不再只是一个流行词,它已成为我们日常生活的重要组成部分。人工智能在去年深入地融入我们社会的各个方面,改变我们的生活方式、工作方式以及与技术互动的方式。 今年是大年初一,我们将探讨2024年可能出现的十大人工智能创新,拥抱这些即将到来的人...
-
生成式人工智能(AIGC)之最全详解图解
生成式人工智能(AIGC)之最全详解图解 1. AIGC的发展历程 1.1 AIGC演化重要时间节点 AIGC发展历程图 OpenAI大语言模型发展进程 1.2技术推进路线 2.AIGC技术场景 2.1 技术场景 3.1AIGC相关应用...
-
Nomic AI 发布首个完全开源的长文本嵌入模型,超越 OpenAI Ada-002在各项基准测试中的表现
在自然语言处理(NLP)领域不断发展的背景下,理解和处理广泛的文本内容至关重要。最近的一些进展显著提升了语言模型的能力,特别是通过文本嵌入的发展。这些嵌入成为许多应用的基础,包括大型语言模型(LLMs 的检索增强生成和语义搜索。它们将句子或文档转换为低维向...
-
训不动Mixtral,要不试试LLaMA-MoE?
深度学习自然语言处理 原创作者:cola 随着各种各样增强版LLaMA的出现,Mixture-of-Expert(MoE 类模型越来越受大家关注。而LLaMA-MoE正是基于LLaMA系列和SlimPajama的MoE模型。它显著的一个好处...
-
LLaMA 入门指南
LLaMA 入门指南 LLaMA 入门指南 LLaMA的简介 LLaMA模型的主要结构 Transformer架构 多层自注意力层 前馈神经网络 Layer Normalization和残差连接 LLaMA模型的变体 Base版本 La...
-
AIGC到底是个啥? AI和AIGC的区别有哪些
一、AIGC到底是个啥? 说来说去,到底什么是AIGC呢?AIGC是人工智能生成内容的缩写,是一种基于生成对抗网络(GAN)、大型预训练模型等人工智能技术的方法,通过对已有数据进行学习和模式识别,以适当的泛化能力生成相关内容的技术,AIGC的应用领域有很...
-
文心一言 ChatGPT 实测对比
期待已久之后,终于拿到了文心一言的邀请码,第一时间进行了测试。最后面会讲一下如何获取邀请码。 先说一下结论,很远,但是又不远。 很远是因为:我个人测试得出来的实际效果和ChatGPT差距还很大,下面我会放一些对比。当然也有很多正面例子,回答和Ch...
-
ChatGPT和Whisper的API基本看点
ChatGPT Official API Learning 今天 OpenAI 开放了 ChatGPT 背后的 GPT-3.5 的模型 API,模型代号为 Turbo,其定价甚至比此前的 Davinci 都要便宜,1000 tokens 仅为 0.2...
-
Whisper
文章目录 使后感 Paper Review 个人觉得有趣的 Log Mel spectrogram & STFT Training cross-atte...
-
用通俗易懂的方式讲解:使用Llama-2、PgVector和LlamaIndex,构建大模型 RAG 全流程
近年来,大型语言模型(LLM)取得了显著的进步,然而大模型缺点之一是幻觉问题,即“一本正经的胡说八道”。其中RAG(Retrieval Augmented Generation,检索增强生成)是解决幻觉比较有效的方法。 本文,我们将深入研究使用trans...
-
ChatGPT研究报告:AIGC带来新一轮范式转移
本文约4000字,目标是快速建立AIGC知识体系,含有大量的计算专业名词,建议阅读同时扩展搜索。 一、行业现状 1、概念界定 区别于PGC与UGC不同的,AIGC是利用人工智能技术自动生成内容的新型生产方式。 2、数据模...
-
上海人工智能实验室发布LLaMA-Adapter | 如何1小时训练你的多模态大模型用于下游任务
本文首发于微信公众号 CVHub,未经授权不得以任何形式售卖或私自转载到其它平台,违者必究! Title: LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-...
-
GitHub Copilot 与 ChatGPT:哪种工具更适合软件开发?
GitHub Copilot 与 ChatGPT:哪种工具更适合软件开发? 比较 ChatGPT 与 GitHub Copilot 编程语言 功能性 定制化 训练数据 上下文准确性 ChatGPT 与 GitHub Copilot:哪个更适...
-
详解各种LLM系列|LLaMA 1 模型架构、预训练、部署优化特点总结
作者 | Sunnyyyyy 整理 | NewBeeNLP https://zhuanlan.zhihu.com/p/668698204 后台留言『交流』,加入 NewBee讨论组 LLaMA 是Meta在2...
-
AIGC 语言大模型研究报告
AIGC 研究报告 这份报告可以被划分为两大部分。 第一部分集中于ChatGPT的发展和运作原理,为了增强理解,我们将先探讨自然语言处理的历史发展。 第二部分主要聚焦于由大模型引领的新的研究领域,并深入介绍在每个领域中可以进行的具体研究工作及思...
-
中文LLaMa和Alpaca大语言模型开源方案 | 扩充中文词表 & 针对中文语料进行高效编码
欢迎关注『CVHub』官方微信公众号! Title: Efficient and Effective Text Encoding for Chinese Llama and AlpacaPDF: https://arxiv.org/pdf/23...
-
AIGC:人工智能生成技术的新兴领域
1.背景介绍 1. 背景介绍 人工智能生成技术(AIGC 是一种利用机器学习和自然语言处理等技术来自动生成自然语言文本或其他形式的内容的技术。这种技术在近年来取得了显著的进展,为各种应用场景提供了强大的支持。本文将从背景、核心概念、算法原理、...
-
Whisper对于中文语音识别与转写中文文本优化的实践(Python3.10)
阿里的FunAsr对Whisper中文领域的转写能力造成了一定的挑战,但实际上,Whisper的使用者完全可以针对中文的语音做一些优化的措施,换句话说,Whisper的“默认”形态可能在中文领域斗不过FunAsr,但是经过中文特殊优化的Whisper就未必...
-
2023年的深度学习入门指南(19) - LLaMA 2源码解析
2023年的深度学习入门指南(19 - LLaMA 2源码解析 上一节我们学习了LLaMA 2的补全和聊天两种API的使用方法。本节我们来看看LLaMA 2的源码。 补全函数text_completion源码解析 上一节我们讲了LLaMA 2的...
-
chatglm2-2b+sdxl1.0+langchain打造私有AIGC(一)
一、背景及目标 在ChatGPT爆火之后,我对AI技术也开始关注,一是出于好奇,而是出于危机。想必对于应用开发人员来说从“面面向对象编程”转成“面向AI编程”也是极好的。 最初的时候我也是抱着试一试的心态,开始魔法上网使用chatgpt,然后尝试调用o...
-
第一代AIGC硬件悄然爆发
文 | 智能相对论 作者 | 叶远风 看起来,这可能是一副正常的黑框眼镜,你戴上去彬彬有礼、斯斯文文; 实际上,它里边还装了一个“小伙伴”,你随时可以与它交流,谈天说地或者提出各种问题接受它的帮助;你化身为了科技极客,成为科幻片里带着有超能力的“...
-
AIGC知识速递——Google的Bert模型是如何fine-tuning的?
Look!👀我们的大模型商业化落地产品 📖更多AI资讯请👉🏾关注 Free三天集训营助教在线为您火热答疑👩🏼🏫 选择合适的预训练模型: 从预训练的BERT模型开始,例如Google 提供的BERT-base 或 BERT-large。这些模型已经...
-
深入探索 Stable Diffusion:AI图像创新的新纪元
深入探索 Stable Diffusion:AI图像创新的新纪元 介绍 Stable Diffusion 的核心功能和应用场景 Stable Diffusion 架构解析 深入 Stable Diffusion 的关键组件 变分自编码器(VA...
-
Pika:AIGC新秀,视频生成产业或迎来GPT时刻
今天分享的AIGC系列深度研究报告:《Pika:AIGC新秀,视频生成产业或迎来GPT时刻》。 (报告出品方:中泰证券) 报告共计:11页 Pika:专注Text to Video生成场景,支持3D和动漫 ◼ Pika成立于2023年5月,是一...
-
MedicalGPT:基于LLaMA-13B的中英医疗问答模型(LoRA)、实现包括二次预训练、有监督微调、奖励建模、强化学习训练[LLM:含Ziya-LLaMA]。
项目设计集合(人工智能方向):助力新人快速实战掌握技能、自主完成项目设计升级,提升自身的硬实力(不仅限NLP、知识图谱、计算机视觉等领域):汇总有意义的项目设计集合,助力新人快速实战掌握技能,助力用户更好利用 CSDN 平台,自主完成项目设计升级,提升自身...