-
一文教你在MindSpore中实现A2C算法训练
本文分享自华为云社区《MindSpore A2C 强化学习》,作者:irrational。 Advantage Actor-Critic (A2C 算法是一个强化学习算法,它结合了策略梯度(Actor)和价值函数(Critic)的方法。A2C算法在许多强...
-
AIGC从入门到实战:AI 生成思维导图,一分钟完成原先需要一个月才能完成的任务
AIGC从入门到实战:AI生成思维导图,一分钟完成原先需要一个月才能完成的任务 1.背景介绍 1.1 思维导图的重要性 思维导图是一种将信息以图像和关键词的形式进行可视化表达的有效工具。它能够帮助我们梳理思路、组织知识、激发创意,并且易于记忆和理解。...
-
OpenAI前员工预测:2027年AGI降临!GPT智商飙升,4年从幼儿园蹿到高中生
AGI到底是科技公司画的大饼,还是可预测的未来? 几天前,Anthropic一名25岁的高管在博客上发文,表示自己已经准备好了3年后退休,让AI取代自己的工作。 最近,OpenAI前员工的一篇博客文章也有类似的观点。 图片 他不仅认为AGI很可能实现,而...
-
从提示工程到代理工程:构建高效AI代理的策略框架概述
自ChatGPT推出以来,仅仅一年多的时间里,公众对于“人工智能”(AI)的认识已经发生了根本性的变化。这种变化部分源于公众意识的提高,更多则是基于这样一个认识:AI驱动的系统不仅可能,而且可能已经具备了与人类相当的能力和表现。ChatGPT不仅是AI能...
-
使用Python实现深度学习模型:序列到序列模型(Seq2Seq)
本文分享自华为云社区《使用Python实现深度学习模型:序列到序列模型(Seq2Seq)》,作者: Echo_Wish。 序列到序列(Seq2Seq)模型是一种深度学习模型,广泛应用于机器翻译、文本生成和对话系统等自然语言处理任务。它的核心思想是将一个序...
-
使用Rag和Sem-Rag提供上下文增强AI编码助手
通过将检索增强生成和语义记忆纳入 AI 编码助手,提升开发人员的生产力、效率和准确性。 译自Enhancing AI Coding Assistants with Context Using RAG and SEM-RAG,作者 Janakiram MS...
-
清华大学与智谱AI重磅开源 GLM-4:掀起自然语言处理新革命
自 2023 年 3 月 14 日开源 ChatGLM-6B 以来,GLM 系列模型受到了广泛的关注和认可。特别是在 ChatGLM3-6B 开源之后,开发者对智谱 AI 推出的第四代模型充满了期待。而这一期待,随着 GLM-4-9B 的发布,终于得到了...
-
一次copilot问题处理
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言 一、问题描述 二、解决步骤 1.询问关键词 2.询问问题 3.询问解决方案 总结 前言 记录一次使用copilot解决问题的流程,以...
-
智谱AI Open Day:升级清言App、发布GLM-4开源模型、新一代MaaS平台,大模型商业化迎来“下一站”
“描绘宏大未来愿景的同时让更多人切身体会到大模型的强大能力,让大模型技术从炫酷的天空当中真正落到地面上、落到实处,是每一个大模型公司必须思考的问题。”——智谱 AI CEO 张鹏 6月5日,智谱AI Open Day在UCCA Lab北京艺术空间举办。...
-
北京9岁小学生,已经用AI出书了!罗永浩围观:有事找不到我找AI
一个年仅9岁的男孩,利用AI智能体,竟然出版了一本书! 他叫许萌萌,是来自北京市第二实验小学的一名三年级学生。 萌萌与AI智能体共创的书叫做《AI少年——火星生存大挑战》,是一本科普小说,讲述了发生在火星上的“密室逃脱”的故事。 而他所选用的AI,正...
-
使用LangChain和Llama-Index实现多重检索RAG
大家好,在信息检索的世界里,查询扩展技术正引领着一场效率革命。本文将介绍这一技术的核心多查询检索,以及其是如何在LangChain和Llama-Index中得到应用的。 1.查询扩展 查询扩展是一种信息检索技术,通过在原始查询的基础上增加相关或同义的词...
-
RAG 架构如何克服 LLM 的局限性
检索增强生成促进了 LLM 和实时 AI 环境的彻底改造,以产生更好、更准确的搜索结果。 译自How RAG Architecture Overcomes LLM Limitations,作者 Naren Narendran。 在本系列的第一部分中,我重...
-
智谱AI宣布开源 GLM 第四代模型 GLM-4-9B
GLM 技术团队于2023年3月14日开源了 ChatGLM-6B,引起了广泛的关注和认可。随后又开源了 ChatGLM3-6B,开发者对 GLM 第四代模型的开源充满期待。经过近半年的探索工作,GLM 技术团队推出了第四代 GLM 系列开源模型:GLM-...
-
大模型到底有没有智能?一篇文章给你讲明明白白
生成式人工智能 (GenAI[1] 和大语言模型 (LLM[2] ,这两个词汇想必已在大家的耳边萦绕多时。它们如惊涛骇浪般席卷了整个科技界,登上了各大新闻头条。ChatGPT,这个神奇的对话助手,也许已成为你形影不离的良师益友。 然而,在这场方兴未艾的...
-
迈向『闭环』| PlanAgent:基于MLLM的自动驾驶闭环规划新SOTA!
本文经自动驾驶之心公众号授权转载,转载请联系出处。 中科院自动化所深度强化学习团队联合理想汽车等提出了一种新的基于多模态大语言模型MLLM的自动驾驶闭环规划框架—PlanAgent。该方法以场景的鸟瞰图和基于图的文本提示为输入,利用多模态大语言模型的多...
-
DeepArt和Colorize哪个更适合历史照片上色?AI上色工具使用体验优缺点对比
什么是AI上色? AI上色是一种利用人工智能技术自动为黑白或色彩单调的图像添加颜色的过程。这种技术通过深度学习算法分析图像内容,并根据其理解的颜色分布和上下文关系,自动为图像的不同部分上色,使其看起来更加生动和真实。 AI上色的核心功能 1:自动色彩识...
-
Mamba-2新架构出世一统江湖!普林斯顿CMU华人再出神作,性能狂飙8倍
年前,Mamba被顶会ICLR拒稿的消息曾引起轩然大波。 甚至有研究人员表示:如果这种工作都被拒了,那我们这些「小丑」要怎么办? 这次,新一代的Mamba-2卷土重来、再战顶会,顺利拿下了ICML 2024! 仍是前作的两位大佬(换了个顺序),仍是熟...
-
为什么你的RAG不起作用?失败的主要原因和解决方案
无数企业正在尝试使用检索增强生成(RAG),但在制作这些系统达到生产质量时普遍会感到失望。因为他们的RAG不仅运行效果差,而且对于如何改进和如何进行后续的工作也感到十分的迷茫。 其实阻碍RAG系统的一个关键因素是语义不协调,这是由于任务的预期含义、RA...
-
AmbientGPT有哪些功能免费吗?怎么使用方法详细教程指南
AmbientGPT 是什么? AmbientGPT是一个革命性的编程辅助工具,允许开发者在本地运行GPT- 4 和基础模型,同时能够直接推断屏幕上下文,从而无需手动上传上下文信息,大大提高了代码编写和问题解决的效率。 AmbientGPT 有哪些功...
-
ChatGPT真能记住你的话吗?DeepMind与开源大佬揭示LLM记忆之谜
Django框架的创始人之一、著名开发者Simon Willison最近发表了一篇博客文章,核心观点是——虽然很多LLM看起来有记忆,但本质上是无状态函数。 文章地址:https://simonwillison.net/2024/May/29/trai...
-
开源模型进展盘点:最新Mixtral、Llama 3、Phi-3、OpenELM到底有多好?
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察,也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中,他盘点分析了 4 月份发布的四个主要新模型:Mix...
-
首个智慧城市大模型UrbanGPT,全面开源开放|港大&百度
时空预测技术,迎来ChatGPT时刻。 时空预测致力于捕捉城市生活的动态变化,并预测其未来走向,它不仅关注交通和人流的流动,还涵盖了犯罪趋势等多个维度。目前,深度时空预测技术在生成精确的时空模型方面,依赖于大量训练数据的支撑,这在城市数据不足的情况下显得...
-
AnythingLLM:零成本的私人ChatGPT,支持几乎所有主流大模型
用过大模型的都知道,我们不怕它不回答,就怕它乱回答,特别是一眼还看不出来的那种。即便是最先进的AI模型也会说谎,防不胜防。对企业来说,幻觉,已经成为阻碍大模型应用的严重缺陷性问题。 除了幻觉,通用大模型无法满足企业实际业务需求还涉及到知识局限性、信息安全...
-
AIGC时代之 - 怎样更好的利用AI助手 - 指令工程
爆火的AIGC 2022年11月30日,OpenAI发布ChatGPT 3 2022年12月4 日,ChatGPT 3 已拥有超过一百万用户 2023年各种大语言模型开始火爆全球 GPT们,已经成为了我工作和学习的非常重要的工具。 ChatGPT...
-
7B?13B?175B?解读大模型的参数
大模型也是有大有小的,它们的大小靠参数数量来度量。GPT-3就有1750亿个参数,而Grok-1更是不得了,有3140亿个参数。当然,也有像Llama这样身材苗条一点的,参数数量在70亿到700亿之间。 这里说的70B可不是指训练数据的数量,而是指模型中...
-
不同数据集有不同的Scaling law?而你可用一个压缩算法来预测它
一般而言,训练神经网络耗费的计算量越大,其性能就越好。在扩大计算规模时,必须要做个决定:是增多模型参数量还是提升数据集大小 —— 必须在固定的计算预算下权衡此两项因素。 Scaling law 告诉我们:只要能适当地分配参数和数据,就能在固定计算预算下实...
-
AIGC | AI提示词构建
文章目录 📚BARD提示词构建法 🐇前言 🐇第一步:阐述背景Background 🐇第二步:定义目标Aim 🐇第三步:设定角色Role 🐇第四步:设置要求Demand 📚测试与迭代思路 本文提到的BARD方法来自艾文公开...
-
OpenAI把GPT-4原始版给了他们:研究不微调只靠提示词能走多远
除了OpenAI自己,居然还有别人能用上GPT-4-Base版?? 也就是未经微调的预训练版,还不会对话聊天,只会补全句子的模型。 EPFL(瑞士洛桑联邦理工)团队申请到了访问权限,用于研究“上下文学习足以让大模型跟随指令吗?”。 也就是不用监督微调、...
-
英伟达新研究:上下文长度虚标严重,32K性能合格的都不多
无情戳穿“长上下文”大模型的虚标现象—— 英伟达新研究发现,包括GPT-4在内的10个大模型,生成达到128k甚至1M上下文长度的都有。 但一番考验下来,在新指标“有效上下文”上缩水严重,能达到32K的都不多。 新基准名为RULER,包含检索、多跳追踪、...
-
时间序列分析的表示学习时代来了?
表示学习作为深度学习中的核心,近期越来越多的被应用到了时间序列领域中,时间序列分析的表示学习时代已经来了。本文为大家带来了2020年以来顶会的5篇时间序列表示学习相关的核心工作梳理。 1.Unsupervised Scalable Representa...
-
Nvidia发布GeForce RTX增强版,为AI PC数字助手提供支持
Nvidia 在Computex 展会上推出了新的 RTX 技术,为新的 GeForce RTX AI 笔记本电脑提供动力。其中,Project G-Assist 技术演示为 PC 游戏和应用提供上下文感知的帮助。这项技术首次在 Studio Wildca...
-
LLM的「母语」是什么?
大语言模型的「母语」是什么? 我们的第一反应很可能是:英语。 但事实果真如此吗?尤其是对于能够听说读写多种语言的LLM来说。 对此,来自EPFL(洛桑联邦理工学院)的研究人员发表了下面这篇工作来一探究竟: 图片 论文地址:https://arxiv.or...
-
【AIGC调研系列】XTuner、Unsloth方案对比
XTuner和Unsloth都是用于大型语言模型(LLM)训练和微调的工具,但它们在设计理念、技术实现和性能表现上存在一些差异。 技术架构与支持的模型规模: XTuner支持千亿级参数的模型,并能够处理超过百万个tokens的序列。它通过序列...
-
【独家】万字长文带你梳理Llama开源家族:从Llama-1到Llama-3
Datawhale干货 作者:张帆,陈安东,Datawhale成员 引言 在AI领域,大模型的发展正以前所未有的速度推进技术的边界。 北京时间4月19日凌晨,Meta在官网上官宣了Llama-3,作为继Llama-1、Llama-...
-
微信公众号来到AI推荐时代
作为有能力打通整个腾讯内容生态的大模型产品,腾讯元宝的低调出手,已然在行业内引起广泛关注。 5月30日,腾讯混元大模型首个App“腾讯元宝”正式上线,定位为面向C端用户的全能AI助手,目前已登陆各大主流官方应用商店,网页端和小程序端也可以同步体验。 腾讯...
-
一键 input 苹果 OpenELM,零门槛 Llama 3 教程,40+ 优质模型/数据集/教程,建议收藏!...
现在 AI 行业什么最火? 「大模型」一定仍然排在前三甲的位置。 自从 2022 年底 ChatGPT 面世以来,大模型在各行各业已经带来了太多的惊喜,应用场景愈发丰富,同时也带动了相关底层技术的普及与普适化。尤其是在开源模型繁荣发展之下,无...
-
基于 Llama-Index、Llama 3 和 Qdrant,构建一个 RAG 问答系统!
构建一个使用Llama-Index、Llama 3和Qdrant的高级重排-RAG系统 尽管大型语言模型(LLMs)有能力生成有意义且语法正确的文本,但它们面临的一个挑战是幻觉。 在LLMs中,幻觉指的是它们倾向于自信地生成错误答案,制造出看似令人信...
-
真实对比kimi、通义千问、文心一言的写代码能力,到底谁强?
🤖AI改变生活:最近都在说月之暗面的kimi的各项能力吊打国内其他大模型,今天我们真实感受下 kimi、通义千问、文心一言的根据需求写代码的能力。 测评结果让人震惊! kimi kimi编程过程 我们先看一下热捧的月之暗面的kimi模型。...
-
六位一线AI工程师总结爆火!大模型应用摸爬滚打一年心得公开,网友:全程高能
六位一线AI工程师和创业者,把在大模型应用开发上摸爬滚打一整年的心得,全!分!享!了! (奇怪的六一儿童节大礼包出现了) 这篇干货长文,一时间成为开发者社区热议的话题。 有网友评价为,大模型领域少有的“有操作性”的实用见解,非常值得一读。 这6位作者来...
-
LLaMA参数微调方法
1.Adapter Tuning:嵌入在transformer中 新增了一个名为adapter的结构,其核心思想是保持模型其他原始参数不变,只改变adapter的参数,其结构如下图所示: 1.在每一个transformer模块最后都加入一层ada...
-
Datawhale |【独家】万字长文带你梳理Llama开源家族:从Llama-1到Llama-3
本文来源公众号“Datawhale”,仅用于学术分享,侵权删,干货满满。 原文链接:【独家】万字长文带你梳理Llama开源家族:从Llama-1到Llama-3 0. 引言 在AI领域,大模型的发展正以前所未有的速度推进技术的边界。 北京时间4月1...
-
GpuMall智算云:meta-llama/llama3/Llama3-8B-Instruct-WebUI
LLaMA 模型的第三代,是 LLaMA 2 的一个更大和更强的版本。LLaMA 3 拥有 35 亿个参数,训练在更大的文本数据集上GpuMall智算云 | 省钱、好用、弹性。租GPU就上GpuMall,面向AI开发者的GPU云平台 Llama 3 的推...
-
Llama 3 微调项目实践与教程(XTuner 版)
Llama 3 微调项目实践与教程(XTuner 版) OpenMMLab 2024-04-20 11:37 上海 以下文章来源于InternLM ,作者XTuner InternLM. 以原始创新引领AI大模型技术进步。 Lla...
-
OpenAI要和苹果合作:投资数百亿美元的微软不高兴了
快科技5月31日消息,据国外媒体报道,苹果与OpenAI的合作谈判已持续一年之久,并且双方计划在即将到来的苹果WWDC 2024开发者大会上正式宣布合作事宜。 据悉,合作内容可能涉及将ChatGPT集成到iOS 18系统中,这将大幅提升Siri的智能处理能...
-
【AIGC调研系列】llama 3与GPT4相比的优劣点
Llama 3与GPT-4相比,各有其优劣点。以下是基于我搜索到的资料的详细分析: Llama 3的优点: 更大的数据集和参数规模:Llama 3基于超过15T token的训练,这相当于Llama 2数据集的7倍还多[1][3]。此外,它拥有40...
-
大模型进入「实用」时代,亚马逊云科技已是Next Level
在云计算领域竞争最激烈的时代,亚马逊云科技曾提出,云计算的普惠是技术升级带来的。这个说法换到如今的生成式 AI 时代也是成立的。 如果细数这半年来「震撼发布」、「颠覆时代」出现的频率,其实并不比往年低。每一次迭代都在抬高大模型解决问题能力的上限,也都拓宽了...
-
LLMs之LLaMA-3:Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)
LLMs之LLaMA-3:Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码 合并多个PEFT模型(LoRA技术 将LLaMA-3扩展到100万/1048k上下文——解析...
-
Mistral 开源代码模型夺得王座!Codestral疯狂训练超80种语言,国内通义开发者请求出战!
出品 | 51CTO技术栈(微信号:blog51cto) Mistral 发布了首个代码模型 Codestral-22B! 该模型的疯狂之处不仅在于训练了80多种编程语言,包括许多代码模型忽略的Swift等。 还在于他非同一般的速度。要求用Go语言编...
-
Mistral AI推首个代码生成模型Codestral 支持多种编程语言
Mistral AI 推出了其首个代码生成模型 Codestral,这是一个功能强大的工具,旨在帮助开发者提高编码效率和质量。 以下是 Codestral 的一些关键特性和优势: 支持多种编程语言: Codestral 能够支持超过80种编程语言,包括当...
-
通用大模型研究重点之五:llama family
LLAMA Family decoder-only类型 LLaMA(Large Language Model AI)在4月18日公布旗下最大模型LLAMA3,参数高达4000亿。目前meta已经开源了80亿和700亿版本模型,主要升级是多模态、长文本方...