-
开源模型进展盘点：最新Mixtral、Llama 3、Phi-3、OpenELM到底有多好？
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察，也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中，他盘点分析了 4 月份发布的四个主要新模型：Mix...
-
首个智慧城市大模型UrbanGPT，全面开源开放｜港大&百度
时空预测技术，迎来ChatGPT时刻。 时空预测致力于捕捉城市生活的动态变化，并预测其未来走向，它不仅关注交通和人流的流动，还涵盖了犯罪趋势等多个维度。目前，深度时空预测技术在生成精确的时空模型方面，依赖于大量训练数据的支撑，这在城市数据不足的情况下显得...
-
AnythingLLM：零成本的私人ChatGPT，支持几乎所有主流大模型
用过大模型的都知道，我们不怕它不回答，就怕它乱回答，特别是一眼还看不出来的那种。即便是最先进的AI模型也会说谎，防不胜防。对企业来说，幻觉，已经成为阻碍大模型应用的严重缺陷性问题。 除了幻觉，通用大模型无法满足企业实际业务需求还涉及到知识局限性、信息安全...
-
AIGC时代之 - 怎样更好的利用AI助手 - 指令工程
爆火的AIGC 2022年11月30日，OpenAI发布ChatGPT 3 2022年12月4 日，ChatGPT 3 已拥有超过一百万用户 2023年各种大语言模型开始火爆全球 GPT们，已经成为了我工作和学习的非常重要的工具。 ChatGPT...
-
7B？13B？175B？解读大模型的参数
大模型也是有大有小的，它们的大小靠参数数量来度量。GPT-3就有1750亿个参数，而Grok-1更是不得了，有3140亿个参数。当然，也有像Llama这样身材苗条一点的，参数数量在70亿到700亿之间。 这里说的70B可不是指训练数据的数量，而是指模型中...
-
不同数据集有不同的Scaling law？而你可用一个压缩算法来预测它
一般而言，训练神经网络耗费的计算量越大，其性能就越好。在扩大计算规模时，必须要做个决定：是增多模型参数量还是提升数据集大小 —— 必须在固定的计算预算下权衡此两项因素。 Scaling law 告诉我们：只要能适当地分配参数和数据，就能在固定计算预算下实...
-
AIGC | AI提示词构建
文章目录 ?BARD提示词构建法 ?前言 ?第一步：阐述背景Background ?第二步：定义目标Aim ?第三步：设定角色Role ?第四步：设置要求Demand ?测试与迭代思路 本文提到的BARD方法来自艾文公开...
-
OpenAI把GPT-4原始版给了他们：研究不微调只靠提示词能走多远
除了OpenAI自己，居然还有别人能用上GPT-4-Base版？？ 也就是未经微调的预训练版，还不会对话聊天，只会补全句子的模型。 EPFL（瑞士洛桑联邦理工）团队申请到了访问权限，用于研究“上下文学习足以让大模型跟随指令吗？”。 也就是不用监督微调、...
-
英伟达新研究：上下文长度虚标严重，32K性能合格的都不多
无情戳穿“长上下文”大模型的虚标现象—— 英伟达新研究发现，包括GPT-4在内的10个大模型，生成达到128k甚至1M上下文长度的都有。 但一番考验下来，在新指标“有效上下文”上缩水严重，能达到32K的都不多。 新基准名为RULER，包含检索、多跳追踪、...
-
时间序列分析的表示学习时代来了？
表示学习作为深度学习中的核心，近期越来越多的被应用到了时间序列领域中，时间序列分析的表示学习时代已经来了。本文为大家带来了2020年以来顶会的5篇时间序列表示学习相关的核心工作梳理。 1.Unsupervised Scalable Representa...
-
Nvidia发布GeForce RTX增强版，为AI PC数字助手提供支持
Nvidia 在Computex 展会上推出了新的 RTX 技术，为新的 GeForce RTX AI 笔记本电脑提供动力。其中，Project G-Assist 技术演示为 PC 游戏和应用提供上下文感知的帮助。这项技术首次在 Studio Wildca...
-
LLM的「母语」是什么？
大语言模型的「母语」是什么？ 我们的第一反应很可能是：英语。 但事实果真如此吗？尤其是对于能够听说读写多种语言的LLM来说。 对此，来自EPFL（洛桑联邦理工学院）的研究人员发表了下面这篇工作来一探究竟： 图片 论文地址：https://arxiv.or...
-
【AIGC调研系列】XTuner、Unsloth方案对比
XTuner和Unsloth都是用于大型语言模型（LLM）训练和微调的工具，但它们在设计理念、技术实现和性能表现上存在一些差异。 技术架构与支持的模型规模： XTuner支持千亿级参数的模型，并能够处理超过百万个tokens的序列。它通过序列...
-
【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3
Datawhale干货 作者：张帆，陈安东，Datawhale成员 引言 在AI领域，大模型的发展正以前所未有的速度推进技术的边界。 北京时间4月19日凌晨，Meta在官网上官宣了Llama-3，作为继Llama-1、Llama-...
-
微信公众号来到AI推荐时代
作为有能力打通整个腾讯内容生态的大模型产品，腾讯元宝的低调出手，已然在行业内引起广泛关注。 5月30日，腾讯混元大模型首个App“腾讯元宝”正式上线，定位为面向C端用户的全能AI助手，目前已登陆各大主流官方应用商店，网页端和小程序端也可以同步体验。 腾讯...
-
一键 input 苹果 OpenELM，零门槛 Llama 3 教程，40+ 优质模型/数据集/教程，建议收藏！...
现在 AI 行业什么最火？ 「大模型」一定仍然排在前三甲的位置。 自从 2022 年底 ChatGPT 面世以来，大模型在各行各业已经带来了太多的惊喜，应用场景愈发丰富，同时也带动了相关底层技术的普及与普适化。尤其是在开源模型繁荣发展之下，无...
-
基于 Llama-Index、Llama 3 和 Qdrant，构建一个 RAG 问答系统！
构建一个使用Llama-Index、Llama 3和Qdrant的高级重排-RAG系统 尽管大型语言模型（LLMs）有能力生成有意义且语法正确的文本，但它们面临的一个挑战是幻觉。 在LLMs中，幻觉指的是它们倾向于自信地生成错误答案，制造出看似令人信...
-
真实对比kimi、通义千问、文心一言的写代码能力，到底谁强？
?AI改变生活：最近都在说月之暗面的kimi的各项能力吊打国内其他大模型，今天我们真实感受下 kimi、通义千问、文心一言的根据需求写代码的能力。 测评结果让人震惊！ kimi kimi编程过程 我们先看一下热捧的月之暗面的kimi模型。...
-
六位一线AI工程师总结爆火！大模型应用摸爬滚打一年心得公开，网友：全程高能
六位一线AI工程师和创业者，把在大模型应用开发上摸爬滚打一整年的心得，全!分!享!了! （奇怪的六一儿童节大礼包出现了） 这篇干货长文，一时间成为开发者社区热议的话题。 有网友评价为，大模型领域少有的“有操作性”的实用见解，非常值得一读。 这6位作者来...
-
LLaMA参数微调方法
1.Adapter Tuning：嵌入在transformer中 新增了一个名为adapter的结构，其核心思想是保持模型其他原始参数不变，只改变adapter的参数，其结构如下图所示： 1.在每一个transformer模块最后都加入一层ada...
-
Datawhale |【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3
本文来源公众号“Datawhale”，仅用于学术分享，侵权删，干货满满。 原文链接：【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3 0. 引言 在AI领域，大模型的发展正以前所未有的速度推进技术的边界。 北京时间4月1...
-
GpuMall智算云：meta-llama/llama3/Llama3-8B-Instruct-WebUI
LLaMA 模型的第三代，是 LLaMA 2 的一个更大和更强的版本。LLaMA 3 拥有 35 亿个参数，训练在更大的文本数据集上GpuMall智算云 | 省钱、好用、弹性。租GPU就上GpuMall,面向AI开发者的GPU云平台 Llama 3 的推...
-
Llama 3 微调项目实践与教程（XTuner 版）
Llama 3 微调项目实践与教程（XTuner 版） OpenMMLab 2024-04-20 11:37 上海 以下文章来源于InternLM ，作者XTuner InternLM. 以原始创新引领AI大模型技术进步。 Lla...
-
OpenAI要和苹果合作：投资数百亿美元的微软不高兴了
快科技5月31日消息，据国外媒体报道，苹果与OpenAI的合作谈判已持续一年之久，并且双方计划在即将到来的苹果WWDC 2024开发者大会上正式宣布合作事宜。 据悉，合作内容可能涉及将ChatGPT集成到iOS 18系统中，这将大幅提升Siri的智能处理能...
-
【AIGC调研系列】llama 3与GPT4相比的优劣点
Llama 3与GPT-4相比，各有其优劣点。以下是基于我搜索到的资料的详细分析： Llama 3的优点： 更大的数据集和参数规模：Llama 3基于超过15T token的训练，这相当于Llama 2数据集的7倍还多[1][3]。此外，它拥有40...
-
大模型进入「实用」时代，亚马逊云科技已是Next Level
在云计算领域竞争最激烈的时代，亚马逊云科技曾提出，云计算的普惠是技术升级带来的。这个说法换到如今的生成式 AI 时代也是成立的。 如果细数这半年来「震撼发布」、「颠覆时代」出现的频率，其实并不比往年低。每一次迭代都在抬高大模型解决问题能力的上限，也都拓宽了...
-
LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)
LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码 合并多个PEFT模型(LoRA技术 将LLaMA-3扩展到100万/1048k上下文——解析...
-
Mistral 开源代码模型夺得王座！Codestral疯狂训练超80种语言，国内通义开发者请求出战！
出品 | 51CTO技术栈（微信号：blog51cto） Mistral 发布了首个代码模型 Codestral-22B！ 该模型的疯狂之处不仅在于训练了80多种编程语言，包括许多代码模型忽略的Swift等。 还在于他非同一般的速度。要求用Go语言编...
-
Mistral AI推首个代码生成模型Codestral 支持多种编程语言
Mistral AI 推出了其首个代码生成模型 Codestral，这是一个功能强大的工具，旨在帮助开发者提高编码效率和质量。 以下是 Codestral 的一些关键特性和优势: 支持多种编程语言: Codestral 能够支持超过80种编程语言，包括当...
-
通用大模型研究重点之五：llama family
LLAMA Family decoder-only类型 LLaMA（Large Language Model AI）在4月18日公布旗下最大模型LLAMA3，参数高达4000亿。目前meta已经开源了80亿和700亿版本模型，主要升级是多模态、长文本方...
-
腾讯正式发布AI助手App“腾讯元宝”：提供口语陪练特色应用
快科技5月30日消息，腾讯今日正式上线AI助手App腾讯元宝”。 据官方介绍，腾讯今日正式推出了全新的AI助手App腾讯元宝”，这款应用基于腾讯的混元大模型，集成了AI搜索、AI总结、AI写作等强大功能，为用户带来前所未有的智能体验。 腾讯元宝的亮点在于其...
-
AI神器腾讯元宝APP上线 基于腾讯混元大模型开发打造
站长之家（ChinaZ.com）5月30日 消息:今日，基于腾讯混元大模型开发的AI产品——“腾讯元宝”正式上线。这款App与先前的混元小程序版本相比，更加聚焦于AI技术的深度应用，为用户提供了包括AI搜索、AI总结、AI写作在内的核心功能，展现了其全面的...
-
超详细！AIGC面试系列 大模型进阶(2)
本期问题快览 1. 如何让大模型处理更长的文本？ 2. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？ 3. 什么是有监督微调SFT 4. SFT 指令微调数据如何构建? 5. 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘...
-
一文速览Llama 3及其微调：从如何把长度扩展到100万到如何微调Llama3 8B
前言 4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了，一查，还真是 本文以大模型开发者的视角，基于Meta官方博客的介绍：Introducing Meta Llama 3: The most capa...
-
详解生成式人工智能的开发过程
译者 | 晶颜 审校 | 重楼 开发生成式人工智能应用程序与开发传统的机器学习应用程序非常不同，以下是步骤详解。 回到机器学习的“古老”时代，在您可以使用大型语言模型(LLM 作为调优模型的基础之前，您基本上必须在所有数据上训练每个可能的机器学习模型，...
-
数据驱动与 LLM 微调：打造 E2E 任务型对话 Agent
作者 | Thought Agent 社区 在对话系统的设计和实现中，传统的基于 Rasa-like 框架的方法往往需要依赖于多个模块的紧密协作，例如我们在之前的文章中提到的基于大模型（LLM）构建的任务型对话 Agent，Thought Agent，其...
-
Meta AI的首席执行官LeCun：不要从事LLM工作
出品 | 51CTO技术栈（微信号：blog51cto） 在巴黎举行的初创企业年度技术大会VivaTech上，Meta AI的首席执行官Yann LeCun建议希望在AI生态系统中工作的学生不要从事LLM（大型语言模型）方面的工作。 “如果你是对构建下一...
-
GPT-5倒计时！奥特曼踢走Ilya得逞，宫斗惊人内幕再曝光
「OpenAI下一代前沿模型，正在训练中」。 经历了几周前Ilya、安全团队负责人Jan Leike离职后，超级对齐团队也被OpenAI解散。 今天，奥特曼领衔的OpenAI全新的「安全与保障委员会」官宣成立。 不仅如此，OpenAI预计，正在训练的下...
-
当前都在堆长窗口，还需要 RAG 吗？
自从谷歌的 Gemini 1.5 Pro 发布后，行业内就有不少人在背后“蛐蛐” RAG。 一方面是因为，Gemini 的表现确实亮眼。根据官方发布的技术报告，Gemini 1.5 Pro 能够稳定处理高达100 token，相当于1小时的视频、11小时...
-
OpenAI正训练GPT-4的继任者，GPT-5或将带来三个重大升级
虽然 OpenAI 最近推出的模型 GPT-4o 在大型语言模型（LLM）领域有了重大突破，但该公司已经开始着手研发下一个旗舰模型 GPT-5。许多人在 GPT-4o 发布前期就期待着 OpenAI 推出备受瞩目的 GPT-5。为了澄清这种猜测，首席执行官...
-
基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二）
基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） #Options local_llm = 'llama3' llm = ChatOllama(model=local_llm, format="json", tempe...
-
AIGC趋势下软件工程强智能编码来临了么？
一、背景 在AIGC（AI Generated Content，人工智能生成内容）的趋势下，软件工程领域的“强智能编码”是指通过深度学习、自然语言处理等前沿技术，使AI具备理解、学习、推理和生成代码的能力，从而实现自动化或半自动化的程序开发。这种技术能够...
-
AI智能体的炒作与现实：GPT-4都撑不起，现实任务成功率不到15%
随着大语言模型的不断进化与自我革新，性能、准确度、稳定性都有了大幅的提升，这已经被各个基准问题集验证过了。 但是，对于现有版本的 LLM 来说，它们的综合能力似乎并不能完全支撑得起 AI 智能体。 多模态、多任务、多领域俨然已成为 AI 智能体在公共...
-
不影响输出质量还能追踪溯源，「大模型无偏水印」入选ICLR 2024 Spotlight
本文通讯作者为马里兰大学计算机系的博士生胡正冕，其导师为 Heng Huang。他的主要研究方向是采样与机器学习理论，曾在ICML、NeurIPS、ICLR等顶级会议上发表多篇论文。邮箱: huzhengmian@gmail.com 随着大语言模型（LL...
-
Llama中文大模型-模型预训练
Atom系列模型包含Atom-7B和Atom-13B，基于Llama2做了中文能力的持续优化。Atom-7B和Atom-7B-Chat目前已完全开源，支持商用，可在Hugging Face仓库获取模型:https://huggingface.co/Flag...
-
TigerGraph CoPilot如何实现图形增强式AI
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 通过对比其他商用LLM的缺陷，本文详细介绍了TigerGraph CoPilot的主要功能、优点、以及两个关键用例。 近年来，数据作为...
-
一文读懂本地运行 LLM 的优秀实践方法
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM -常见的本地运行 LLM 方法。 众所周知，如今使用 ChatGPT 等大型模型工具变得异常简单，只需通过浏览器在线访问即可。然而，需要注意的是，...
-
什么是Token？为什么大模型要计算Token数
本文分享自华为云社区《【技术分享】什么是Token？为什么GPT基于Token定价》，作者：开天aPaaS小助手Tracy。 在使用LLM大模型时，我们经常会遇到一个关键词，叫：Token。 比如： 最新版 GPT-4 Turbo 模型最高支持 12...
-
马斯克的 xAI 融资 60 亿美元，估值达 240 亿美元
Elon Musk 的人工智能公司 xAI 在最新的 B 轮融资中成功筹集了60亿美元，使得该公司的估值达到了240亿美元。该公司周日宣布了这一消息，表示这笔资金将用于推出 xAI 的首个产品、建设先进基础设施，并加速未来技术的研发。 xAI 的关键投资...
-
英伟达赢麻了！马斯克xAI超级算力工厂曝光，10万块H100、数十亿美元
最近几年，随着大语言模型的飞速发展与迭代，科技巨头们都竞相投入巨额财力打造超级计算机（或大规模 GPU 集群）。他们认为，更强大的计算能力是实现更强大 AI 的关键。 早在 2022 年，Meta 即宣布与英伟达共同打造大型 AI 研究超级计算机「AI...