-
「有效上下文」提升20倍！DeepMind发布ReadAgent框架
想了解更多AIGC的内容， 请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 基于Transformer的大语言模型（LLM）具有很强的语言理解能力，但LLM一次能够读取的文本量仍然受到极大限制。 除了上下文窗口...
-
小白也能微调大模型：LLaMA-Factory使用心得
大模型火了之后，相信不少人都在尝试将预训练大模型应用到自己的场景上，希望得到一个垂类专家，而不是通用大模型。 目前的思路，一是RAG(retrieval augmented generation ，在模型的输入prompt中加入尽可能多的“目标领域”的相...
-
谷歌更新Transformer架构，更节省计算资源！50%性能提升
想了解更多AIGC的内容， 请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 谷歌终于更新了Transformer架构。 最新发布的Mixture-of-Depths（MoD），改变了以往Transformer计...
-
论文笔记：Llama 2: Open Foundation and Fine-Tuned Chat Models
导语 Llama 2 是之前广受欢迎的开源大型语言模型 LLaMA 的新版本，该模型已公开发布，可用于研究和商业用途。本文记录了阅读该论文的一些关键笔记。 链接：https://arxiv.org/abs/2307.09288 1 引言 大型语言...
-
首个开源世界模型！百万级上下文，长视频理解吊打GPT-4，UC伯克利华人一作
想了解更多AIGC的内容， 请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 首个开源「世界模型」来了！ 来自UC berkeley的研究人员发布并开源了LWM（LargeWorldModel）系列模型： 论文...
-
2024-03-21 AIGC-FastGPT-本地知识库问答系统
相关文档: 接入 ChatGLM2-6B | FastGPT (fastai.site 相关步骤: FastGPT配置文件及OneAPI程序：百度网盘 请输入提取码 提取码：wuhe 创建fastgpt目录：mkdir fastgpt...
-
GPT-5红队测试邮件曝光，最早6月发布？网友在线逼问Altman，数十亿美元超算26年启动
GPT-5已经开始红队测试了? 就在这几天，网上已经有多人晒出了OpenAI发给自己的红队录取通知书。 此前有传闻说，GPT-5将于今年6月发布。看起来，红队测试与模型发布的时间线十分吻合。 有网友直接晒出了自己收到OpenAI邮件邀请的截图。 这...
-
LLaMA Factory+ModelScope实战——使用 Web UI 进行监督微调
LLaMA Factory+ModelScope实战——使用 Web UI 进行监督微调 文章原始地址：https://onlyar.site/2024/01/14/NLP-LLaMA-Factory-web-tuning/ 引言 大语...
-
首个开源世界模型LWM ：百万级上下文，长视频理解超GPT-4
来自加州大学伯克利分校的研究人员最近发布并开源了首个世界模型，被称为 LWM（LargeWorldModel）系列模型。这一模型采用了大量视频和书籍数据集，通过 RingAttention 技术实现了长序列的可扩展训练，使得模型的上下文长度达到了1M to...
-
【AI】在本地 Docker 环境中搭建使用 Hugging Face 托管的 Llama 模型
目录 Hugging Face 和 LLMs 简介 利用 Docker 进行 ML 格式的类型 请求 Llama 模型访问 创建 Hugging Face 令牌 设...
-
【Python】科研代码学习：十五 configuration，tokenization 的代码细节：Llama 为例
【Python】科研代码学习：十五 tokenizer的代码细节：Llama_Tokenization 为例 前言 `LlamaConfig`：网络参数配置 `LlamaTokenizer`：分词工具 前言 对于 HF 的 Tr...
-
AIGC学习笔记——DALL-E2详解+测试
它主要包括三个部分：CLIP，先验模块prior和img decoder。其中CLIP又包含text encoder和img encoder。（在看DALL·E2之前强烈建议先搞懂CLIP模型的训练和运作机制,之前发过CLIP博客） 论文地址：https...
-
长文本之罪：Claude团队新越狱技术，Llama 2到GPT-4无一幸免
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 刚刚，人工智能初创公司 Anthropic 宣布了一种「越狱」技术（Many-shot Jailbreaking）—— 这种技术可以用来...
-
开源版AI程序员来了：GPT-4加持，能力比肩Devin，一天1.4k Star
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 最近，有很多人在为 AI 代替自己的工作而担忧。 上个月火遍 AI 圈的「首位 AI 程序员」Devin，利用大模型能力已经掌握了全栈技...
-
OpenAI竞对用256轮对话「灌醉」大模型，Claude被骗造出炸弹！
大模型又被曝出安全问题？ 这次是长上下文窗口的锅！ 今天，Anthropic发表了自己的最新研究：如何绕过LLM的安全限制？一次越狱不够，那就多来几次！ 图片 论文地址：https://www-cdn.anthropic.com/af5633c94ed2...
-
华人又来炸场！一个命令工具让GPT-4干掉Devin和RAG！Jim Fan：提示工程2.0没必要了！
出品 | 51CTO技术栈（微信号：blog51cto） 华人又来炸场了！昨天，普林斯顿的CS/NLP硕士生John Yang在Github上开源了一款堪比Devin的利器。不到一天，就在Github上斩获了1.3k 星，异常生猛。据悉，4月10日，详细...
-
华为诺亚频域LLM「帝江」：仅需1/50训练成本，7B模型媲美LLaMA，推理加速5倍
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 基于 Transformer 架构的大语言模型在 NLP 领域取得了令人惊艳的效果，然而，Transformer 中自注意力带来的二次复...
-
ChatGPT也在评审你的顶会投稿，斯坦福新研究捅了马蜂窝，“这下闭环了”
尴了个大尬！ 人们还在嘲讽有人用ChatGPT写论文忘了删掉“狐狸尾巴”，另一边审稿人也被曝出用ChatGPT写同行评论了。 而且，还是来自ICLR、NeurIPS等顶会的那种。 来自斯坦福的学者对一些顶级AI会议（如ICLR、NeurIPS、CoRL...
-
Meta LLaMA 2实操：从零到一搭建顶尖开源大语言模型【超详篇】
前言 本文章由 [jfj] 编写，所有内容均为原创。涉及的软件环境是在nvidia-docker环境进行的，如对docker未了解如何使用的，可以移步上一篇文章nvidia-docker安装详解。 在 nvidia-docker 容器中运行时，Dock...
-
每日一看大模型新闻（2024.1.12）首个国产开源MoE大模型来了！性能媲美Llama 2-7B，计算量降低60%；谷歌MIT最新研究证明：高质量数据获取不难，大模型就是归途；为大模型恶补数学
1.产品发布 1.1 Luma AI：推出文生3D模型Genie 1.0 发布日期：2024.1.12 https://twitter.com/LumaLabsAI/status/1744778363330535860?s=20 主要内...
-
llama笔记：官方示例解析 example_chat_completion.py
1 导入库 from typing import List, Optional ''' 从typing模块中导入List和Optional。 typing模块用于提供类型注解的支持，以帮助明确函数预期接收和返回的数据类型。 List用于指定列表...
-
性能强，成本低，运行快！最强开源大模型出现，超越ChatGPT和Llama！
大数据人工智能公司 Databricks放大招了！ 3月27日，该公司开源了通用大模型 DBRX，并声称该模型是迄今为止全球最强大的开源大型语言模型，比 Meta 的 Llama 2 更为强大。 GPT-3.5研究测试： https://huj...
-
全网最全Stable Diffusion原理说明！！简单明了 容易理解！！！
手把手教你入门绘图超强的AI绘画程序Stable Diffusion，用户只需要输入一段图片的文字描述，即可生成精美的绘画。下面是Stable Diffusion注册和使用的方法。给大家带来了全新Stable Diffusion保姆级教程资料包（文末可获取...
-
上海交大新框架解锁CLIP长文本能力，多模态生成细节拿捏，图像检索能力显著提升
CLIP长文本能力被解锁，图像检索任务表现显著提升！ 一些关键细节也能被捕捉到。上海交大联合上海AI实验室提出新框架Long-CLIP。 △棕色文本为区分两张图的关键细节 Long-CLIP在保持CLIP原始特征空间的基础上，在图像生成等下游任务中即插...
-
孟子3-13B大模型正式开源
澜舟科技近日宣布，其研发的孟子3-13B大模型正式开源，并向学术研究领域全面开放，同时支持免费商用。这一轻量化大模型在多项基准测试中展现了优异的性能，特别是在参数量20B以内的模型中，其中英文语言能力尤为突出，数学和编程能力也位于行业前列。 孟子3-13B...
-
让视频姿态Transformer变得飞速，北大提出高效三维人体姿态估计框架HoT
目前，Video Pose Transformer（VPT）在基于视频的三维人体姿态估计领域取得了最领先的性能。近年来，这些 VPT 的计算量变得越来越大，这些巨大的计算量同时也限制了这个领域的进一步发展，对那些计算资源不足的研究者十分不友好。例如，训练...
-
0门槛免费商用！孟子3-13B大模型正式开源，万亿token数据训练
澜舟科技官宣：孟子3-13B大模型正式开源！ 这一主打高性价比的轻量化大模型，面向学术研究完全开放，并支持免费商用。 在MMLU、GSM8K、HUMAN-EVAL等各项基准测评估中，孟子3-13B都表现出了不错的性能。 尤其在参数量20B以内的轻量化大模...
-
抵制过AI的好莱坞能接受Sora？
AI生成视频模型Sora刚诞生一个月，创建者OpenAI计划将之推向好莱坞，建议将Sora应用到电影制作中。最近几周，OpenAI一直与洛杉矶多家影视公司和媒体的高管积极沟通。 先是2月中旬OpenAI公布Sora期间，一些影视行业从业者获得了该模型的内测...
-
吴恩达：别光盯着GPT-5，用GPT-4做个智能体可能提前达到GPT-5的效果
AI 智能体是去年很火的一个话题，但是 AI 智能体到底有多大的潜力，很多人可能没有概念。 最近，斯坦福大学教授吴恩达在演讲中提到，他们发现，基于 GPT-3.5 构建的智能体工作流在应用中表现比 GPT-4 要好。当然，基于 GPT-4 构建的智能体工...
-
AIGC｜Agentbot的构建实践
最近这几个月，智能体这一概念逐渐进入人们的视野并受到广泛讨论，各智能体和类智能体项目层出不穷。智能体不断被冠以“大模型下半场”，“软件2.0”等等称号，被认为是迈向通用人工智能的一大步，BabyGPT, AutoGPT等实验性产品相继出新。不满足于现在的聊...
-
Yuan2.0大模型，联合向量数据库和Llama-index，助力检索增强生成技术
1. 背景 在大模型爆发的时代，快速准确地从大量数据中检索出有价值的信息变得至关重要。检索增强生成（RAG）技术，结合了传统的信息检索和最新的大语言模型（LLM），不仅能够回答复杂的查询，还能在此基础上生成信息丰富的内容。 RAG技术的核心在于其能够将...
-
stable diffusion webui 搭建和初步使用
官方repo: GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI 关于stable-diffusion的介绍：Stable Diffusion｜图解稳定扩散原理...
-
python调用GPT-4-API/gpt3.5-api/chatGML-API/llama2-API/文心一言ERNIE-BOT-API
目录 调用GPT-4进行单轮对话 调用GPT3.5 调用llama2-70B（百度接口） 调用chatGML 调用ERNIE-BOT 4.0 关于如何开通GPT-API服务，请参考这一篇文章 目前仅使用到单轮对话，记录一下，之后拓展需...
-
开源11天，马斯克再发Grok-1.5！128K代码击败GPT-4
Grok-1官宣开源不过半月，新升级的Grok-1.5出炉了。 刚刚，马斯克xAI官宣，128K上下文Grok-1.5，推理能力大幅提升。 并且，很快就会上线。 11天前，Grok-1模型的权重和架构开源，展示了Xai在去年11月之前取得的进展。 Gr...
-
如何开始定制你自己的大型语言模型
2023年的大型语言模型领域经历了许多快速的发展和创新，发展出了更大的模型规模并且获得了更好的性能，那么我们普通用户是否可以定制我们需要的大型语言模型呢？ 首先你需要有硬件的资源，对于硬件来说有2个路径可以选。高性能和低性能，这里的区别就是是功率，因为精...
-
Mamba超强进化体一举颠覆Transformer！单张A100跑140K上下文
之前引爆了AI圈的Mamba架构，今天又推出了一版超强变体！ 人工智能独角兽AI21 Labs刚刚开源了Jamba，世界上第一个生产级的Mamba大模型！ Jamba在多项基准测试中表现亮眼，与目前最强的几个开源Transformer平起平坐。 特别是...
-
首个基于SSM-Transformer混合架构，开源商业大模型Jamba
3月29日，知名AI研究实验室AI21在官网开源了，首个基于SSM-Transformer混合架构的商业大模型——Jamba。 目前，ChatGPT、Stable Difusion 、Lyria等产品使用的皆是Transformer架构，虽然在捕捉序列内长...
-
AIGC之入门之详细介绍
一、AIGC初识 AIGC，即Artificial Intelligence Generated Content，指的是生成式人工智能。它可以通过处理人的自然语言，对AI下达指令任务，从而自动生成图片、视频、音频等内容。 至于AIGC中的Stable...
-
RAG 修炼手册｜RAG 敲响丧钟？大模型长上下文是否意味着向量检索不再重要
Gemini 发布后，由于其在处理长上下文方面表现出色，行业不乏“RAG 已死”的声音。RAG 到底有没有被杀死？向量数据库的还是 AI 应用开发者的最佳拍档吗？本文将一起探讨。 01.Gemini 发布后 AIGC 的迭代速度正以指数级的速度增长。G...
-
chatgpt和 github copilot chat哪个更强
chatgpt大家应该都不陌生 ChatGPT 是由 OpenAI 开发的一种基于 GPT（生成式预训练模型）的聊天机器人。它可以生成语言上下文相关的响应，从而进行自然语言对话。ChatGPT 利用大规模的语言数据进行预训练，并通过微调或在线学习来适应特...
-
铁了心要打败OpenAI！坚信开源打败闭源！这家知名数据厂商4个月打造最强开源大模型！性能超越Claude3，速度是羊驼2倍
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 大模型领域，迭代的速度简直要以天计算。昨天，大家还在热议Claude3超大杯版Opus在Elo Rating榜单上取代GPT4-Turbo-1106成为了新王。今天大家又发现开源...
-
DBRX抢占开源大模型王座 编程、数学等领域超越GPT-3.5
最新开源大语言模型DBRX以其惊人的1320亿参数量成为业界新宠。该模型不仅在语言理解、编程和数学等方面超越了业内领先的开源模型，还在效率上有所突破。DBRX的基础和微调版本均已发布，为研究和商业应用提供了丰富的资源。 GitHub 链接：https:/...
-
理想汽车 Mind GPT 多模态认知大模型通过国家备案
今日，理想汽车宣布其全自研的多模态认知大模型——Mind GPT，已正式通过国家《生成式人工智能服务管理暂行办法》的备案。这一里程碑式的事件标志着理想汽车成为首个通过该备案的汽车厂商自研大模型。 Mind GPT，这款在汽车智能座舱中落地应用的大模型，其...
-
新开源之王来了！1320亿参数，逻辑数理全面打赢Grok，还比Llama2-70B快1倍
“最强”开源大模型之争，又有新王入局： 大数据巨头Databricks，刚刚发布MoE大模型DBRX，并宣称： 它在基准测试中击败了此前所有开源模型。 包括同为混合专家模型的Grok-1和Mixtral。 新王搅局，迅速引发了开源社区的热议。 毕竟，仅...
-
号称全球最强开源 AI 模型，DBRX 登场：1320 亿参数，语言理解、编程能力等均超 GPT-3.5
3 月 28 日消息，初创公司 Databricks 近日发布公告，推出了开源 AI 模型 DBRX，声称是迄今为止全球最强大的开源大型语言模型，比 Meta 的 Llama 2 更为强大。 DBRX 采用 transformer 架构，包含 1320...
-
20240202在Ubuntu20.04.6下使用whisper.cpp的显卡模式
20240202在Ubuntu20.04.6下使用whisper.cpp的显卡模式 2024/2/2 19:43 【结论：在Ubuntu20.04.6下，确认large模式识别7分钟中文视频，需要356447.78 ms，也就是356.5秒，需要大概5...
-
怎么调用文心一言的api接口生成一个简单的聊天机器人（python代码）
寒假在学习大模型，但也没弄出多少眉目，电脑性能还有点小问题，大模型总跑不起来，只会简单调用一下现有的大模型的接口，例如：文心一言，下面展示一下代码： import tkinter as tk import requests import json #此...
-
两分钟1200帧的长视频生成器StreamingT2V来了，代码将开源
广阔的战场，风暴兵在奔跑…… prompt：Wide shot of battlefield, stormtroopers running... 这段长达 1200 帧的 2 分钟视频来自一个文生视频（text-to-video）模型，尽管 AI 生成...
-
【wails】（8）：发现一个用golang重写llama.cpp的llama.go项目，经测试支持f32模型，半年未更新，找到llama.cpp对应的版本，可以转换f32模型
1，项目地址 https://github.com/gotzmann/llama.go 项目最后的发布时间是2023年4月28日 项目是把 llama.cpp 的项目重写使用 golang 重写了下。 https://www.bilibili.co...
-
Claude 3反超GPT-4竞技场登顶！小杯Haiku成开发者新宠：性价比无敌
GPT-4真的被反超了！ 大模型竞技场上，Claude 3大杯Opus新王登基，Elo分数来到榜首。 连小杯Haiku也跻身第二梯队，超过了GPT-4-0613这个型号，把GPT-3.5-turbo远远甩在身后。 Haiku的输入token价格，可...