-
SORA技术报告快速解读——浅谈其AIGC积累的技术底蕴
SORA技术报告解读 文章目录 概要 SORA整体概要 关键性的技术方案解析 1. 视觉类型的特征嵌入和处理-video encoder 1.1 压缩视频的特征网络模型是什么？ 1.2 如何处理不同分辨率的训练和推理问题？ 2 Scalin...
-
LLaMa 3或将推迟到7月发布，剑指GPT-4，从Gemini吸取教训
过去的图像生成模型常被人们诟病人物主要以「白人」为主，而谷歌 Gemini 正在因为它的矫枉过正而深陷翻车风波。它「过度谨慎」的文生图结果会与历史事实出现极大偏差，让用户们瞠目结舌。谷歌表示，该模型变得比开发者预期的更加谨慎。这不仅体现在生成图片的问题上...
-
魅族21 PRO成世界第一个开放硬件的手机：对所有大模型开放
快科技2月29日消息，今晚魅族发布新旗舰手魅族21 Pro。 魅族表示，魅族 21 PRO的O”，是智能手机时代的句号，也是一个新时代的开始。 魅族21 PRO不仅是魅族历史上第一款开放平台手机，还是全世界第一个开放硬件的手机。 魅族并不是对软件开发者开放...
-
陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需1/6内存
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法： 它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。 最重要的是，在这个过程中，只需要原来1/6的内存，模型就获得了10倍吞吐量。 除此之外，它还能大大降低训练成本：...
-
用GGUF和Llama .cpp量化Llama模型
用GGUF和Llama .cpp量化Llama模型 什么是GGML 如何用GGML量化llm 使用GGML进行量化 NF4 vs. GGML vs. GPTQ 结论 由于大型语言模型（LLMS）的庞大规模，量化已成为有效运行它们的必要...
-
英伟达、Hugging Face和ServiceNow发布用于代码生成的新StarCoder2 LLM
这些模型目前有三种不同的大小，已经在600多种编程语言(包括低资源语言 上进行了培训，以帮助企业在其开发工作流中加速各种与代码相关的任务，它们是在开放的BigCode项目下开发的，该项目是ServiceNow和Huging Face联合发起的，以确保...
-
研究人员开发AI攻击方法BEAST：可在一分钟内绕过LLM防护栏
研究人员在美国马里兰大学成功开发了一种高效的方法，可以在一分钟内诱导大型语言模型（LLM）产生有害反应，他们将这一技术命名为BEAST(BEAm Search-based adversarial aTtack 。BEAST技术利用Nvidia RTX A6...
-
英伟达最强通用大模型Nemotron-4登场！15B击败62B，目标单张A100/H100可跑
最近，英伟达团队推出了全新的模型Nemotron-4，150亿参数，在8T token上完成了训练。 值得一提的是，Nemotron-4在英语、多语言和编码任务方面令人印象深刻。 论文地址：https://arxiv.org/abs/2402.1681...
-
微软6页论文爆火：三进制LLM，真香！
这就是由微软和中国中科院大学在最新一项研究中所提出的结论—— 所有的LLM，都将是1.58 bit的。 具体而言，这项研究提出的方法叫做BitNet b1.58，可以说是从大语言模型“根儿”上的参数下手。 将传统以16位浮点数（如FP16或BF16）形...
-
金融分析多模态LLM FinTral:基于Mistral-7B模型 得分接近GPT-4
近日，来自不列颠哥伦比亚大学和Invertible AI的研究人员推出了一款具有突破性的大型语言模型（LLM）——FinTral，专为金融领域量身定制。FinTral采用了多模态方法，能够处理文本、数字、表格和视觉数据，以应对金融文件的复杂性。该模型引入了...
-
视频生成模型Sora的全面解析：从AI绘画、ViT到ViViT、DiT、VDT、NaViT、VideoPoet
前言 真没想到，距离视频生成上一轮的集中爆发(详见《Sora之前的视频生成发展史：从Gen2、Emu Video到PixelDance、SVD、Pika 1.0》 才过去三个月，没想OpenAI一出手，该领域又直接变天了 自打2.16日OpenAI发...
-
Llama中文大模型-模型部署
选择学习路径 快速上手-使用Anaconda 第 0 步：前提条件 确保安装了 Python 3.10 以上版本。 第 1 步：准备环境 如需设置环境，安装所需要的软件包，运行下面的命令。 git clone https:/...
-
如何使用生成式人工智能构建实时Slackbot
译者 | 李睿 审校 | 重楼 本文将展示如何使用由Apache NiFi支持的Cloudera DataFlow与IBM WatsonX交互。人工智能实时建立大型语言模型，并且可以使用任何基础模型，例如谷歌FLAN T5 XXL或IBM Granite...
-
知名AI研究者深挖谷歌Gemma：参数不止70亿，设计原则很独特
就在几天前，开源大模型领域迎来了重磅新玩家：谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini，Gemma 更加轻量，同时保持免费可用，模型权重也一并开源了，且允许商用。 谷歌发布了包含两种权重规模的模型：Gemma 2B 和 Gemma...
-
揭秘「 B 站最火的 RAG 应用」是如何炼成的
近日，bilibili 知名科技 UP 主“Ele 实验室”发布了一个视频，标题为“当我开发出史料检索 RAG 应用，正史怪又该如何应对？” 。 视频连续三天被平台打上“热门”标签，并迅速登上科技板块全区排行榜前列。截至目前，视频的观看量近 70 万，评...
-
GenAI步步紧逼，数据治理如何进化？
作者 | Isaac Sacolick 编辑 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 数据治理涵盖一系列学科，包括数据安全、管理、质量和编目。这种做法需要定义使用策略、创建主数据源、分析数据集、记录字典以及监督数据生命周期...
-
直接干上车！DriveVLM：首个Orin部署的快慢双系统智驾大模型
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在目前自动驾驶领域，传统的感知（perception）-预测（prediction）-规划（planning）的常规端到端自动驾驶在处理常规场景时表现尚可，但在面对复...
-
LLaMA v1/2模型结构总览
LLaMA v1/2模型结构总览 孟繁续 目录 收起 结构 Group Query Attention(V2 only RMSNorm SwiGLU RoPE llama2 出来了，并且开源可商用，这下开源社区又要变天了。快速...
-
亚马逊云宣布Mistral AI 模型即将登陆 Amazon Bedrock
Mistral AI 是一家总部位于法国的人工智能公司，专注于将公开可用的模型提升至最先进的性能水平。他们主要致力于构建快速而安全的大型语言模型（LLM），可用于各种任务，如聊天机器人和代码生成。 亚马逊云科技很高兴地宣布，Mistral AI 的两种高性...
-
当"狂飙"的大模型撞上推荐系统
随着以 ChatGPT 为代表的大模型技术的迅速发展，推荐系统正经历着一场革命性的变革。传统的推荐系统主要基于用户和物品的历史行为数据进行预测，大模型技术的出现，为推荐系统带来了更强的泛化能力和更高的效率，解决了传统推荐系统中的一些难题，如用户和物品...
-
使用websocket后端接入文心一言
最近再写项目练手，想着最近大模型那么火，也想接入项目来玩一玩，于是去了解了一下相关的api和通信协议，最后选择了文心一言进行集成，国内的相对稳定。ERNIE-Bot-turbo - 千帆大模型平台 | 百度智能云文档 (baidu.com 使用webs...
-
微软发布PyRIT，用于识别生成式AI系统中的风险
2月26日消息，据外媒报道，微软发布了一个名为PyRIT的开放访问自动化框架，用于主动识别生成式AI系统中的风险。 微软人工智能红色团队负责人Ram Shankar Siva Kumar表示，红色团队工具旨在“使全球每个组织都能利用最新的人工智能进步进...
-
ChatMusician官网体验入口 AI音乐生成语言模型在线使用地址
ChatMusician是一个开源的大型语言模型（LLM），它通过持续的预训练和微调，集成了音乐能力。该模型基于文本兼容的音乐表示法（ABC记谱法），将音乐视为第二语言。ChatMusician能够在不依赖外部多模态神经结构或分词器的情况下，理解和生成音乐...
-
MATRIX：社会模拟推动大模型价值自对齐，比GPT4更「体贴」
模型如 ChatGPT 依赖于基于人类反馈的强化学习（RLHF），这一方法通过鼓励标注者偏好的回答并惩罚不受欢迎的反馈，提出了一种解决方案。然而，RLHF 面临着成本高昂、难以优化等问题，以及在超人类水平模型面前显得力不从心。为了减少乃至消除对人类监督的...
-
数据治理必须如何发展才能应对GenAI的挑战
最近我想到了数据治理，所以我决定通过输入提示来查询ChatGPT：“什么是数据治理?”，人工智能回应道：“数据治理是一套流程、政策、标准和指导方针，可确保在企业内适当地管理、保护和利用数据”，这是一个很好的开始，此时此刻，关于数据治理及其意义还有很多要...
-
VAD v2端到端SOTA | 远超DriveMLM等方法（地平线）
从大规模驾驶演示中学习类似人类的驾驶策略是很有前途的，但规划的不确定性和非确定性本质使得这一任务充满挑战。在这项工作中，为了应对不确定性问题，作者提出了VADv2，一个基于概率规划的端到端驾驶模型。VADv2以流方式输入多视角图像序列，将传感器数据转换为...
-
端侧最强，Meta田渊栋等人卷10亿以下参数小模型，LeCun：小技巧启动
「在移动设备上运行 LLM？可能需要 Meta 的一些技巧。」刚刚，图灵奖得主 Yann LeCun 在个人社交平台表示。 他所宣传的这项研究来自 Meta 最新论文《 MobileLLM: Optimizing Sub-billion Paramet...
-
【llm 微调code-llama 训练自己的数据集 一个小案例】
这也是一个通用的方案，使用peft微调LLM。 准备自己的数据集 根据情况改就行了，jsonl格式，三个字段：context, answer, question import pandas as pd import random import...
-
Mistral AI新模型对标GPT-4，不开源且与微软合作，网友：忘了初心
生成式 AI 领域，又有重量级产品出现。 周一晚间，Mistral AI 正式发布了「旗舰级」大模型 Mistral Large。与此前的一系列模型不同，这次 Mistral AI 发布的版本性能更强，体量更大，直接对标 OpenAI 的 GPT-4。而...
-
下一个OpenAI来了？Mistral超大杯模型直逼GPT-4，93年创始人6人公司被微软认领
下一个OpenAI来了？ 开源社区的另一个中心Mistral AI，刚刚发布了最强力的旗舰模型Mistral Large，性能直接对标GPT-4！（但可惜的是没有开源） Mistral Large具备卓越的逻辑推理能力，能够处理包括文本理解、转换以及代...
-
【论文精读】OS-Copilot: Towards Generalist Computer Agents with Self-Improvement
OS-Copilot: Towards Generalist Computer Agents with Self-Improvement 前言 ABSTRACT 1 INTRODUCTION 2 THE OS-COPILOT FRAMEWORK...
-
谷歌10M上下文窗口正在杀死RAG？被Sora夺走风头的Gemini被低估了？
要说最近最郁闷的公司，谷歌肯定算得上一个：自家的 Gemini 1.5 刚刚发布，就被 OpenAI 的 Sora 抢尽了风头，堪称 AI 界的「汪峰」。 具体来说，谷歌这次推出的是用于早期测试的 Gemini 1.5 的第一个版本 ——Gemini 1...
-
VSP-LLM官网体验入口 视觉语音处理AI模型免费使用下载地址
VSP-LLM是一个结合视觉语音处理与大型语言模型的框架，旨在通过LLMs的强大能力最大化上下文建模能力。VSP-LLM设计用于执行视觉语音识别和翻译的多任务，通过自监督视觉语音模型将输入视频映射到LLM的输入潜在空间。该框架通过提出一种新颖的去重方法和低...
-
LeCun怒斥Sora是世界模型，自回归LLM太简化了
最近几天，Sora 成为了全世界关注的焦点。与之相关的一切，都被放大到极致。 Sora 如此出圈，不仅在于它能输出高质量的视频，更在于 OpenAI 将其定义为一个「世界模拟器」（world simulators）。 英伟达高级研究科学家 Jim Fa...
-
大模型也有“漂移（Drift）”现象？应引起AI应用开发者警惕
熟悉数据中心机器学习项目开发的读者应该知道，数据漂移和概念漂移是导致机器学习模型效果衰退的一个常见原因。漂移产生的关键原因是因为模型会随着时间而衰退，因此为了对抗这样的问题就必须要定期优化训练方案及定期重训模型。 那么大模型会不会有“漂移”现象呢，答案是...
-
详解各种LLM系列｜（2）LLaMA 2模型架构、 预训练、SFT内容详解 (PART-1)
一、引言 Llama 2是Meta在LLaMA基础上升级的一系列从 7B到 70B 参数的大语言模型。Llama2 在各个榜单上精度全面超过 LLaMA1，Llama 2 作为开源界表现最好的模型之一，目前被广泛使用。 为了更深入地理解Llama 2的...
-
高性能 LLM 推理框架的设计与实现
一、大语言模型推理概要介绍 与传统的 CNN 模型推理不同，大语言模型的推理通常会分成 prefill 和 decoding 两个阶段。每一个请求发起后产生的推理过程都会先经历一个 Prefill 过程，prefill 过程会计算用户所有的输入，并生...
-
逻辑推理大翻车！GPT-4、Gemini被曝重大缺陷，LLM严重降智
近期，谷歌DeepMind和斯坦福的研究人员发现大型语言模型在处理逻辑推理任务时，前提信息的呈现顺序对其表现具有决定性影响。 在逻辑推理和数学问题中，前提按照逻辑自然顺序排列时，模型表现更佳。对于大型语言模型，改变前提叙述顺序会导致性能大幅下降，尤其是在添...
-
「人车交互」新突破！普渡大学发布Talk2Drive框架：可学习/定制的「指令识别」系统
在普渡大学数字孪生实验室的最新成果中，研究人员引入了一种革命性的技术——利用大型语言模型（LLM）为自动驾驶汽车提供智能指令解析能力。 该技术的核心为Talk2Drive框架，旨在通过理解人类的自然语言来控制自动驾驶汽车，从而实现了一种前所未有的人车交互...
-
【AI】Chinese-LLaMA-Alpaca-2 1.3B 7B 13B llama.cpp 量化方法选择及推理结果测试 x86_64 RTX 2060 6G 生成程序源码测试
1.3B Q4_0 (很快，没用 llm_load_print_meta: model type = ?B llm_load_print_meta: model ftype = Q4_0 llm_load_print_meta:...
-
选择最适合数据的嵌入模型：OpenAI 和开源多语言嵌入的对比测试
OpenAI最近发布了他们的新一代嵌入模型embedding v3，他们将其描述为性能最好的嵌入模型，具有更高的多语言性能。这些模型分为两类:较小的称为text- embeddings -3-small，较大且功能更强大的称为text- embeddin...
-
GPT-4、Gemini同时被曝重大缺陷，逻辑推理大翻车！DeepMind上交校友团队发现LLM严重降智
最近，谷歌DeepMind和斯坦福的研究人员发现：大模型在处理逻辑推理任务时，问题中信息呈现的顺序对模型的表现有着决定性的影响。 论文地址：https://arxiv.org/abs/2402.08939 具体来说，当信息按照逻辑上的自然顺序排列时，模...
-
LangChain原理学习笔记
最新越发觉得AI的发展，对未来是一场革命，LangChain已经在工程设计上有了最佳实践，类似于AI时代的编程模型或编程框架，有点Spring框架的意思。之前在LangChain上也有些最佳实践，所以在这里分享记录下。 L...
-
生产式AI驱动的主机自动化测试
译者 | 陈峻 审校 | 重楼 将传统大型主机应用的代码和数据迁移到现代化技术架构上，被业界认为是企业信息系统数字化发展的关键阶段。尤其是在追求提高效率和可扩展性的过程中，这种转变通常会涉及到从传统的大型主机环境，转移到更加灵活的云计算、或是在内部部署方...
-
从Newbing为什么与其他生成式AI如此不同
自从用上Newbing后，我就放弃CHATGPT 3.5了。昨天写完文章后，我又试了下ChatGPT，没想到去年被封的账号居然又可以用了，不过只能用3.5版本，要用4.0必须升级到PRO，每个月20美金。于是我没有尝试去付款，因为Newbing对我来说已...
-
揭秘LangGraph的无限潜能
作者 | 崔皓 审校 | 重楼 摘要 本文介绍了一种基于LangChain的新技术LangGraph，它通过循环图协调大模型和外部工具，解决复杂任务。首先，介绍了LangChain的DAG模型处理简单任务，以及LangGraph使用循环图处理复杂任务的...
-
AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）
Ollama简介 Ollama 是一个开源平台，用于管理和运行各种大型语言模型 (LLM ，例如 Llama 2、Mistral 和 Tinyllama。它提供命令行界面 (CLI 用于安装、模型管理和交互。您可以使用 Ollama 根据您的需求下载...
-
开源的Gemma 模型：Google 的语言奇迹，让你用指令调优、低秩适应和 Switch Transformer 玩转小模型
语言是人类最重要的交流工具，也是人工智能领域最具挑战性的研究对象。如何让机器理解和生成自然语言，是人工智能的一个核心问题，也是人类智能的一个重要标志。近年来随着深度学习的发展，语言模型（Language Model，LM）作为一种基于神经网络的自然语言处...
-
补齐Transformer规划短板，田渊栋团队的Searchformer火了
最近几年，基于 Transformer 的架构在多种任务上都表现卓越，吸引了世界的瞩目。使用这类架构搭配大量数据，得到的大型语言模型（LLM）等模型可以很好地泛化用于真实世界用例。 尽管有如此成功，但基于 Transformer 的架构和 LLM 依然难...
-
干货满满！大神Karpathy两小时AI大课文字版第一弹，全新工作流自动把视频转成文章
前段时间，AI大神Karpathy上线的AI大课，已经收获了全网15万次播放量。 当时还有网友表示，这2小时课程的含金量，相当于大学4年。 就在这几天，Karpathy又萌生了一个新的想法： 那便是，将2小时13分钟的「从头开始构建GPT分词器」的视频...