-
超越GPT-4，Claude 3超大杯成新王！
太疯狂了！Claude 3 Opus超越了GPT-4，成为新的国王！ 今天，Chatbot Arena更新了聊天机器人对战的排行榜，在经过了时间的洗礼和群众的检验之后，之前略逊于GPT-4的Claude 3竟然反超了！ 而且不仅仅是Claude 3的超...
-
【wails】（8）：发现一个用golang重写llama.cpp的llama.go项目，经测试支持f32模型，半年未更新，找到llama.cpp对应的版本，可以转换f32模型
1，项目地址 https://github.com/gotzmann/llama.go 项目最后的发布时间是2023年4月28日 项目是把 llama.cpp 的项目重写使用 golang 重写了下。 https://www.bilibili.co...
-
Video-LLaMa:利用多模态增强对视频内容理解
在数字时代，视频已经成为一种主要的内容形式。但是理解和解释视频内容是一项复杂的任务，不仅需要视觉和听觉信号的整合，还需要处理上下文的时间序列的能力。本文将重点介绍称为video - llama的多模态框架。Video-LLaMA旨在使LLM能够理解视频中的...
-
Stability AI开源3B代码生成模型：可补全，还能Debug
本周一，Stability AI 开源了小体量预训练模型 Stable Code Instruct 3B。 Stable Code Instruct 3B 是一个基于 Stable Code 3B 的指令调整编码语言模型（Code LM）。给出自然语言...
-
等不及公开了！最新Sora模型细节揭秘：预计峰值需要72万块H100！每月至少4200块H100！缩放定律依旧有效！
作者 | Matthias·Plappert 翻译 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） OpenAI的Sora模型能够生成各种场景的极其逼真的视频，令世界惊叹不已。除了一篇公开的技术报告和TikTok上放出的酷炫视频，就...
-
清华和微软联合起来对提示词下手了！直接缩短80%，跟大模型对话的头疼系数直线下降！变相扩大了上下文窗口！
出品 | 51CTO技术栈（微信号：blog51cto） 想一下，现在普通人调用个大模型有多别扭，你得一个个上传文件，然后再告诉它自己想要什么样的输出，最好给它一套优秀的模版，它才能给出个像样的回答。 这就好比你自己的大脑都快想出答案来了，它只不过是帮...
-
LLM大模型之基于SentencePiece扩充LLaMa中文词表实践
LLM大模型之基于SentencePiece扩充LLaMa中文词表实践 目前大模型的词表和分词器都是基于SentencePiece工具实现的，比如LLaMa，BLOOM，ChatGLM，Baichuan等，简单来说SentencePiece就是工程化的...
-
Stability AI发布最新代码模型升级版本Stable Code Instruct 3B
Stability AI 在昨晚发布了其最新的代码模型升级版本——Stable Code Instruct3B。这一开源项目是继之前工作的延续，暗示着SD3模型的开源发布应该能够顺利进行，尽管后续模型的发展情况还不太明朗。 这个模型以3B的规模提供了业界领...
-
在Raspberry Pi上运行本地LLM和VLM
译者 | 朱先忠 审校 | 重楼 在树莓派上使用Ollama的本地LLM和VLM（作者本人提供照片） 前言 有没有想过在自己的设备上运行自己的大型语言模型（LLM）或视觉语言模型（VLM）？你可能想过，但一想到从头开始设置，必须管理有关环境，还要下载正...
-
AI时代CPU不老！Intel五代至强五大革新：340亿参数小意思
AI漫长的历史中，ChatGPT绝对是浓墨重彩的一笔。正是它引爆了AI大模型概念，也让以往高高在上的AI飞入了寻常百姓家，开始融入每个人的日常工作、生活，AI PC、AI手机、AI边缘也都在大踏步前进，变革千行百业。 有调研数据显示，预计到2026年，AI...
-
探索创新：LLAMA Index - 一个智能数据分析利器
探索创新：LLAMA Index - 一个智能数据分析利器 项目地址:https://gitcode.com/run-llama/llama_index 项目简介 LLAMA Index 是一款强大的数据预处理和分析工具，旨在简化大数据处理过程，...
-
使用GaLore在本地GPU进行高效的LLM调优
训练大型语言模型(llm ，即使是那些“只有”70亿个参数的模型，也是一项计算密集型的任务。这种水平的训练需要的资源超出了大多数个人爱好者的能力范围。为了弥补这一差距，出现了低秩适应(LoRA 等参数高效方法，可以在消费级gpu上对大量模型进行微调。 G...
-
清华微软开源全新提示词压缩工具，长度骤降80%！GitHub怒砍3.1K星
在自然语言处理中，有很多信息其实是重复的。 如果能将提示词进行有效地压缩，某种程度上也相当于扩大了模型支持上下文的长度。 现有的信息熵方法是通过删除某些词或短语来减少这种冗余。 然而，作为依据的信息熵仅仅考虑了文本的单向上下文，进而可能会遗漏对于压缩至关...
-
微软新工具LLMLingua-2：可将 AI 提示压缩高达80%，节省时间和成本
微软研究发布了名为 LLMLingua-2的模型，用于任务不可知的提示压缩。该模型通过智能地去除长提示中的不必要词语或标记，同时保留关键信息，使得提示长度可减少至原长度的20%，从而降低成本和延迟。研究团队写道:“自然语言存在冗余，信息量不尽相同。” LL...
-
llama factory 参数体系EvaluationArguments、DataArguments、FinetuningArguments、FreezeArguments、LoraArgument
项目地址 https://github.com/hiyouga/LLaMA-Factory 模型层参数 这段代码是使用Python的dataclasses模块定义的一个数据类ModelArguments，用于管理和存储与模型微调相关的参数。这个类的设计是...
-
32K上下文，Mistral 7B v0.2 基模型突然开源了
刚刚，Mistral AI 的模型又更新了。 这次开源一如既往地「突然」，是在一个叫做 Cerebral Valley 的黑客松活动上公布的。 PPT 一翻页，全场都举起了手机拍照： 这次开源的 Mistral 7B v0.2 Base Mod...
-
AIGC 实战：Ollama 和 Hugging Face 是什么关系？
HuggingFace（拥抱脸）和Ollama都与**大型语言模型（LLMs）**有关，但它们的用途不同： HuggingFace： HuggingFace 是一个知名的平台，提供各种预训练的LLMs，包括流行的模型如GPT-3、BERT和...
-
阿里、百度双双出手，大模型长文本时代终于到来？
AGI时代，越来越近了。 全民Long-LLM时代终于到来。 本月，中国初创AGI（通用人工智能）公司月之暗面宣布旗下大模型工具Kimi Chat正式升级到200万字参数量，与五个月前该大模型初次亮相时的20万字相比，提升十倍。Kimi Chat的升级彻底...
-
LLaMA中SwiGLU的实现形式
LLaMA（Low-Level Machine Learning Architecture）是一种全新的机器学习架构，旨在提高模型的性能和效率。这种架构不仅注重模型的精度，更关注其在各种实际应用场景中的运行效率。在LLaMA中，SwiGLU作为一种新型的实...
-
LangChain+llama.cpp+llama-cpp-python工程学习笔记（一）
LangChain 是一个开发由语言模型驱动的应用程序的框架，有以下特性。 数据感知 : 将语言模型连接到其他数据源 具有代理性质 : 允许语言模型与其环境交互 pip install langchain 报错ERROR: Could not...
-
对大型语言模型的安全性能进行基准测试，谁更胜一筹？
大型语言模型（LLM）机器学习技术正在迅速发展，催生了多个相互竞争的开源和专有架构。除了与ChatGPT等平台相关的生成式文本任务外，LLM还被证实在许多文本处理应用程序中具有实用价值，可以协助编写代码以及对内容进行分类。 SophosAI研究了许多在网...
-
大模型之Llama系列- LlaMA 2及LLaMA2_chat(上)
LlaMA 2是一个经过预训练与微调的基于自回归的transformer的LLMs，参数从7B至70B。同期推出的Llama 2-Chat是Llama 2专门为对话领域微调的模型。 在许多开放的基准测试中Llama 2-Chat优于其他开源的聊天模型，此外...
-
【本地大模型部署与微调】ChatGLM3-6b、m3e、one-api、Fastgpt、LLaMA-Factory
本文档详细介绍了使用ChatGLM3-6b大模型、m3e向量模型、one-api接口管理以及Fastgpt的知识库，成功的在本地搭建了一个大模型。此外，还利用LLaMA-Factory进行了大模型的微调。 1.ChatGLM3-6b 2.m3e 3....
-
基于LLM的Unity游戏开发利器——LLMUnity
在本文中，我们将向您展示如何在Unity引擎中使用LLM（大型语言模型）。我们将使用LLMUnity包（https://github.com/undreamai/LLMUnity）展示如何仅用几行代码即可搭建一个交互对话的实例！ 免责声明：我本人是LLM...
-
符尧大佬一作发文，仅改训练数据，就让LLaMa-2上下文长度扩展20倍！
引言：探索语言模型的长上下文能力 近日，谷歌推出了Gemini Pro 1.5，将上下文窗口长度扩展到100万个tokens，目前领先世界。而其他语言模型也正在不断探索长上下文能力，也就是模型处理和理解超出其训练时所见上下文长度的能力。例如，一个模型可能...
-
巨头争锋：AGI来到临界点？
作者丨Mohit Pandey 编译丨诺亚 出品 | 51CTO技术栈（微信号：blog51cto） 曾经，通用人工智能似乎距离我们很远，但如今事情发生了变化。AGI很快就会到来吗？ 有些人认为这一目标将在明年达成，有些人预测在2029年实现，还有些...
-
使用 QLoRA 进行微调Llama 2 和 Mistral的初学者指南
本指南适用于任何想要为自己的项目定制强大的语言模型（如 Llama 2 和 Mistral）的人。使用 QLoRA，我们将逐步完成...
-
【UE5】离线AI聊天-接入LLAMA语言模型 教程
前言：LLAMA是一种神经网络模型，全称为Language Model with an Average Attention Mechanism（具有平均注意机制的语言模型）。它是一种用于自然语言处理任务的模型，特别适用于生成文本和回答问题。LLAMA模...
-
【AIGC】2023年生成式AI发展综述
文章目录 一、文本生成 & 智能问答 二、AI绘画 三、音频生成 四、视频生成 五、三维生成 & 数字人 5.1 通用三维生成 5.2 数字人 展望：通用人工智能趋势 2023年是人工智能内容生成（AIGC）...
-
为何大语言模型不会取代码农？
译者 | 布加迪 审校 | 重楼 生成式人工智能（GenAI）会取代人类程序员吗？恐怕不会。不过，使用GenAI的人类可能会取代程序员。但是如今有这么多的大语言模型（LLM），实际效果不一而足。 如果您在努力跟上所有LLM，并非只有您一个人。我们目睹一...
-
如何扩展大模型的上下文长度
一、背景 大模型的上下文长度是指我们在使用大模型的时候，给大模型的输入加上输出的字符（Token）总数，这个数字会被限制，如果超过这个长度的字符会被大模型丢弃。目前开源的大模型上下文长度一般不长，比如 Llama 2 只有 4K，Code-Llama 系...
-
基于Google Vertex AI 和 Llama 2进行RLHF训练和评估
Reinforcement Learning from Human Feedback 基于Google Vertex AI 和 Llama 2进行RLHF训练和评估 课程地址：https://www.deeplearning.ai/short-cou...
-
AIGC元年大模型发展现状手册
零、AIGC大模型概览 AIGC大模型在人工智能领域取得了重大突破，涵盖了LLM大模型、多模态大模型、图像生成大模型以及视频生成大模型等四种类型。这些模型不仅拓宽了人工智能的应用范围，也提升了其处理复杂任务的能力。a. LLM大模型通过深度学习和自然语...
-
llama_index 官方文档阅读笔记 (持续更新版)
llama 0.10.17🦙版本 阅读 链接: LlamaIndex 🦙 v0.10.17 LlamaIndex 是一个基于 LLM 的应用程序的数据框架，它受益于上下文增强。这种LLM系统被称为RAG系统，代表“检索-增强生成”。LlamaIndex...
-
ChatGPT参数规模被扒：只有7B
ChatGPT惨遭攻击，参数规模终于被扒出来了—— 很可能只有7B（70亿）。 消息来自南加州大学最新研究，他们使用一种攻击方法，花费不到1000美元就把最新版gpt-3.5-turbo模型的机密给挖了出来。 果然，OpenAI不Open，自有别人帮他...
-
NVIDIA大语言模型落地的全流程解析
包括三部分内容： 第一部分是关于 NeMo Framework。NeMo Framework 是 NVIDIA 大语言模型的全栈解决方案，它通过不同组件完成生成式 AI 各个环节的任务，包括数据预处理、分布式训练、模型微调、模型推理加速及部署（Ten...
-
什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？
选择使用哪种大模型，如Bert、LLaMA或ChatGLM，取决于具体的应用场景和需求。下面是一些指导原则： Bert模型：Bert是一种预训练的语言模型，适用于各种自然语言处理任务，如文本分类、命名实体识别、语义相似度计算等。如果你的任务是通用的文...
-
联想moto X50 Ultra AI手机官宣：首批搭载第三代骁龙8s
快科技3月18日消息，联想宣布，联想moto X50 Ultra AI手机首批搭载第三代骁龙8s移动平台，带给用户AI 性能的甜点体验”。 从命名来看，联想moto X50 Ultra AI手机主打的功能是AI”。 想要承载AI技术，一方面需要手机在硬件上...
-
高通推出第三代骁龙8s移动平台 支持100亿AI参数模型
今日，高通技术公司震撼发布全新旗舰级移动平台——第三代骁龙®8s，为Android旗舰智能手机市场注入了全新活力。这款平台不仅继承了骁龙8系平台广受欢迎的特性，更在多个方面实现了显著升级，为用户带来前所未有的顶级移动体验。 在第三代骁龙8s上，我们看到了诸...
-
AI战争升级！马斯克开源Grok聊天机器人代码
伊隆·马斯克在AI未来控制战中迈出了一步，他于周日公开了他版本的人工智能聊天机器人的原始计算机代码。Grok聊天机器人由马斯克去年创立的xAI公司开发，其设计旨在提供模仿科幻小说《银河系漫游指南》风格的刻薄回复。xAI虽然是独立于X公司的实体，但其技术已集...
-
马斯克打脸OpenAI，全球最大巨无霸模型Grok-1开源！3140亿参数8个MoE，GitHub狂揽6k星
说到做到，马斯克xAI的Grok，果然如期开源了！ 就在刚刚，xAI正式发布3140亿参数混合专家模型Grok-1的权重和架构。 3140亿的参数，让Grok-1成为迄今参数量最大的开源LLM，是Llama 2的4倍。 目前，xAI关于Grok-1...
-
马斯克开源Grok-1：3140亿参数迄今最大，权重架构全开放，磁力下载
说到做到，马斯克承诺的开源版大模型 Grok 终于来了！ 今天凌晨，马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家（MoE）模型「Grok-1」，以及该模型的权重和网络架构。 这也使得Grok-1成为当前参数量最大的开源大语言...
-
为了保护客户隐私，使用Ruby在本地运行开源AI模型
译者 | 陈峻 审校 | 重楼 最近，我们实施了一个定制化的人工智能（AI）项目。鉴于甲方持有着非常敏感的客户信息，为了安全起见，我们不能将它们传递给OpenAI或其他专有模型。因此，我们在AWS虚拟机中下载并运行了一个开源的AI模型，使之完全处于我们的...
-
【学习笔记】：Ubuntu 22 使用模型量化工具llama.cpp部署大模型 CPU+GPU
学习笔记：Ubuntu 22 使用模型量化工具llama.cpp部署大模型 CPU+GPU 前言 1 下载并编译llama.cpp 1.1 git下载llama.cpp仓库源码 1.2 编译源码（make） 1.2.1 选择一：仅在CPU上...
-
重磅！谷歌正式推出开源大语言模型 Gemma，声称超越 Meta Llama-2 竞品
击上方关注 “终端研发部” 设为“星标”，和你一起掌握更多数据库知识 AI 开源之战打响！ 作为曾经AI领域扛把子的谷歌，这两年多来，风头几度被抢，一直处于被压着打的境地，，昨天Gemma的发布，预示着谷歌登上开源大模型“铁王...
-
LLaMA-Factory 8卡4090 deepspeed zero3 微调Qwen14B-chat
环境安装 推荐使用docker，Ubuntu20.04https://www.modelscope.cn/docs/%E7%8E%AF%E5%A2%83%E5%AE%89%E8%A3%85 docker pull registry.cn-beijin...
-
4万亿晶体管5nm制程，全球最快AI芯片碾压H100！单机可训24万亿参数LLM，Llama 70B一天搞定
全球最快、最强的AI芯片面世，让整个行业瞬间惊掉了下巴！ 就在刚刚，AI芯片初创公司Cerebras重磅发布了「第三代晶圆级引擎」（WSE-3）。 性能上，WSE-3是上一代WSE-2的两倍，且功耗依旧保持不变。 90万个AI核心，44GB的片上SRA...
-
Meta公布Llama 3训练集群细节！储备60万块H100迎接AGI
每年3月份，照例各家大厂又要开始秀自己最新的产品和研究了。 OpenAI刚刚发布了震惊世人的Sora，最新的ChatGPT版本似乎也是箭在弦上。 谷歌更是举全公司之力，从去年底就开始放出了包括Gemini Ultra，Gemini 1.5，Gemma在内...
-
图技术在 LLM 下的应用：知识图谱驱动的大语言模型 Llama Index
LLM 如火如荼地发展了大半年，各类大模型和相关框架也逐步成型，可被大家应用到业务实际中。在这个过程中，我们可能会遇到一类问题是：现有的哪些数据，如何更好地与 LLM 对接上。像是大家都在用的知识图谱，现在的图谱该如何借助大模型，发挥更大的价值呢？ 在本...
-
Meta新增两大万卡集群，投入近50000块英伟达H100 GPU
Meta日前推出两个功能强大的GPU集群，用于支持下一代生成式AI模型的训练，包括即将推出的Llama 3。 据悉，这两个数据中心的GPU数量均高达24,576块，专为支持比之前发布的更大、更复杂的生成式AI模型而构建。 作为一种流行的开源算法模型，M...