-
【AIGC半月报】AIGC大模型启元：2024.08（下）
【AIGC半月报】AIGC大模型启元：2024.08（下）） (1 Nemotron-4-Minitron（Nvidia LLM） (2 VITA（腾讯优图多模态大模型） (3 mPLUG-Owl3（阿里巴巴多模态大模型） (4 ADA...
-
小心！AI能「看懂」你的唇语，悄悄话不再安全！
小心悄悄话被AI听见!（嘘） 最近国外一款可以读唇语的AI软件火了! 具体效果如下: 红毯上布莱克·莱弗利小声说:“好紧张”，笑着说话时肉眼很难分辨唇语，但AI可以。 乍一看只能看见一排白牙（bushi）的侃爷，唇语也能被轻松破解。 看完后网友们开始纷...
-
本地部署Llama 3.1大模型
Meta推出的Llama 3.1系列包括80亿、700亿、4050亿参数版本，上下文长度扩展至12.8万tokens，并增加了对八种语言的支持。 部署模型需要用到Ollama的一个工具，访问官方网站https://ollama.com 点击下载...
-
蚂蚁的AI故事，讲到哪儿了？
没有一家互联网大厂愿意错过AI这一风口。 在近期举办的2024Inclusion外滩大会上，蚂蚁集团一次性推出了三款AI产品，分别是「支小宝」、「蚂小财」、「AI健康管家」，对应衣食住行、理财、医疗三大领域。其中「支小宝」既可在支付宝内使用，也有独立APP...
-
llama.cpp本地部署大模型
llama.cpp 是一个C++库，用于简化LLM推理的设置，它使得在本地机器上运行大模型（GGUF格式）成为可能。 官网：https://github.com/ggerganov/llama.cpp 模型库： https://huggingface...
-
【愚公系列】《AIGC辅助软件开发》020-AI 辅助测试与调试：如何让AI更好地辅助我们工作
🏆 作者简介，愚公搬代码 🏆《头衔》：华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专...
-
java重点学习-RabbitMQ+Kafka
六 RabbitMQ Kafka 6.1 RabbitMQ-如何保证消息不丢失 开启生产者确认机制，确保生产者的消息能到达队列 开启持久化功能，确保消息未消费前在队列中不会丢失 开启消费者确认...
-
【大模型】llama系列模型基础
前言：llama基于transformer架构，与GPT相似，只用了transformer的解码器部分。本文主要是关于llama，llama2和llama3的结构解读。 目录 1. llama 1.1 整体结构 1.2 RoPE 1...
-
GPT-4o不会数r，被外国小哥原地逼疯！ 谷歌论文揭秘Transformer「数不到n」
提示工程师Riley Goodside小哥，依然在用「Strawberry里有几个r」折磨大模型们，GPT-4o在无限次PUA后，已经被原地逼疯!相比之下，Claude坚决拒绝PUA，是个大聪明。而谷歌最近的论文也揭示了本质原因:LLM没有足够空间，来存储...
-
刚刚，苹果将ChatGPT集成在iPhone 16，一夜重塑手机！
苹果在今天凌晨1点举办的产品发布会上宣布，将最新开发的 “Apple Intelligence”集成在iPhone16、iPad 平板和Mac笔记本中，全面拥抱生成式AI。 其中，Siri已经集成了OpenAI的ChatGPT（GPT-4o）功能，使其理解...
-
基于云原生向量数据库 PieCloudVector 的 RAG 实践
近年来，人工智能生成内容（AIGC）已然成为最热门的话题之一。工业界出现了各种内容生成工具，能够跨多种模态产生多样化的内容。这些主流的模型能够取得卓越表现，归功于创新的算法、模型规模的大幅扩展，以及海量的高质量数据集。然而 AIGC 依然面临一系列挑战，检...
-
ACL 2024 | CoCA：自注意力的缺陷与改进
近年来，在大语言模型（LLM）的反复刷屏过程中，作为其内核的 Transformer 始终是绝对的主角。然而，随着业务落地的诉求逐渐强烈，有些原本不被过多关注的特性，也开始成为焦点。例如：在 Transformer 诞生之初，被视为天然具备的长度外推能力，...
-
开源大模型再迎“历史性时刻”，Meta发布Llama 3.1
7月23日晚，Meta正式推出了最新的开源大模型系列Llama 3.1，进一步缩小了开源模型与闭源模型之间的差距。Llama 3.1系列包括8B、70B和405B三个参数规模，其中Llama 3.1-405B参数的模型在多个基准测试中超越了OpenAI的G...
-
DALL-E-3使用指南
OpenAI发布的DALL-E 3无疑是这一领域的佼佼者。本文将深入分析DALL-E 3的技术特点、应用场景及其对未来图像创作的影响。 一、DALL-E-3的技术特点 DALL-E 3是OpenAI在图像生成领域的最新成果，它基于深度学习技...
-
lit-llama代码解析
https://github.com/Lightning-AI/lit-llama/blob/main/README.md 下载的时候会报错误，因为网不行，一种方法就是多次尝试，另一种方法是终端连上代理下载 pycharm连接hugging fac...
-
node-llama-cpp 使用与安装指南
node-llama-cpp 使用与安装指南 node-llama-cppRun AI models locally on your machine with node.js bindings for llama.cpp. Force a JSON s...
-
笔记本本地部署100b以上千亿级别LLM，并在手机端接入
前言 本文将演示如何在笔记本上运行千亿级模型，后端 Koboldcpp 运行在 Ubuntu ，前端界面使用安卓手机通过 Termux 且使用 SillyTavern 进行连接，模型使用 104B 的 Command R Plus 的 Q4KM 量化，...
-
混合专家模型（MoE）入门
模型规模是提升LLM大语言模型性能的关键因素，但也会增加计算成本。Mixture of Experts (MoE 架构通过分布式专家层和动态门控机制，有效降低了计算资源，使模型能够在扩展参数规模的同时保持高效的运行。 Mixtral of Exper...
-
RAG 的优化进阶与引入 Reranker
引言 在简单的 RAG 系统中，通过结合检索和生成技术，已经可以显著提升了对复杂查询的响应质量。Reranker 作为 RAG 系统中一个关键的进阶组件，通过对原 RAG 中检索到的内容进行重新组织，可以进一步提高系统的准确性。 本文将深入探讨 RA...
-
【LLM模型微调】LLMs-微调经验-LLaMA微调指南v7.0
【导读】：本文是LLM模型微调第七篇，分享Meta于20240807的开源三篇文章：Methods for adapting large language models，To fine-tune or not to fine-tune，How to fin...
-
大模型外挂知识库rag综述
一、LLMs 不足点 在 LLM 已经具备了较强能力的基础上，仍然存在以下问题： 幻觉问题：LLM 文本生成的底层原理是基于概率的 token by token 的形式，因此会不可避免地产生“一本正经的胡说八道”的情况； 时效性问题：LLM 的规模越大...
-
llama factory运行deepspeed zero3产生stage3_prefetch_bucket_size Input should be a valid integer的解决方案
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客...
-
Llama中的曼巴：通过推测解码加速推理
大型语言模型（LLMs）已经彻底改变了自然语言处理领域，但在处理非常长的序列时面临重大挑战。主要问题来自于Transformer架构的计算复杂度随序列长度呈二次方增长以及其巨大的键值（KV）缓存需求。这些限制严重影响了模型的效率，特别是在推理过程中，使生成...
-
LongLLaMA：扩展上下文处理能力的大型语言模型
LongLLaMA：扩展上下文处理能力的大型语言模型 long_llamaLongLLaMA is a large language model capable of handling long contexts. It is based on Ope...
-
如何在家用设备上运行 Llama 3.1 405B？搭建 AI 集群
在开放式 LLM 模型和封闭式 LLM 模型之间的竞争中，开放式模型的最大优势是您可以在本地运行它们。除了电力和硬件成本外，您无需依赖外部提供商或支付任何额外费用。但是，随着模型大小的增加，这种优势开始减弱。运行需要大量内存的大型模型并不容易。幸运的是，张...
-
《Llama 3大模型》技术报告中英文版，95页pdf
现代人工智能（AI）系统由基础模型驱动。本文介绍了一套新的基础模型，称为Llama 3。它是一群本地支持多语言、编码、推理和工具使用的语言模型。我们最大的模型是一个具有4050亿参数和高达128K令牌上下文窗口的密集Transformer。本文对Llama...
-
爆了，Llama 3.5 405B 爆超GPT-4o，参数直接飙到405B,开源终于战胜了闭源大模型GPT-4o
赶超 GPT-4o，最强大模型 Llama 3.1 405B 一夜封神，扎克伯格：开源引领新时代 就在刚刚，Meta 如期发布了 Llama 3.1 模型。 简单来说，最新发布的 Llama 3.1 405B 是 Meta 迄今为止最强大的模型，也...
-
MIT新研究揭秘「AI洗脑术」！AI聊天诱导人类「编造」记忆，真假难辨
【新智元导读】MIT研究发现:在AI的操纵下，人类会被植入虚假记忆!36.4%的参与者会被聊天机器人误导，形成「现场有枪」的错误记忆。有趣的是，AI的阿谀奉承，会产生「回音室效应」，让偏见更加强化。 GenAI的影响，已经不仅仅是搜索引擎、聊天机器人这么简...
-
专用于理解游戏场景的开源大模型-VideoGameBunny
大模型在游戏开发领域扮演了重要角色，从AI机器人生成到场景搭建覆盖各个领域。但在游戏场景理解、图像识别、内容描述方面很差。 为了解决这些难题，加拿大阿尔伯塔的研究人员专门开源了一款针对游戏领域的大模型VideoGameBunny（以下简称“VGB”）。 V...
-
Llama 3.1 405B：4050亿参数史上最强开源大模型
01 。 概述 Meta公司推出了其最大的开源人工智能模型——Llama 3.1 405B，拥有4050亿个参数，与GPT-4o和Claude 3.5 Sonnet相媲美。该模型在16000个Nvidia H100 GPU上训练而成，现已在云平台上可用，...
-
将 GitHub Copilot 与 JavaScript 结合使用
使用 GitHub Copilot（一个 AI 结对编程器，可在您编码时提供自动完成式建议）来处理 JavaScript 学习目标 学完本模块后，您将能够： 在 Visual Studio Code 中启用 GitHub Copi...
-
手把手系列 ｜ 使用Milvus、Llama 3、Ollama、LangChain本地设置RAG应用
随着 Llama、Mistral、Gemma 等开源大语言模型（LLM）的出现，我们越来越能感受到 LLM 的力量，而本地运行基于 LLM 的 RAG 应用的需求越来越强烈。在将应用推至生产环境前，我们往往都需要先本地运行和测试。 因此，本...
-
一文看懂llama2(原理&模型&训练）
一文看懂Llama2（原理&模型&训练） 一、引言 Llama2是Meta（原Facebook AI）最新开源的大型语言模型，它基于Transformer架构进行了多项优化和改进，旨在提供更高效、更准确的自然语言处理能力。Llama2...
-
Mistral联合英伟达开源12B小模型：碾压Llama 3，单张4090可跑
小模型，成为本周的AI爆点。 与动辄上千亿参数的大模型相比，小模型的优势是显而易见的:它们不仅计算成本更低，训练和部署也更为便捷，可以满足计算资源受限、数据安全级别较高的各类场景。因此，在大笔投入大模型训练之余，像 OpenAI、谷歌等科技巨头也在积极训...
-
Llama 3.1 这一最强模型按时降临！扎克伯格最新的访谈表明：Llama 将会成为 AI 领域中的 Linux 。
🐱 个人主页：TechCodeAI启航，公众号：TechCodeAI 🙋♂️ 作者简介：2020参加工作，专注于前端各领域技术，共同学习共同进步，一起加油呀！ 💫 优质专栏：AI相关最新技术分享（目前在向AI方向发展，欢迎大佬交流） 📢 资料...
-
【大模型理论篇】关于LLaMA 3.1 405B以及小模型的崛起
前不久，Meta开源了LLaMA 3.1 405B【1】，模型扩展了上下文长度至 128K，支持八种语言，效果非常惊艳，是首个在通用知识、可操控性、数学、工具使用和多语言翻译方面能够与最先进闭源 AI 模型媲美的公开可用模型，已经赶上截至目...
-
Meta最新SAM2模型开源直接封神
2024年7月29日，Meta在官网发布SAM2开源消息：segment-anything-2 开源地址：https://github.com/facebookresearch/segment-anything-2 paper：sam-2-seg...
-
AIGC大模型产品经理高频面试大揭秘‼️
近期有十几个学生在面试大模型产品经理（薪资还可以，详情见下图），根据他们面试（包括1-4面）中出现高频大于3次的问题汇总如下，一共32道题目（有答案）。 29.讲讲T5和Bart的区别，讲讲Bart的DAE任务 T5（Text-to-Text Tr...
-
Meta AI新动向：Llama 4瞄准GPT-4，Agent技术或成研发重点
Meta的AI研发进展 Meta的AI科学家Thomas Scialom在最近的采访中透露了Llama系列大型语言模型的最新动态。Scialom谈到了Llama 3.1的研发思路，并展望了即将到来的Llama 4模型。他表示，Llama 3.1是在追求与...
-
人工智能 | 结对编程助手GithubCopilot
简介 GitHub Copilot 是一款 AI 结对程序员，可帮助您更快、更少地编写代码。它从注释和代码中提取上下文，以立即建议单独的行和整个函数。GitHub Copilot 由 GitHub、OpenAI 和 Microsoft 开发的生成式 A...
-
一文搞懂大模型！基础知识、 LLM 应用、 RAG 、 Agent 与未来发展
LLM 探秘：想要深入了解人工智能界的“新宠”大型语言模型（LLM）吗？本文将带你走进 LLM 的世界，从入门知识到实际应用，全方位解读这个充满魔力的“大模型”。我们将一起揭开 LLM 的神秘面纱，领略其在各个领域的独特魅力。无论你是初学者还是有一定基础的...
-
AI日报：媲美GPT-4！智谱AI发布最新模型GLM-4-Plus；阿里重磅开源超强AI模型Qwen2-VL；国产AI神器NotePin在国外火了
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 1、智谱AI震撼发布GLM-4-P...
-
The Llama 3 Herd of Models
本文是LLM系列文章，针对《The Llama 3 Herd of Models》的翻译。 LLama3模型 摘要 1 引言 2 一般概述 3 预训练 3.1 预训练数据 3.1.1 网络数据管...
-
【开发心得】Dify部署ollama模型的坑[1]
本文接续上次的文章【开发心得】三步本地化部署llama3大模型_dify llama3-CSDN博客 经过几次调试，目前部署终于稳定下来，由于算力问题产生的300 time out也逐渐减少了。因此，把后续在测试过程中碰到的一些坑和怎么爬出来，做一个记录...
-
开源项目：Stable Diffusion Prompt Reader 教程
开源项目：Stable Diffusion Prompt Reader 教程 stable-diffusion-prompt-readerstable-diffusion-prompt-reader - 一个简单的独立查看器，用于在Web UI外部读取...
-
【黄啊码】三分钟学会文心一言
（一）什么是文心一言 文心一言是百度研发的 人工智能大语言模型产品，能够通过上一句话，预测生成下一段话。 任何人都可以通过输入【指令】和文心一言进行对话互动、提出问题或要求，让文心一言高效地帮助人们获取信息、知识和灵感。 *指令（prompt）其实就...
-
AI作画提示词(Prompts)工程：技巧与最佳实践
文章目录 AI作画提示词(Prompts 工程：技巧与最佳实践 一、提示词工程概述 二、技巧与最佳实践 1. 明确和具体的描述 2. 使用上下文 3. 指定艺术风格 4. 使用关键词 5. 适当的限制和优先级 6. 实验和优化 示例提示词...
-
通义灵码代码生成使用感受
最近使用了一段时间通义灵码，我是在idea中安装的通义灵码的插件来使用的，为的是能上下文理解我的代码，好能更合适的生成我需要的代码。 其实我并不是全栈工程师，确切的说我都不算web工程师，之前更多的是做windows平台的程序开发，最近想看看若依框架，正好...
-
NVIDIA把Llama-3的上下文长度扩展16倍，长上下文理解能力超越GPT-4
在 Llama-3.1 模型发布之前，开源模型与闭源模型的性能之间一直存在较大的差距，尤其是在长上下文理解能力上。 大模型的上下文处理能力是指模型能够处理的输入和输出 Tokens 的总数。这个长度有一个限制，超过这个限制的内容会被模型忽略。一般而...
-
VAD-LLaMA：基于大语言模型的视频异常检测和解释（Video Anomaly Detection and Explanation via Large Language Models）
文章目录 问题 方法 整体架构 VE and Feature Extraction Long-Term Context (LTC Module Feature Adaptor LLaMA 训练 流程图 第一阶段：训练VADor 第二阶段...