-
基于 Llama-Index、Llama 3 和 Qdrant，构建一个 RAG 问答系统！
构建一个使用Llama-Index、Llama 3和Qdrant的高级重排-RAG系统 尽管大型语言模型（LLMs）有能力生成有意义且语法正确的文本，但它们面临的一个挑战是幻觉。 在LLMs中，幻觉指的是它们倾向于自信地生成错误答案，制造出看似令人信...
-
真实对比kimi、通义千问、文心一言的写代码能力，到底谁强？
?AI改变生活：最近都在说月之暗面的kimi的各项能力吊打国内其他大模型，今天我们真实感受下 kimi、通义千问、文心一言的根据需求写代码的能力。 测评结果让人震惊！ kimi kimi编程过程 我们先看一下热捧的月之暗面的kimi模型。...
-
六位一线AI工程师总结爆火！大模型应用摸爬滚打一年心得公开，网友：全程高能
六位一线AI工程师和创业者，把在大模型应用开发上摸爬滚打一整年的心得，全!分!享!了! （奇怪的六一儿童节大礼包出现了） 这篇干货长文，一时间成为开发者社区热议的话题。 有网友评价为，大模型领域少有的“有操作性”的实用见解，非常值得一读。 这6位作者来...
-
LLaMA参数微调方法
1.Adapter Tuning：嵌入在transformer中 新增了一个名为adapter的结构，其核心思想是保持模型其他原始参数不变，只改变adapter的参数，其结构如下图所示： 1.在每一个transformer模块最后都加入一层ada...
-
Datawhale |【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3
本文来源公众号“Datawhale”，仅用于学术分享，侵权删，干货满满。 原文链接：【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3 0. 引言 在AI领域，大模型的发展正以前所未有的速度推进技术的边界。 北京时间4月1...
-
GpuMall智算云：meta-llama/llama3/Llama3-8B-Instruct-WebUI
LLaMA 模型的第三代，是 LLaMA 2 的一个更大和更强的版本。LLaMA 3 拥有 35 亿个参数，训练在更大的文本数据集上GpuMall智算云 | 省钱、好用、弹性。租GPU就上GpuMall,面向AI开发者的GPU云平台 Llama 3 的推...
-
Llama 3 微调项目实践与教程（XTuner 版）
Llama 3 微调项目实践与教程（XTuner 版） OpenMMLab 2024-04-20 11:37 上海 以下文章来源于InternLM ，作者XTuner InternLM. 以原始创新引领AI大模型技术进步。 Lla...
-
OpenAI要和苹果合作：投资数百亿美元的微软不高兴了
快科技5月31日消息，据国外媒体报道，苹果与OpenAI的合作谈判已持续一年之久，并且双方计划在即将到来的苹果WWDC 2024开发者大会上正式宣布合作事宜。 据悉，合作内容可能涉及将ChatGPT集成到iOS 18系统中，这将大幅提升Siri的智能处理能...
-
【AIGC调研系列】llama 3与GPT4相比的优劣点
Llama 3与GPT-4相比，各有其优劣点。以下是基于我搜索到的资料的详细分析： Llama 3的优点： 更大的数据集和参数规模：Llama 3基于超过15T token的训练，这相当于Llama 2数据集的7倍还多[1][3]。此外，它拥有40...
-
大模型进入「实用」时代，亚马逊云科技已是Next Level
在云计算领域竞争最激烈的时代，亚马逊云科技曾提出，云计算的普惠是技术升级带来的。这个说法换到如今的生成式 AI 时代也是成立的。 如果细数这半年来「震撼发布」、「颠覆时代」出现的频率，其实并不比往年低。每一次迭代都在抬高大模型解决问题能力的上限，也都拓宽了...
-
LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)
LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码 合并多个PEFT模型(LoRA技术 将LLaMA-3扩展到100万/1048k上下文——解析...
-
Mistral 开源代码模型夺得王座！Codestral疯狂训练超80种语言，国内通义开发者请求出战！
出品 | 51CTO技术栈（微信号：blog51cto） Mistral 发布了首个代码模型 Codestral-22B！ 该模型的疯狂之处不仅在于训练了80多种编程语言，包括许多代码模型忽略的Swift等。 还在于他非同一般的速度。要求用Go语言编...
-
Mistral AI推首个代码生成模型Codestral 支持多种编程语言
Mistral AI 推出了其首个代码生成模型 Codestral，这是一个功能强大的工具，旨在帮助开发者提高编码效率和质量。 以下是 Codestral 的一些关键特性和优势: 支持多种编程语言: Codestral 能够支持超过80种编程语言，包括当...
-
通用大模型研究重点之五：llama family
LLAMA Family decoder-only类型 LLaMA（Large Language Model AI）在4月18日公布旗下最大模型LLAMA3，参数高达4000亿。目前meta已经开源了80亿和700亿版本模型，主要升级是多模态、长文本方...
-
腾讯正式发布AI助手App“腾讯元宝”：提供口语陪练特色应用
快科技5月30日消息，腾讯今日正式上线AI助手App腾讯元宝”。 据官方介绍，腾讯今日正式推出了全新的AI助手App腾讯元宝”，这款应用基于腾讯的混元大模型，集成了AI搜索、AI总结、AI写作等强大功能，为用户带来前所未有的智能体验。 腾讯元宝的亮点在于其...
-
AI神器腾讯元宝APP上线 基于腾讯混元大模型开发打造
站长之家（ChinaZ.com）5月30日 消息:今日，基于腾讯混元大模型开发的AI产品——“腾讯元宝”正式上线。这款App与先前的混元小程序版本相比，更加聚焦于AI技术的深度应用，为用户提供了包括AI搜索、AI总结、AI写作在内的核心功能，展现了其全面的...
-
超详细！AIGC面试系列 大模型进阶(2)
本期问题快览 1. 如何让大模型处理更长的文本？ 2. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？ 3. 什么是有监督微调SFT 4. SFT 指令微调数据如何构建? 5. 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘...
-
一文速览Llama 3及其微调：从如何把长度扩展到100万到如何微调Llama3 8B
前言 4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了，一查，还真是 本文以大模型开发者的视角，基于Meta官方博客的介绍：Introducing Meta Llama 3: The most capa...
-
详解生成式人工智能的开发过程
译者 | 晶颜 审校 | 重楼 开发生成式人工智能应用程序与开发传统的机器学习应用程序非常不同，以下是步骤详解。 回到机器学习的“古老”时代，在您可以使用大型语言模型(LLM 作为调优模型的基础之前，您基本上必须在所有数据上训练每个可能的机器学习模型，...
-
数据驱动与 LLM 微调：打造 E2E 任务型对话 Agent
作者 | Thought Agent 社区 在对话系统的设计和实现中，传统的基于 Rasa-like 框架的方法往往需要依赖于多个模块的紧密协作，例如我们在之前的文章中提到的基于大模型（LLM）构建的任务型对话 Agent，Thought Agent，其...
-
Meta AI的首席执行官LeCun：不要从事LLM工作
出品 | 51CTO技术栈（微信号：blog51cto） 在巴黎举行的初创企业年度技术大会VivaTech上，Meta AI的首席执行官Yann LeCun建议希望在AI生态系统中工作的学生不要从事LLM（大型语言模型）方面的工作。 “如果你是对构建下一...
-
GPT-5倒计时！奥特曼踢走Ilya得逞，宫斗惊人内幕再曝光
「OpenAI下一代前沿模型，正在训练中」。 经历了几周前Ilya、安全团队负责人Jan Leike离职后，超级对齐团队也被OpenAI解散。 今天，奥特曼领衔的OpenAI全新的「安全与保障委员会」官宣成立。 不仅如此，OpenAI预计，正在训练的下...
-
当前都在堆长窗口，还需要 RAG 吗？
自从谷歌的 Gemini 1.5 Pro 发布后，行业内就有不少人在背后“蛐蛐” RAG。 一方面是因为，Gemini 的表现确实亮眼。根据官方发布的技术报告，Gemini 1.5 Pro 能够稳定处理高达100 token，相当于1小时的视频、11小时...
-
OpenAI正训练GPT-4的继任者，GPT-5或将带来三个重大升级
虽然 OpenAI 最近推出的模型 GPT-4o 在大型语言模型（LLM）领域有了重大突破，但该公司已经开始着手研发下一个旗舰模型 GPT-5。许多人在 GPT-4o 发布前期就期待着 OpenAI 推出备受瞩目的 GPT-5。为了澄清这种猜测，首席执行官...
-
基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二）
基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） #Options local_llm = 'llama3' llm = ChatOllama(model=local_llm, format="json", tempe...
-
AIGC趋势下软件工程强智能编码来临了么？
一、背景 在AIGC（AI Generated Content，人工智能生成内容）的趋势下，软件工程领域的“强智能编码”是指通过深度学习、自然语言处理等前沿技术，使AI具备理解、学习、推理和生成代码的能力，从而实现自动化或半自动化的程序开发。这种技术能够...
-
AI智能体的炒作与现实：GPT-4都撑不起，现实任务成功率不到15%
随着大语言模型的不断进化与自我革新，性能、准确度、稳定性都有了大幅的提升，这已经被各个基准问题集验证过了。 但是，对于现有版本的 LLM 来说，它们的综合能力似乎并不能完全支撑得起 AI 智能体。 多模态、多任务、多领域俨然已成为 AI 智能体在公共...
-
不影响输出质量还能追踪溯源，「大模型无偏水印」入选ICLR 2024 Spotlight
本文通讯作者为马里兰大学计算机系的博士生胡正冕，其导师为 Heng Huang。他的主要研究方向是采样与机器学习理论，曾在ICML、NeurIPS、ICLR等顶级会议上发表多篇论文。邮箱: huzhengmian@gmail.com 随着大语言模型（LL...
-
Llama中文大模型-模型预训练
Atom系列模型包含Atom-7B和Atom-13B，基于Llama2做了中文能力的持续优化。Atom-7B和Atom-7B-Chat目前已完全开源，支持商用，可在Hugging Face仓库获取模型:https://huggingface.co/Flag...
-
TigerGraph CoPilot如何实现图形增强式AI
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 通过对比其他商用LLM的缺陷，本文详细介绍了TigerGraph CoPilot的主要功能、优点、以及两个关键用例。 近年来，数据作为...
-
一文读懂本地运行 LLM 的优秀实践方法
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM -常见的本地运行 LLM 方法。 众所周知，如今使用 ChatGPT 等大型模型工具变得异常简单，只需通过浏览器在线访问即可。然而，需要注意的是，...
-
什么是Token？为什么大模型要计算Token数
本文分享自华为云社区《【技术分享】什么是Token？为什么GPT基于Token定价》，作者：开天aPaaS小助手Tracy。 在使用LLM大模型时，我们经常会遇到一个关键词，叫：Token。 比如： 最新版 GPT-4 Turbo 模型最高支持 12...
-
马斯克的 xAI 融资 60 亿美元，估值达 240 亿美元
Elon Musk 的人工智能公司 xAI 在最新的 B 轮融资中成功筹集了60亿美元，使得该公司的估值达到了240亿美元。该公司周日宣布了这一消息，表示这笔资金将用于推出 xAI 的首个产品、建设先进基础设施，并加速未来技术的研发。 xAI 的关键投资...
-
英伟达赢麻了！马斯克xAI超级算力工厂曝光，10万块H100、数十亿美元
最近几年，随着大语言模型的飞速发展与迭代，科技巨头们都竞相投入巨额财力打造超级计算机（或大规模 GPU 集群）。他们认为，更强大的计算能力是实现更强大 AI 的关键。 早在 2022 年，Meta 即宣布与英伟达共同打造大型 AI 研究超级计算机「AI...
-
研究称GPT-4 选股准确率高达 60%，被质疑数据污染
最近，一篇芝大论文引发了业内的热议，研究发现 GPT-4在选股方面的准确率高达60%，超越了大部分人类股票分析师和专业模型。这一发现让人们开始怀疑人类股票分析师是否将面临下岗的风险。然而，一些 AI 大牛对这项研究提出了质疑，指出可能存在训练数据污染的问题...
-
最新AI创作系统，ChatGPT商业运营系统网站源码，SparkAi-v6.5.0，Ai绘画/GPTs应用，文档对话
一、文章前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，那么如何搭建部署AI创作ChatGPT？小编这里写一个...
-
离大模型落地应用最近的工程化技术(RAG)
虽然大规模语言模型（LLM）在自然语言处理（NLP）方面表现出了其强大的文本生成和理解能力，但是它们在实际应用中仍然面临一些挑战，如处理大规模知识库和实时获取最新信息的能力，并且会产生幻觉。为了解决这些问题，检索增强生成（Retrieval-Augmen...
-
一文深度剖析 ColBERT
近年来，向量搜索领域经历了爆炸性增长，尤其是在大型语言模型（LLMs）问世后。学术界开始重点关注如何通过扩展训练数据、采用先进的训练方法和新的架构等方法来增强 embedding 向量模型。 在之前的文章中，我们已经深入探讨了各种类型的 embeddin...
-
手撕Llama3第1层: 从零开始实现llama3
一、Llama3的架构在本系列文章中，我们从头开始实现llama3。 Llama3的整体架构： 图片 Llama3的模型参数： 让我们来看看这些参数在LlaMa 3模型中的实际数值。 图片 [1] 上下文窗口（context-window）在实例化Lla...
-
Meta LlaMA 3模型深度解析
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 拉玛的故事 “在安第斯山脉崎岖的山区，生活着三种非常美丽的生物——里约、洛基和塞拉。它们有着光泽的皮毛和闪闪发光的眼睛，是力量和韧性的...
-
Llama大型语言模型原理详解
Llama大型语言模型是一种基于深度学习的自然语言处理模型，它在文本生成、问答、摘要等多种NLP任务中展现出强大的性能。本文将详细解析Llama模型的原理，包括其结构、训练过程以及工作机制，帮助读者深入理解这一先进的模型。 一、模型结构 Llama模型...
-
Stable Diffusion WebUI 中调度器（Schedule type）简单研究
?内容概要 在近期，stable diffusion webui更新了1.9版本，其中包含的一项变化就是，把采样器和调度器（Schedule type）分开了，之前是合并在一起来选择的，所以这篇文章主要分两个部分，第一个部分是作者为什么把他们给分开了，第...
-
最新AI创作系统ChatGPT网站源码AI绘画系统（SparkAi v6系统），附详细搭建部署教程
一、前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，那么如何搭建部署AI创作ChatGPT？小编这里写一个详细...
-
Llama模型下载
最近llama模型下载的方式又又变了，所以今天简单更新一篇文章，关于下载的，首先上官网，不管在哪里下载你都要去官网登记一下信息：https://llama.meta.com/llama2 然后会出现下面的信息登记网页： 我这里因为待业所以or...
-
阿里开源截止目前为止参数规模最大的Qwen1.5-110B模型：MMLU评测接近Llama-3-70B，略超Mixtral-8×22B！
本文原文来自DataLearnerAI官方网站：阿里开源截止目前为止参数规模最大的Qwen1.5-110B模型：MMLU评测接近Llama-3-70B，略超Mixtral-8×22B！ | 数据学习者官方网站(Datalearner https://www...
-
探索 Obsidian Copilot：智能笔记的新里程碑
探索 Obsidian Copilot：智能笔记的新里程碑 项目地址:https://gitcode.com/logancyang/obsidian-copilot 项目简介 Obsidian Copilot 是一个创新的插件，为流行的 markdo...
-
知识分享系列五：大模型与AIGC
大模型（LLM，Large Language Mode）是指通过在海量数据上依托强大算力资源进行训练后能完成大量不同下游任务的深度学习模型。大模型主要用于进行自然语言相关任务，给模型一些文本输入，它能返回相应的输出，完成的具体任务包括生成、分类、总结、改写...
-
Midjourney画图关键词-日本漫画类型关键词
Midjourney的画图关键词中，日本漫画类型关键词可以包括以下几种： 1. **Shonen**：少年漫画，通常以年轻男性为主要读者群，内容包含冒险、动作、科幻等元素。 2. **Shojo**：少女漫画，以年轻女性为主要读者群，内容通常包含浪漫、友...
-
「AIGC」AIGC技术入门
人工智能（AI）领域的多个重要概念和实践。 一、思考问题 什么是AI? 什么是AIGC? 什么是AGI? 什么是模型? 什么是大模型(LLM ,什么是小模型? 什么是提示词工程?如何写提示词 什么是神经网络? 召回率是什么含义?...
-
阿里投资Kimi AI开发商月之暗面细节曝光：8亿美元换36%股权
快科技5月24日消息，日前阿里巴巴发布了2024财年年报，其中披露了一项投资细节：阿里巴巴在2024财年向AI初创公司月之暗面（Moonshot AI）投资约8亿美元，以此换取了该公司约36%的股权。 并且此次投资为优先股投资，显示了阿里巴巴对月之暗面及其...