-
大语言模型之十六-基于LongLoRA的长文本上下文微调Llama-2
增加LLM上下文长度可以提升大语言模型在一些任务上的表现，这包括多轮长对话、长文本摘要、视觉-语言Transformer模型的高分辨4k模型的理解力以及代码生成、图像以及音频生成等。 对长上下文场景，在解码阶段，缓存先前token的Key和Value（K...
-
微软Copilot史诗级更新！GPT-4 Turbo免费用，必应深度搜索30秒精准解答
刚刚过去的Ignite 2023大会上，纳德拉曾宣布Bing Chat全线更名Copilot，并表示： Copilot无处不在。 今天，微软再次推出Copilot一系列重磅级更新。 它将集成OpenAI最新模型GPT-4 Turbo、DALL-E 3、...
-
【LLM系列之LLaMA2】LLaMA 2技术细节详细介绍！
Llama 2 发布！ Meta 刚刚发布了 LLaMa 2，它是 LLaMA 的下一代版本，具有商业友好的许可证。?? LLaMA 2 有 3 种不同的尺寸：7B、13B 和 70B。 7B & 13B 使用与 LLaMA 1 相同的架构，并且是...
-
LLMLingua:集成LlamaIndex，对提示进行压缩，提供大语言模型的高效推理
大型语言模型(llm 的出现刺激了多个领域的创新。但是在思维链(CoT 提示和情境学习(ICL 等策略的驱动下，提示的复杂性不断增加，这给计算带来了挑战。这些冗长的提示需要大量的资源来进行推理，因此需要高效的解决方案，本文将介绍LLMLingua与专有的...
-
【类ChatGPT】中文LLaMA-2、Alpaca-2 二代羊驼大模型体验
前言 Meta发布的一代LLaMA已经掀起了一股开源大模型热潮，也有很多相关工作不断涌现。最近Meta全新发布了Llama-2，效果更上一层楼。而且最重要的是模型可以相对随意分发了，不像一代一样，meta不让开发者发布基于llama模型训...
-
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架 的简介、安装、案例实战应用之详细攻略 导读：2023年07月31日，哈工大讯飞联合实验室，发布Chinese-LLaMA-Alpaca-2，本项目基于Meta发布的...
-
OpenAI，请重新思考 Retrieval Assistant 的方案
作者：栾小凡 Zilliz 合伙人、技术总监 近期， OpenAI 在首届开发者大会上公布了系列最新进展，引发各大媒体和从业人员的广泛关注。 其中最引人注目的是全新推出的 GPT-4 Turbo ——一个更经济、更高效的服务版本，可以显著提升用户体验。...
-
百川智能发布“鹏城-百川·脑海33B”大模型 具备128K长窗口
百川智能与鹏城实验室宣布合作研发基于国产算力的最长窗口大模型。该合作突破了国产算力大模型的技术限制，对国内大模型企业发展具有示范作用。 合作双方将充分发挥各自优势，助力中国大模型创新，推动本土大模型开源开放，为智能化转型提供支持。 合作研发的大模型 “鹏...
-
最新本地大模型进展#Chinese-LLaMA-2支持16k长上下文
Hi，今天为大家介绍最新的本地中文语言模型进展。 [2023/08/25] Chinese-LLaMA-2发布了新的更新： 长上下文模型Chinese-LLaMA-2-7B-16K和Chinese-LLaMA-2-13B-16...
-
Text-to-SQL小白入门（五）开源最强代码大模型Code Llama
摘要 本文介绍了Code Llama大模型的基本概括，包含了论文的摘要、结果、结论以及核心方法，对于了解和实践Code Llama有一定帮助。 论文概述 上一篇介绍了指令进化大模型WizardLM，留了一个坑，补上Code Llama论文学习，...
-
GPT商店已至，AI的爆款应用还有多远？
什么，还必须要关注“技术”想要什么。 昨天凌晨，整个AI界发生了一场地震，在被视为“首届AI春晚”的OpenA开发者大会上，GPT-4进行了史诗版本的更新。 128K的超长上下文、成本更低的tokens、全新的Assistants API、新增的多模态功能...
-
李开复领队开源大模型 Yi，40万字上下文窗口破纪录
由李开复博士亲自下场创办的零一万物（01.ai），自3月底官宣成立后，于近日发布并开源了两个版本的中英文大模型 Yi-6B 和 Yi-34B。 在线上发布环节，李开复博士重点介绍了 Yi 系列大模型的三处性能亮点: 全球最长200K 上下文窗口，免费开...
-
全球最强长文本大模型，一次可读35万汉字：Baichuan2-192K上线
国内大模型创业公司，正在技术前沿创造新的记录。 10 月 30 日，百川智能正式发布 Baichuan2-192K 长窗口大模型，将大语言模型（LLM）上下文窗口的长度一举提升到了 192K token。 这相当于让大模型一次处理约 35 万个汉字，长度...
-
与OpenAI竞争？Jina AI推出开源8K文本嵌入模型
10月27日消息，外媒报道称，人工智能公司Jina AI日前宣布推出其第二代文本嵌入模型“Jina-embeddings-v2”。这个开源模型支持8K(8192个token 的上下文长度，使其在大规模文本嵌入基准(MTEB 排行榜和功能方面与OpenA...
-
Meta普林斯顿提出LLM上下文终极解决方案！让模型化身自主智能体，自行读取上下文节点树
到底什么才是LLM长上下文模型的终极解决方案？ 最近由普林斯顿大学和Meta AI的研究者提出了一种解决方案，将LLM视为一个交互式智能体，让它决定如何通过迭代提示来读取文本。 论文地址：https://arxiv.org/abs/2310.05029...