-
Llama 3.1 技术研究报告-3
四、后训练 我们通过对预训练检查点进⾏多轮后训练,或在预训练检查点的基础上与⼈类反馈(Ouyang等⼈,2022年;Rafailov等⼈,2024年)对⻬模型,以产⽣对⻬的Llama 3模型。每⼀轮后训练包括监督式微调(SFT)和直接偏好优化(DPO;...
-
Chinese-Vicuna: 一个基于LLaMA的中文指令跟随模型
Chinese-Vicuna简介 Chinese-Vicuna是一个基于LLaMA的中文指令跟随模型,由研究者开发,旨在以低资源的方式实现高效的中文语言模型训练。该项目的主要目标是构建和分享可以在单个Nvidia RTX-2080TI上训练的中文指令跟随...
-
LLaMA- Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
发表时间:14 Jun 2023 论文链接:https://arxiv.org/pdf/2303.16199 作者单位:Shanghai Artificial Intelligence Laboratory Motivation:最近,指令跟踪模型取...
-
腾讯最新万亿参数异构MoE上线,技术细节首次曝光!权威评测国内第一,直逼GPT-4o
近期,腾讯混元推出新一代旗舰大模型——混元Turbo。 作为国内率先采用MoE结构大模型的公司,腾讯继续在这一技术路线上进行技术创新。 相较上一代混元Pro的同构MoE大模型结构,混元Turbo采用了全新的分层异构MoE结构,在参数总规模上依然保持万亿级。...
-
打造自己的大模型|01篇LLaMA-Factory微调Llama3和其占用资源分析
面对训练好的通用的大语言模型,例如Llama3-8B,虽然在认知理解,知识问答,逻辑推理,数学,代码方面都表现很好。但是其在特定领域的知识是比较缺乏的,而且对中文问答表现也不是很好,经常出现中英文混答的问题。 所以打造一个属于自己的大模型,非常有必要!...
-
真把自己「当个人」的AI,扫去了我的社交贫困
现代打工人,时常会因为「社交贫困」而四处碰壁,无心工作时不知找谁聊天,讨论气氛热烈时语出惊人,开口就能终结话题,周末出去玩发了朋友圈,后来发现也没有人点赞。 总之一进入社会,就感受到了世界的参差。最近这些尴尬无助的场景,全都有了解决方案。 我们刷到一段聊天...
-
T-Eval:大模型智能体能力评测基准解读 | ACL 2024
AI Agent(智能体)作为大模型的重要应用模式,能够通过使用外部工具来执行复杂任务,完成多步骤的工作流程。为了更全面地评估模型的工具使用能力,司南及合作伙伴团队推出了T-Eval评测基准,相关成果论文已被ACL 2024主会录用,点击链接可查看原文:h...
-
阿里开源新语音模型,比OpenAI的Whisper更好!
阿里巴巴在Qwen-Audio基础之上,开源了最新语音模型Qwen2-Audio。 Qwen2-Audio一共有基础和指令微调两个版本,支持使用语音向音频模型进行提问并识别内容以及语音分析。 例如,让一位女生说一段话,然后识别她的年纪或解读她的心情;发布一...
-
终于来了,OpenAI测试GPT-4o高级语音模式!
OpenAI宣布开始向小部分ChatGPT Plus用户,测试GPT-4o的高级语音模式。 本次测试将主要搜集安全、功能方面的反馈,OpenAI会在8月初分享一份全面的GPT-4o评估报告。随后,还会发布视频和屏幕共享新功能。 获取测试权限的用户会收到O...
-
RAG微调Llama 3竟超越GPT-4!英伟达GaTech华人学者提出RankRAG框架
【新智元导读】来自佐治亚理工学院和英伟达的两名华人学者带队提出了名为RankRAG的微调框架,简化了原本需要多个模型的复杂的RAG流水线,用微调的方法交给同一个LLM完成,结果同时实现了模型在RAG任务上的性能提升。 在需要大量事实知识的文本生成任务中,R...
-
中国版GPT-4o炸场:国内首个流式多模态交互模型,现场实时且丝滑
没等到GPT-4o,商汤先把《Her》给发布出来了! 就在刚刚,商汤直接在现场来了个炸裂的Live Show,话不多说,直接看效果: 不仅声音非常拟人(观众直呼好磁性),而且还是实时、随时可以打断的那种! 它宛如被安上了一对儿眼睛,可以做到精准无误的所见...
-
全员i人?《大闹天宫》MBTI测试让全公司炸锅!最神秘国产大模型团队出手了
【新智元导读】最近,公司全体同事都在疯狂沉迷这款《大闹天宫MBTI》测试!各种直击打工人的灵魂拷问,让所有i人和e人在职场极限场景中反复拉扯。国产黑马和上影打造的原汁原味《大闹天宫》画风,简直让人一秒穿越回童年。 就在最近,全公司都为这个大闹天宫MBTI测...
-
【AI学习】LLaMA 系列模型的进化(一)
一直对LLaMA 名下的各个模型关系搞不清楚,什么羊驼、考拉的,不知所以。幸好看到两篇综述,有个大致了解,以及SEBASTIAN RASCHKA对LLaMa 3的介绍。做一个记录。 一、文章《Large Language Models: A Surve...
-
英伟达开源3400亿巨兽,98%合成数据训出最强开源通用模型!性能对标GPT-4o
【新智元导读】刚刚,英伟达全新发布的开源模型Nemotron-4 340B,有可能彻底改变训练LLM的方式!从此,或许各行各业都不再需要昂贵的真实世界数据集了。而且,Nemotron-4 340B直接超越了Mixtral 8x22B、Claude sonn...
-
大模型理解复杂表格,字节&中科大出手了
只要一个大模型,就能解决打工人遇到的表格难题! 字节联手中科大推出了一款统一表格理解大模型,可以以用户友好的方式解决多种表格理解任务。 同时提出的还有一套开源测试基准,可以更好地评估模型在表格理解任务上的表现。 该模型名为TabPedia,利用多模态大模...
-
【AIGC调研系列】DeepSeek模型的优势和劣势
DeepSeek模型的优势主要包括: 多模态能力:DeepSeek-VL能够在不丢失语言能力的情况下融入多模态能力,能够处理包括逻辑图、网页、公式识别、科学文献、自然图像等多种类型的数据,显示出其强大的通用多模式理解能力[1]。 高分辨率图片输入:...
-
具身智能的视觉-语言-动作模型:综述
本文经自动驾驶之心公众号授权转载,转载请联系出处。 24年5月论文“A Survey on Vision-Language-Action Models for Embodied AI”。 深度学习已在计算机视觉、自然语言处理和强化学习等许多领域取得了显著...
-
OpenAI把GPT-4原始版给了他们:研究不微调只靠提示词能走多远
除了OpenAI自己,居然还有别人能用上GPT-4-Base版?? 也就是未经微调的预训练版,还不会对话聊天,只会补全句子的模型。 EPFL(瑞士洛桑联邦理工)团队申请到了访问权限,用于研究“上下文学习足以让大模型跟随指令吗?”。 也就是不用监督微调、...
-
27岁华裔天才少年对打UC伯克利,首发SEAL大模型排行榜!Claude 3 Opus数学封神
前段时间,由27岁的华裔创始人Alexandr Wang领导的Scale AI刚刚因为融资圈了一波关注。 今天,他又在推特上官宣推出全新LLM排行榜——SEAL,对前沿模型开展专业评估。 SEAL排行榜主打三个特色: - 私有数据 Scale AI的专...
-
腾讯AI助手App元宝来了,公众号作者必备
以产品见长的腾讯,终于推出C端AI助手App:腾讯元宝。 与之前测试的混元助手相比,元宝在AI搜索、AI总结、AI写作等核心能力上都有升级,大模型效果提升50%。 功能听起来好像和同类AI助手也差不多?But,一试才发现—— 能精准搜到微信公众号生态优质...
-
百川智能发布Baichuan 4模型 AI助手“百小应”上线
站长之家(ChinaZ.com 5月22日 消息:在今日举行的Baichuan4模型及产品发布媒体沟通会上,百川智能创始人兼CEO王小川展示了公司的最新成果——Baichuan4模型。这一模型的发布标志着百川智能在AI领域迈出了坚实的一步,相较于前代Ba...
-
开源11天,马斯克再发Grok-1.5!128K代码击败GPT-4
Grok-1官宣开源不过半月,新升级的Grok-1.5出炉了。 刚刚,马斯克xAI官宣,128K上下文Grok-1.5,推理能力大幅提升。 并且,很快就会上线。 11天前,Grok-1模型的权重和架构开源,展示了Xai在去年11月之前取得的进展。 Gr...
-
阶跃星辰宣布推出 Step 系列通用大模型
阶跃星辰团队宣布推出了 Step 系列通用大模型,包括 Step-1千亿参数语言大模型、Step-1V 千亿参数多模态大模型,以及 Step-2万亿参数 MoE 语言大模型的预览版。 据悉,阶跃星辰成立于2023年4月,以 “智能阶跃,十倍每一个人的可...
-
Stable Diffusion 3技术报告出炉:揭露Sora同款架构细节
很快啊,“文生图新王”Stable Diffusion 3的技术报告,这就来了。 全文一共28页,诚意满满。 “老规矩”,宣传海报(⬇️)直接用模型生成,再秀一把文字渲染能力: 所以,SD3这比DALL·E 3和Midjourney v6都要强的文字...
-
Llama中文大模型
关于Llama中文大模型 欢迎来到Llama中文大模型:已经基于大规模中文数据,从预训练开始对Llama2模型进行中文能力的持续迭代升级。 Llama中文大模型 :https://github.com/LlamaFamily/Llama-Chine...
-
Windows、Office直接上手,大模型智能体操作电脑太6了
当我们谈到 AI 助手的未来,很难不想起《钢铁侠》系列中那个令人炫目的 AI 助手贾维斯。贾维斯不仅是托尼・斯塔克的得力助手,更是他与先进科技的沟通者。如今,大模型的出现颠覆了人类使用工具的方式,我们或许离这样的科幻场景又近了一步。想象一下,如果一个多模...
-
上海人工智能实验室发布LLaMA-Adapter | 如何1小时训练你的多模态大模型用于下游任务
本文首发于微信公众号 CVHub,未经授权不得以任何形式售卖或私自转载到其它平台,违者必究! Title: LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-...
-
中文创意写作能力超GPT-4,「最会写」的中文大模型Weaver来了
ChatGPT 等通用大模型支持的功能成百上千,但是对于普通日常用户来说,智能写作一定是最常见的,也是大模型最能真正帮上忙的使用场景之一。尽管大模型经常能写出看起来像模像样的文字,但是大多数情况下内容的创意程度和文风都经不起深究。尤其是在创作领域,大模型...
-
GPT-4V只能排第二!华科大等发布多模态大模型新基准:五大任务14个模型全面测评
近期,多模态大模型(LMMs)在视觉语言任务方面展示了令人印象深刻的能力。然而,由于多模态大模型的回答具有开放性,如何准确评估多模态大模型各个方面的性能成为一个迫切需要解决的问题。 目前,一些方法采用GPT对答案进行评分,但存在着不准确和主观性的问题。另...
-
Llama-2+Mistral+MPT=? 融合多个异构大模型显奇效
随着 LLaMA、Mistral 等大语言模型的成功,各家大厂和初创公司都纷纷创建自己的大语言模型。但从头训练新的大语言模型所需要的成本十分高昂,且新旧模型之间可能存在能力的冗余。 近日,中山大学和腾讯 AI Lab 的研究人员提出了 FuseLLM,用...
-
NeurIPS 2023精选回顾:大模型最火,清华ToT思维树上榜
近日,作为美国前十的科技博客,Latent Space对于刚刚过去的NeurIPS 2023大会进行了精选回顾总结。 在NeurIPS会议总共接受的3586篇论文之中,除去6篇获奖论文,其他论文也同样优秀和具有潜力,甚至有可能预示着下一个AI领域的新突破...
-
OpenAI宣布GPT-3.5 Turbo降价,还治好了GPT-4 Turbo的"懒病"
1月26日消息,美国时间周四, OpenAI宣布了一系列重大更新。这些更新不仅关乎它们备受欢迎的大模型,还包括API访问价格的调整、性能优化以及全新嵌入性模型的发布。这些动作旨在吸引更多开发者的注意,也有望为未来的消费者市场设立新的标杆。 OpenAI...
-
DeepSeek 发布全新开源大模型,数学推理能力超越 LLaMA-2
自从 LLaMA 被提出以来,开源大型语言模型(LLM)的快速发展就引起了广泛研究关注,随后的一些研究就主要集中于训练固定大小和高质量的模型,但这往往忽略了对 LLM 缩放规律的深入探索。 开源 LLM 的缩放研究可以促使 LLM 提高性能和拓展应用领域...
-
Code Llama: Open Foundation Models for Code
本文是LLM系列文章,针对《Code Llama: Open Foundation Models for Code》的翻译。 Code Llama:代码的开放基础模型 摘要 1 引言 2 Code Llama:专业化Llama2用于代码 3...
-
Llama 2打败GPT-4!Meta让大模型自我奖励自迭代,再证合成数据是LLM终局
Llama 2-70B一夜之间打败GPT-4,让整个AI社区为之震惊! 甚至,在AlpacaEval 2.0排行榜中,微调后的模型胜率完全碾压Claude 2、Gemini Pro等模型。 Meta和NYU研究团队究竟提出了什么秘制配方,才能让Llam...
-
Video-LLaMA 论文精读
Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding video-LLaMA 一种用于视频理解的指令调整视听语言模型 引言 ...
-
大模型自我奖励:Meta让Llama2自己给自己微调,性能超越了GPT-4
大模型领域中,微调是改进模型性能的重要一步。随着开源大模型逐渐变多,人们总结出了很多种微调方式,其中一些取得了很好的效果。 最近,来自 Meta、纽约大学的研究者用「自我奖励方法」,让大模型自己生成自己的微调数据,给人带来了一点新的震撼。 在新方法中,作者...
-
LLaMA Pro: Progressive LLaMA with Block Expansion
Q: 这篇论文试图解决什么问题? A: 这篇论文试图解决大型语言模型(LLMs)在特定领域(如编程、数学、生物医学或金融)能力不足的问题。尽管LLMs在多种现实世界任务中表现出色,但在某些特定领域仍然存在局限性,这阻碍了开发通用语言代理以应用于更广泛场景...
-
GLM-4体验入口 智谱AI多模态大模型在线使用地址
GLM-4是由智谱AI在首届技术开放日上发布的一款新型大模型。GLM- 4 在性能上全面提升近60%,支持更长的上下文、更强的多模态支持和更快速的推理。产品定位为下一代基座大模型,旨在为文本处理、数据分析、图像生成等领域提供高效的AI解决方案。 点击前往...
-
国产GPTs来了,基于智谱第4代大模型!模型性能均达GPT-4九成以上
国产大模型玩家智谱AI,交出最新成绩单—— 发布全自研第四代基座大模型GLM-4,且所有更新迭代的能力全量上线。 作为国内唯一一个产品线全对标OpenAI的大模型公司,智谱年前攒了波大的: 按官方说法,GLM-4性能相比GLM-3提升60%,逼近GPT...
-
LLaMA-v2-Chat vs. Alpaca:应该在什么时候使用不同的人工智能模型?
译者 | 李睿 审校 | 重楼 如今,大型语言模型(LLM)正在彻底改变人们的工作和生活,从语言生成到图像字幕软件,再到友好的聊天机器人。这些人工智能模型为解决现实世界的问题提供了强大的工具,例如生成聊天响应或遵循复杂的指令。在这篇关于LLaMA v2的...
-
看见这张图没有,你就照着画:谷歌图像生成AI掌握多模态指令
用图2的风格画图1的猫猫并给它戴上一顶帽子。谷歌新设计的一种图像生成模型已经能做到这一点了!通过引入指令微调技术,多模态大模型可以根据文本指令描述的目标和多张参考图像准确生成新图像,效果堪比 PS 大神抓着你的手助你 P 图。 在使用大型语言模型(LLM...
-
LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
Paper name LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention Paper Reading Note Paper URL: htt...
-
Video-LLaMA An Instruction-tuned Audio-Visual Language Model for Video Understanding 用于视频理解的指令调谐视听语言
1.摘要 我们提出了一个多模态框架Video-LLaMA1,它使大型语言模型(LLM 能够理解视频中的视觉和听觉内容。视频-来自冻结的预训练视频和音频编码器和冻结的LLM的美洲驼引导跨模式训练。不像以前的工作,补充线性最小二乘法只处理视觉或听觉信号...
-
467亿参数MoE追平GPT-3.5!爆火开源Mixtral模型细节首公开,中杯逼近GPT-4
今天,Mistral AI正式放出了Mixtral 8x7B的技术细节—— 在大多数基准测试中,Mixtral的表现不仅优于Llama 2 70B,而且推理速度提高了整整6倍! 尤其是,它在大多数标准基准测试上与GPT-3.5打平,甚至略胜一筹。 新开源...
-
零一万物Yi-34B-Chat微调模型上线,登陆多个权威榜单
最近,业内众多大模型基准又迎来了一轮 “实力值” 更新。 继 11 月初零一万物发布 Yi-34B 基座模型后,Yi-34B-Chat 微调模型在 11 月 24 日开源上线 ,短时间登陆了全球多个英文、中文大模型权威榜单,再度获得了全球开发者的关注。...
-
直追GPT-4!李开复Yi-34B新成绩公布:94.08%的胜率超越LLaMA2等主流大模型
仅次于GPT-4,李开复零一万物Yi-34B-Chat最新成绩公布—— 在Alpaca经认证的模型类别中,以94.08%的胜率,超越LLaMA2 Chat 70B、Claude 2、ChatGPT! 图片 不仅如此,在加州大学伯克利分校主导的LMSYS...
-
LLaMA Adapter和LLaMA Adapter V2
LLaMA Adapter论文地址: https://arxiv.org/pdf/2303.16199.pdf LLaMA Adapter V2论文地址: https://arxiv.org/pdf/2304.15010.pdf LLaMA Ada...
-
AIGC周报|周鸿祎:不会用GPT的人未来将被淘汰;蔡崇信:不用过于担心AI未来会取代人类;AI翻唱或涉多项侵权行为
AIGC(AI Generated Content)即人工智能生成内容。近期爆火的 AI 聊天机器人 ChatGPT,以及 Dall·E 2、Stable Diffusion 等文生图模型,都属于 AIGC 的典型案例,它们通过借鉴现有的、人类创造的内容来...
-
Stability AI发布30亿参数语言模型StableLM Zephyr 3B 更小更快更节省资源
Stability AI以其stable diffusion文本到图像的生成人工智能模型而闻名,但这已不再是该公司的全部业务。 最新发布的StableLM Zephyr3B是一款30亿参数的大语言模型,专为聊天应用场景进行了优化,包括文本生成、摘要和内容个...