-
详解各种LLM系列｜（2）LLaMA 2模型架构、 预训练、SFT内容详解 (PART-1)
一、引言 Llama 2是Meta在LLaMA基础上升级的一系列从 7B到 70B 参数的大语言模型。Llama2 在各个榜单上精度全面超过 LLaMA1，Llama 2 作为开源界表现最好的模型之一，目前被广泛使用。 为了更深入地理解Llama 2的...
-
8/8/6/3的Mamba论文，最终还是被ICLR 2024拒了，网友：悬着的心终于死了
几天前，ICLR 2024 的最终接收结果出来了。 大家应该还记得，Mamba 被 ICLR 2024 大会 Decision Pending（待定）的消息在 1 月份引发过一波社区热议。 当时，多位领域内的研究者分析，Decision Pending...
-
高性能 LLM 推理框架的设计与实现
一、大语言模型推理概要介绍 与传统的 CNN 模型推理不同，大语言模型的推理通常会分成 prefill 和 decoding 两个阶段。每一个请求发起后产生的推理过程都会先经历一个 Prefill 过程，prefill 过程会计算用户所有的输入，并生...
-
【AI】Chinese-LLaMA-Alpaca-2 1.3B 7B 13B llama.cpp 量化方法选择及推理结果测试 x86_64 RTX 2060 6G 生成程序源码测试
1.3B Q4_0 (很快，没用 llm_load_print_meta: model type = ?B llm_load_print_meta: model ftype = Q4_0 llm_load_print_meta:...
-
选择最适合数据的嵌入模型：OpenAI 和开源多语言嵌入的对比测试
OpenAI最近发布了他们的新一代嵌入模型embedding v3，他们将其描述为性能最好的嵌入模型，具有更高的多语言性能。这些模型分为两类:较小的称为text- embeddings -3-small，较大且功能更强大的称为text- embeddin...
-
首席分析师揭秘爆火Groq，每小时要烧168美元！10倍H100拥有成本，老黄笑而不语
最近爆火的AI初创公司Groq，推出了比目前常见GPU推理系统快4倍，成本低70%的大模型推理解决方案。 他们提供的运行Mistral Mixtral 8x7b的API演示，让大部分习惯了其他LLM「娓娓道来」的用户直呼，简直是魔法！ Groq在处理...
-
紧跟时事！一个支持Sora模型文本生成视频的Web客户端
大家好，我是 Java陈序员。 最近 Open AI 又火了一把，其新推出的文本生成视频模型 —— Sora,引起了巨大的关注。 Sora 目前仅仅只是发布预告视频，还未开放出具体的 API. 今天，给大家推荐一个最近十分火热的开源项目，一个支持使用 S...
-
谷歌AI视频再出王炸！全能通用视觉编码器VideoPrism，性能刷新30项SOTA
AI视频模型Sora爆火之后，Meta、谷歌等大厂纷纷下场做研究，追赶OpenAI的步伐。 最近，来自谷歌团队的研究人员提出了一种通用视频编码器——VideoPrism。 它能够通过单一冻结模型，处理各种视频理解任务。 图片 论文地址：https://a...
-
webassembly003 whisper.cpp的python绑定实现+Cython+Setuptools
python绑定的相关项目 官方未提供python的封装绑定，直接调用执行文件 https://github.com/stlukey/whispercpp.py提供了源码和Cpython结合的绑定 https://github.com/zh...
-
补齐Transformer规划短板，田渊栋团队的Searchformer火了
最近几年，基于 Transformer 的架构在多种任务上都表现卓越，吸引了世界的瞩目。使用这类架构搭配大量数据，得到的大型语言模型（LLM）等模型可以很好地泛化用于真实世界用例。 尽管有如此成功，但基于 Transformer 的架构和 LLM 依然难...
-
国内高校打造类Sora模型VDT，通用视频扩散Transformer被ICLR 2024接收
2 月 16 日，OpenAI Sora 的发布无疑标志着视频生成领域的一次重大突破。Sora 基于 Diffusion Transformer 架构，和市面上大部分主流方法（由 2D Stable Diffusion 扩展）并不相同。 为什么 Sora...
-
干货满满！大神Karpathy两小时AI大课文字版第一弹，全新工作流自动把视频转成文章
前段时间，AI大神Karpathy上线的AI大课，已经收获了全网15万次播放量。 当时还有网友表示，这2小时课程的含金量，相当于大学4年。 就在这几天，Karpathy又萌生了一个新的想法： 那便是，将2小时13分钟的「从头开始构建GPT分词器」的视频...
-
谷歌AI新星转投Pika：视频生成Lumiere一作，担任创始科学家
视频生成进展如火如荼，Pika迎来一位大将—— 谷歌研究员Omer Bar-Tal，担任Pika创始科学家。 一个月前，还在谷歌以共同一作的身份发布视频生成模型Lumiere，效果十分惊艳。 当时网友表示：谷歌加入视频生成战局，又有好戏可看了。 St...
-
一手借东风，Reddit把用户「卖」了个好价钱；AI增强搜索工具清单(私藏版)；2024年Star飙升的LLM学习路线图；AIGC教育行业全景报告 | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? 国产大模型进入生态构建阶段，纷纷出炉开发者激励计划 https://www.moonshot.cn 2月5日，月之暗面 Moonsho...
-
图像生成发展起源：从VAE、扩散模型DDPM、DETR到ViT、Swin transformer
前言 2018年我写过一篇博客，叫：《一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如 2014 R-CNN 2015 Fast R-CNN、...
-
Mac本地部署大模型体验AIGC能力
介绍 随着ChatGPT的横空出世，国内互联网大厂、创业公司纷纷加了AIGC赛道，不断推出各种大模型，而这些大模型由于规模庞大、结构复杂，往往包含了数十亿至数千亿的参数。这些模型在训练阶段，一般需要使用高效能的GPU集群训练数十天时间，在推理阶段，一般...
-
whisper.cpp安装配置
下载代码，代码地址：https://github.com/ggerganov/whisper.cpp 下载模型，现有模型如下，small 模型基本能达到日常的用途，建议下载 small 以上的。下载模型的指令： ./download-ggml-mode...
-
Quantitative Analysis: PIM Chip Demands for LLAMA-7B inference
1 Architecture 如果将LLAMA-7B模型参数量化为4bit，则存储模型参数需要3.3GB。那么，至少PIM chip 的存储至少要4GB。 AiM单个bank为32MB，单个die 512MB，至少需要8个die的芯片。 8个die...
-
AIGC专题：Sora开启AIGC新纪元，海外龙头AI指引乐观
今天分享的是电子系列深度研究报告：《AIGC专题：Sora开启AIGC新纪元，海外龙头AI指引乐观》。 （报告出品方：方正证券） 报告共计：30页 来源：人工智能学派 Sora、Gemini 1.5 Pro 相继发布，AIGC 新时代已至 大模型...
-
AI绘画工具合集，让想象触手可及！
人不走空 ?个人主页：人不走空 ?系列专栏：算法专题 ⏰诗词歌赋：斯是陋室，惟吾德馨 目录 ?个人主页：人不走空 ?系列专栏：算法专题 ⏰诗词歌赋：斯是...
-
借助知识图谱和Llama-Index实现基于大模型的RAG
幻觉是在处理大型语言模型（LLMs）时常见的问题。LLMs生成流畅连贯的文本，但经常产生不准确或不一致的信息。防止LLMs中出现幻觉的一种方法是使用外部知识源，如提供事实信息的数据库或知识图谱。 矢量数据库和知识图谱使用不同的方法来存储和表示数据。矢量数...
-
OpenAI回应“ChatGPT发疯”问题：token预测是根源
近期，ChatGPT意外发生失控事件，用户纷纷报告收到混乱而令人震惊的回复，引起Reddit、HN等社交平台上广泛的讨论。OpenAI迅速做出回应，确认问题源于「token预测」，并表示已成功修复。 ChatGPT用户在向模型提问时，突然发现其回复变得毫无...
-
携程酒店排序推荐广告高效可靠数据基座--填充引擎
作者简介 yang，携程资深后端开发工程师，专注推荐系统架构、数据流批一体、系统稳定性、效率提升等领域； kevin，携程高级研发经理，专注以技术驱动解决推荐系统中产品业务上的共性问题，创新生产模式，重构生产力； 莫秃，携程高级后端开发工程师，负责...
-
一夜暴涨2770亿，英伟达市值逼近2万亿，跻身全球第四！61岁黄仁勋身价近700亿美元
财报公布后，英伟达单日市值增加2770亿美元，创历史新高！ 而且，还创下了华尔街史上最大单日涨幅里程碑。 有网友表示，「英伟达一天的涨幅，就超过了所有中国AI创业公司的估值总和。。。」 要说原由，主要还是第四季度财报公布，英伟达用了3个「破记录」做了...
-
ChatGPT突然疯了，意外输出震惊网友！OpenAI官方回应：token预测是根源
ChatGPT突然疯了！失去理智！精神错乱！ ——一大批ChatGPT用户炸了锅。 周二，「ChatGPT发疯」各种讨论话题纷纷刷榜Reddit，HN等各大社交平台。 网友表示，「我收到了ChatGPT有史以来最诡异的回复」。 随后，OpenAI...
-
Llama 2论文详解
摘要 Llama 2是一组经过预训练和微调的大语言模型，参数规模从70亿到700亿不等，其中，Llama 2-Chat是针对对话用例进行优化的微调模型。在大多数基准测试中优于开源chat模型，在人类评估中表现出色，特别是在有用性和安全性方面。因此，Lla...
-
开源大模型王座易主！谷歌Gemma杀入场，笔记本可跑，可商用
刚刚，谷歌杀入开源大模型。 开源领域大模型，迎来了重磅新玩家。 谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini，Gemma 更加轻量，同时保持免费可用，模型权重也一并开源了，且允许商用。 Gemma 官方页面：https://ai.goo...
-
模型融合、混合专家、更小的LLM，几篇论文看懂2024年LLM发展方向
在过去的 2023 年中，大型语言模型（LLM）在潜力和复杂性方面都获得了飞速的发展。展望 2024 年的开源和研究进展，似乎我们即将进入一个可喜的新阶段：在不增大模型规模的前提下让模型变得更好，甚至让模型变得更小。 现在，2024 年的第一个月已经过去...
-
【AI绘画】硬核解读Stable Diffusion（完整版） 小白必收藏！！！
手把手教你入门绘图超强的AI绘画，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新保姆级教程资料包 （文末可获取） 2022年可谓是AIGC（AI Generated Content）元年，上半年有文生图大模型DALL-E2和Sta...
-
Karpathy离职OpenAI，首发2小时AI大课！从头开始构建GPT分词器
离职OpenAI的技术大神karpathy，终于上线了2小时的AI大课。 ——「让我们构建GPT Tokenizer（分词器）」。 其实，早在新课推出两天前，karpathy在更新的GitHub项目中，就预告了这件事。 这个项目是minbpe——专为...
-
copilot插件使用介绍
Copilot 是一款由 GitHub 和 OpenAI 共同开发的智能编程助手，可以根据您的输入快速生成代码片段。下面是 Copilot 插件的使用介绍： 1.安装插件： • 打开 Visual Studio Code（VS Code）编辑器。...
-
腾讯会议AI小助手上线 基于“混元”大模型打造
今天，腾讯公关总监张军激动地向公众宣布，腾讯会议AI小助手正式上线。他强调，这一创新应用代表了真正的大模型技术的力量。 根据官方网站的详细介绍，这款AI小助手能够全面覆盖会议的各个环节。通过简洁自然的指令，它能够完成信息提取、内容分析、智能提醒等复杂任务...
-
Sora到底是如何工作的？
译者 | 布加迪 审校 | 重楼 上周OpenAI团队推出了Sora这一大规模视频生成模型，展示了模拟物理世界基本方面的新功能。我关注文本生成视频这个领域已有很长一段时间，我认为这个模型代表了质量方面的突飞猛进。 我在Reddit和Twitter上看到...
-
谷歌VideoPoet负责人蒋路跳槽TikTok！对标Sora，AI视频模型大战在即
离职OpenAI的技术大神karpathy，终于上线了2小时的AI大课。 ——「让我们构建GPT Tokenizer（分词器）」。 图片 其实，早在新课推出两天前，karpathy在更新的GitHub项目中，就预告了这件事。 图片 这个项目是minbpe...
-
世界模拟器才是AGI终局，12态势预测！首席专家万字长文专业解读Sora里程碑
这几天反复看Sora的技术报告，以及各方对Sora的技术分析。 基本三个角度：惊呼强大功能，分析Sora（实现）大法，评估巨大冲击。 冲击方面，主要关注点在于对影视、短视频、娱乐等领域的影响。 但是，Sora改变AI认知方式，开启走向「世界模拟器」的史诗...
-
Karpathy新视频又火了：从头构建GPT Tokenizer
技术大神卡帕西离职OpenAI以后，营业可谓相当积极啊。 这不，前脚新项目刚上线，后脚全新的教学视频又给大伙整出来了： 这次，是手把手教咱构建一个GPT Tokenizer（分词器），还是熟悉的时长（足足2小时13分钟）。 Ps. 上次讲课还是俩月前的...
-
Groq最快AI推理芯片成本推算高得离谱 运行LIama2得1171万美元
最近，Groq 公司推出了一款号称性价比高达英伟达 GPU100倍的 AI 推理芯片，引起了广泛关注。然而，运行其最快 AI 推理芯片 LIama2所需的成本高达1171万美元，让业内人士开始对其效益进行热议。网友们通过粗略估算发现，为了运行 LIama2...
-
Gemini 1.5实测：我看Sora一眼假；还有更多惊艳功能
谷歌の“反击”来了！ Gemini被Sora抢走的风头，现在有抢回来的势头了。 在最新实测中，Gemini 1.5能分析Sora视频是否AI生成。 是直接给出当中关键因素的那种。 比如这个经典的猫猫视频，Gemini 1.5直言： 它的眼睛和毛都看起来都...
-
Sora新视频只发TikTok：OpenAI 4天涨粉10万
Sora新视频，变成“抖音独占”了。 悄无声息，OpenAI正式杀入TikTok，加上洗脑配乐直接让人刷到停不下来，疯狂引流吸粉中: 短短4天，涨粉10万，50万赞——这还是不打枪不宣传的情况下。 这以后，人类创作者还怎么玩? Sora新视频，只发Tik...
-
运行LIama2得8400万元！最快AI推理芯片成本推算引热议
想实现史上最快大模型推理，得要1171万美元（8410万元）？？？ 同等项目下，使用英伟达GPU成本只需30万美元…… 关于最强AI芯片易主Groq，可能得让子弹再飞一会儿了。 这两天，Groq惊艳亮相。它以号称“性价比高英伟达100倍”的芯片，实现每秒...
-
Llama深入浅出
前方干货预警：这可能是你能够找到的最容易懂的最具实操性的学习开源LLM模型源码的教程。 本例从零开始基于transformers库逐模块搭建和解读Llama模型源码(中文可以翻译成羊驼 。 并且训练它来实现一个有趣的实例：两数之和。 输入...
-
【AIGC】OpenAI推出王炸级模型sora,颠覆AI视频行业
文章目录 强烈推荐 前言 什么是OpenAI Sora？ 工作原理： 算法原理： 应用场景展望 与其他视频生成模型相比有哪些优势和不足？ 优点 缺点 总结 强烈推荐 专栏集锦 写在最后 强烈推荐 前些天发现了一个巨牛的人工智...
-
全网最全Stable Diffusion原理快速上手，模型结构、关键组件、训练预测方式！！！！
手把手教你入门绘图超强的AI绘画程序，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新保姆级教程资料包（文末可获取） 【AIGC】Stable Diffusion的建模思想、训练预测方式快速 在这篇博客中，将会用机器学习入门级描...
-
10倍英伟达GPU：大模型专用芯片一夜成名，来自谷歌TPU创业团队
我们知道，大模型到 GPT-3.5 这种千亿体量以后，训练和推理的算力就不是普通创业公司所能承担的了，人们用起来速度也会很慢。 但自本周起，这种观念已成为历史。 有名为 Groq 的初创公司开发出一种机器学习处理器，据称在大语言模型任务上彻底击败了 GP...
-
大模型最快推理芯片一夜易主：每秒500tokens干翻GPU！谷歌TPU人马打造，喊话奥特曼：你们也太慢了
太快了太快了。 一夜间，大模型生成已经没什么延迟了……来感受下这速度。 ，时长00:06 眼花缭乱了吧，生成速度已经接近每秒500 tokens。 还有更直观的列表对比，速度最高能比以往这些云平台厂商快个18倍吧。 （这里面还有个熟悉的身影：Lepton...
-
比GPT-4快18倍，世界最快大模型Groq登场！每秒500 token破纪录，自研LPU是英伟达GPU 10倍
【新智元导读】卷疯了!世界最快的大模型Groq一夜之间爆火，能够每秒输出近500个token。如此神速的响应，背后全凭自研的LPU。 一觉醒来，每秒能输出500个token的Groq模型刷屏全网。 堪称是「世界上速度最快的LLM」! 相比之下，ChatG...
-
AI视野：大模型最快推理芯片Groq登场；真人视频冒充Sora；Stable Diffusion WebUI Forge推出；字节辟谣推出中文版Sora
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI新鲜事 大模型最快推理芯...
-
大模型最快推理芯片一夜易主 Groq每秒可达500 tokens
近期，一家名为Groq的初创公司推出了一款大模型推理芯片，其推理速度达到了每秒500tokens的惊人水平，轻松颠覆了传统GPU的性能。Groq的团队由谷歌TPU原班人马组成，他们自主研发的芯片不仅速度快，而且成本低廉，性价比高，成为了大模型推理加速的新宠...
-
Groq大模型推理芯片每秒500tokens超越GPU，喊话三年超过英伟达
Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轰动，超越了传统GPU和谷歌TPU。该芯片由初创公司Groq研发，其团队成员来自谷歌TPU，包括创始人兼CEO Jonathan Ross，曾设计实现第一代TPU芯片的核心元件。 Groq采...
-
成为AIGC大模型工程师， 如何搭建你的知识体系框架？
Look！?我们的大模型商业化落地产品 ?更多AI资讯请??关注 AI是否真的会取代你的工作，或者是掌握AI技能的人将会取代你？随着2023年AI技术的爆炸式增长，许多人开始质疑，如果不掌握如ChatGPT、Midjourney或Stable Di...