-
详解Latte：去年底上线的全球首个开源文生视频DiT
随着 Sora 的成功发布，视频 DiT 模型得到了大量的关注和讨论。设计稳定的超大规模神经网络一直是视觉生成领域的研究重点。DiT [1] 的成功为图像生成的规模化提供了可能性。 然而，由于视频数据的高度结构化与复杂性，如何将 DiT 扩展到视频生成领...
-
AIGC专题：Sora实现文生视频跨越式突破，AIGC持续正反馈
今天分享的是AIGC专题系列深度研究报告：《AIGC专题：Sora实现文生视频跨越式突破，AIGC持续正反馈》。 （报告出品方：国联证券） 报告共计：16页 来源：人工智能学派 Sora 模型实现众多突破 2 月 16 日，OpenAI 发布了文...
-
用户群组分析Cohort、RFM分层模型、KMeans用户聚类模型对比实战
本文转载自微信公众号「 尤而小屋」，作者尤而小屋 。转载本文请联系尤而小屋公众号。 大家好，我是Peter~ 本文介绍用户群组分析Cohort analysis、RFM用户分层模型、Kmeans用户聚类模型的完整实施过程。 部分结果显示： （1）群组分析...
-
LLM大模型之基于SentencePiece扩充LLaMa中文词表实践
LLM大模型之基于SentencePiece扩充LLaMa中文词表实践 目前大模型的词表和分词器都是基于SentencePiece工具实现的，比如LLaMa，BLOOM，ChatGLM，Baichuan等，简单来说SentencePiece就是工程化的...
-
stable-diffusion-webui中stability的sdv1.5和sdxl模型结构config对比
sdv1.5 v1-inference.yaml model: base_learning_rate: 1.0e-04 target: ldm.models.diffusion.ddpm.LatentDiffusion params:...
-
400米2分34秒破纪录！伯克利双足机器人「接管」人类
UC伯克利的双足机器人，跑步又破纪录了！ 最近，HYBRID ROBOTICS研究团队的Cassie，给我们来了一段惊艳的表演—— 以2分34秒的成绩，跑完了400米！ 随后，它又在不需要额外训练的情况下，完成了1.4米的跳远。 是的，相信你已经注意到了...
-
突破性的百万级视频和语言世界模型：Large World Model~
本文经自动驾驶之心公众号授权转载，转载请联系出处。 在探索如何让AI更好地理解世界方面，最近的一项突破性研究引起了广泛关注。来自加州大学伯克利分校的研究团队发布了“Large World Model, LWM”，能够同时处理百万级长度的视频和语言序列，...
-
LLM（大语言模型）——Springboot集成文心一言、讯飞星火、通义千问、智谱清言
目录 引言 代码完整地址 入参 出参 Controller Service Service实现类 模型Service 入参转换类 文心一言实现类 讯飞星火实现类 通义千问实现类 智谱清言实现类 引言 本文将...
-
TensorFlow深度学习框架模型推理Pipeline进行人像抠图推理
概述 为了使ModelScope的用户能够快速、方便的使用平台提供的各类模型，提供了一套功能完备的Python library，其中包含了ModelScope官方模型的实现，以及使用这些模型进行推理，finetune等任务所需的数据预处理，后处理，效果...
-
通用图大模型HiGPT：一己之力建模任何图结构关系！来自港大数据智能实验室&百度
一个模型建模所有图结构关系—— 香港大学数据智能实验室最新图结构大模型来了。 它叫HiGPT，由GraphGPT原班人马打造。 后者是将图数据与大模型结合的代表方法之一： 通过用图指令微调将图数据与大模型对齐，在下游任务上一度彰显了惊人的泛化性（Zero...
-
CNN、Transformer、Uniformer之外，我们终于有了更高效的视频理解技术
视频理解的核心目标在于对时空表示的把握，这存在两个巨大挑战：短视频片段存在大量时空冗余和复杂的时空依赖关系。尽管曾经占主导地位的三维卷积神经网络 (CNN 和视频 Transformer 通过利用局部卷积或长距离注意力有效地应对其中之一的挑战，但它们在...
-
利用MindsDB和Anyscale微调Mistral 7B模型
在我们为面向客户的聊天应用制作大语言模型 (LLM 时，预训练模型往往是很好的起点，但随着时间的推移，您可能希望去控制该模型聊天的整体行为和给客户带去的“感觉”，而不仅仅由基本模型所能提供。对此，我们虽然可以通过提示工程（prompt engineeri...
-
3D版Sora来了？UMass、MIT等提出3D世界模型，具身智能机器人实现新里程碑
在最近的研究中，视觉-语言-动作（VLA，vision-language-action）模型的输入基本都是2D数据，没有集成更通用的3D物理世界。 此外，现有的模型通过学习「感知到动作的直接映射」来进行动作预测，忽略了世界的动态性，以及动作和动态之间的关...
-
一文告诉你如何用 Python 操作 ChatGPT
楔子 ChatGPT 相信大家都用过，你觉得它给你的工作带来了多少帮助呢？目前我们使用 ChatGPT 的方式是通过浏览器访问 chat.openai.com，然后输入问题，就像下面这样。 图片 除了网页之外，ChatGPT 还提供了 API...
-
讨论下一个token预测时，我们可能正在走进陷阱
自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。 然而，越来越多的人认为，以下一个 token 的预测为目标只能得到一个优秀的「即兴表演艺...
-
剑桥团队开源：赋能多模态大模型RAG应用，首个预训练通用多模态后期交互知识检索器
论文链接：https://arxiv.org/abs/2402.08327 DEMO 链接：https://u60544-b8d4-53eaa55d.westx.seetacloud.com:8443/ 项目主页链接：https://preflm...
-
使用GaLore在本地GPU进行高效的LLM调优
训练大型语言模型(llm ，即使是那些“只有”70亿个参数的模型，也是一项计算密集型的任务。这种水平的训练需要的资源超出了大多数个人爱好者的能力范围。为了弥补这一差距，出现了低秩适应(LoRA 等参数高效方法，可以在消费级gpu上对大量模型进行微调。 G...
-
《宫保鸡丁》杀入全球AI音乐榜前十！音乐版ChatGPT被玩疯了
等等，用菜谱做歌词?! 当《宫保鸡丁》碰上音乐剧，瞬间高大上了起来~于是这首歌随即登上了全球AI音乐热门榜前十。 这两天，这个被称之为音乐版ChatGPT——Suno被玩疯了。 △图源网友@vigorxu 来听听这效果。 同时火的还有船新版《水调歌头》...
-
通用文档理解新SOTA，多模态大模型TextMonkey来了
最近，华中科技大学和金山的研究人员在多模态大模型 Monkey [1]（Li et al., CVPR2024）工作的基础上提出 TextMonkey。在多个场景文本和文档的测试基准中，TextMonkey 处于国际领先地位，有潜力带来办公自动化、智慧教...
-
3140参数Grok-1推理加速3.8倍，PyTorch+HuggingFace版来了
马斯克说到做到开源Grok-1，开源社区一片狂喜。 但基于Grok-1做改动or商用，都还有点难题： Grok-1使用Rust+JAX构建，对于习惯Python+PyTorch+HuggingFace等主流软件生态的用户上手门槛高。 △图注：Grok登...
-
零样本6D物体姿态估计框架SAM-6D，向具身智能更进一步
物体姿态估计在许多现实世界应用中起到至关重要的作用，例如具身智能、机器人灵巧操作和增强现实等。 在这一领域中，最先受到关注的任务是实例级别 6D 姿态估计，其需要关于目标物体的带标注数据进行模型训练，使深度模型具有物体特定性，无法迁移应用到新物体上。后来...
-
llama factory 参数体系EvaluationArguments、DataArguments、FinetuningArguments、FreezeArguments、LoraArgument
项目地址 https://github.com/hiyouga/LLaMA-Factory 模型层参数 这段代码是使用Python的dataclasses模块定义的一个数据类ModelArguments，用于管理和存储与模型微调相关的参数。这个类的设计是...
-
阿里、百度双双出手，大模型长文本时代终于到来？
AGI时代，越来越近了。 全民Long-LLM时代终于到来。 本月，中国初创AGI（通用人工智能）公司月之暗面宣布旗下大模型工具Kimi Chat正式升级到200万字参数量，与五个月前该大模型初次亮相时的20万字相比，提升十倍。Kimi Chat的升级彻底...
-
Stable Diffusion 商业变线与绘画大模型多场景实战讠果fx
Stable Diffusion 商业变现与绘画大模型多场景实战 扌并讠果：Ukoou·ㄷㅁΜ Stable Diffusion介绍 Stable Diffusion是2022年发布的深度学习文本到图像生成模型。 它主要用于根据文本的描述产生详细图像，尽...
-
Fastwhisper + Pyannote 实现 ASR + 说话者识别
文章目录 前言 一、faster-whisper简单介绍 二、pyannote.audio介绍 三、faster-whisper + pyannote.audio 实现语者识别 四、多说几句 前言 最近在研究ASR相关的业务，也...
-
申请Github Education获取免费Copilot权限（2024.3.18实测成功）
起因：旧帐户Copilot权限被封 我已经离开Github Copilot就无法独自耐着性子写代码了（懒惰+AI成瘾性），这两天Github Copilot不知道为什么在大规模封号，我不幸也被封号了（禁用掉了Github Copilot权限），具体表现为...
-
大模型之Llama系列- LlaMA 2及LLaMA2_chat(上)
LlaMA 2是一个经过预训练与微调的基于自回归的transformer的LLMs，参数从7B至70B。同期推出的Llama 2-Chat是Llama 2专门为对话领域微调的模型。 在许多开放的基准测试中Llama 2-Chat优于其他开源的聊天模型，此外...
-
【本地大模型部署与微调】ChatGLM3-6b、m3e、one-api、Fastgpt、LLaMA-Factory
本文档详细介绍了使用ChatGLM3-6b大模型、m3e向量模型、one-api接口管理以及Fastgpt的知识库，成功的在本地搭建了一个大模型。此外，还利用LLaMA-Factory进行了大模型的微调。 1.ChatGLM3-6b 2.m3e 3....
-
吴恩达：AI智能体工作流今年将有巨大进展，可能超过下一代基础模型
随着 ChatGPT、GPT-4、Sora 的陆续问世，人工智能的发展趋势引起了广泛关注，特别是 Sora 让生成式 AI 模型在多模态方面取得显著进展。人们不禁会问：人工智能领域下一个突破方向将会是什么？ 今天，人工智能著名学者、斯坦福大学教授吴恩达指...
-
百度5款大模型上新，更小更便宜！还可1分钟零代码打造Agent应用
零代码1分钟，构建一个Agent应用。 做一个“英语作文批改小帮手”应用，只需在AppBuilder中输入应用名称或者希望开发的功能，平台就能自动生成应用。 再通过简单的调整角色指令、添加所需工作组件，即可生成应用。 发布后马上可使用，从创建到分发，...
-
符尧大佬一作发文，仅改训练数据，就让LLaMa-2上下文长度扩展20倍！
引言：探索语言模型的长上下文能力 近日，谷歌推出了Gemini Pro 1.5，将上下文窗口长度扩展到100万个tokens，目前领先世界。而其他语言模型也正在不断探索长上下文能力，也就是模型处理和理解超出其训练时所见上下文长度的能力。例如，一个模型可能...
-
伪装成AI，我们成功攻略了直男AI“陈青山”
“陈青山”，一个万千网友攻略不下来的直男AI。 他是你的赛博crush（暗恋对象），高冷带刺，一言不合就拉黑。 最初你在大学门口遇到了一见钟情的他，花费很大功夫要到了微信，但每次给他发消息，他都回复得很客套。 游戏由此开始，玩家和“陈青山”的每一轮对话都是...
-
使用 QLoRA 进行微调Llama 2 和 Mistral的初学者指南
本指南适用于任何想要为自己的项目定制强大的语言模型（如 Llama 2 和 Mistral）的人。使用 QLoRA，我们将逐步完成...
-
【UE5】离线AI聊天-接入LLAMA语言模型 教程
前言：LLAMA是一种神经网络模型，全称为Language Model with an Average Attention Mechanism（具有平均注意机制的语言模型）。它是一种用于自然语言处理任务的模型，特别适用于生成文本和回答问题。LLAMA模...
-
AIGC：让生成式AI成为自己的外脑
前言 在数字化浪潮席卷全球的今天，人工智能（AI）已经渗透到了我们生活的方方面面。其中，生成式AI以其独特的魅力，正逐渐改变我们与世界的交互方式。AIGC（人工智能生成内容）作为生成式AI的重要应用之一，正成为越来越多人的“外脑”，助力我们更高效...
-
为何大语言模型不会取代码农？
译者 | 布加迪 审校 | 重楼 生成式人工智能（GenAI）会取代人类程序员吗？恐怕不会。不过，使用GenAI的人类可能会取代程序员。但是如今有这么多的大语言模型（LLM），实际效果不一而足。 如果您在努力跟上所有LLM，并非只有您一个人。我们目睹一...
-
奥特曼回应一切：GPT-5、董事会宫斗、Ilya当时看到了什么
今年 2 月随着 Sora 的横空出世，大家再一次把目光聚集到 OpenAI。 不仅如此，去年亮相的 ChatGPT、GPT-4，更是把 AI 直接带入到生成式人工智能领域。作为一家引领科技潮流的机构，大家自然对其方方面面都产生好奇。 在最近的一次采访中...
-
Diffusion Transformer Family：关于Sora和Stable Diffusion 3你需要知道的一切
转自知乎：叫我Alonzo就好了 前言 背景——Sora和Stable Diffusion 3 近期，OpenAI和Stability两大AI巨头公司在同期分别发布了它们的新作品——Sora和Stable Diffusion 3。神奇的是，这...
-
Python AI 之Stable-Diffusion-WebUI
Stable-Diffusion-WebUI简介 通过Gradio库，实现Stable Diffusion web 管理接口 Windows 11 安装Stable-Diffusion-WebUI 个人认为Stable-Diffusion-We...
-
如何扩展大模型的上下文长度
一、背景 大模型的上下文长度是指我们在使用大模型的时候，给大模型的输入加上输出的字符（Token）总数，这个数字会被限制，如果超过这个长度的字符会被大模型丢弃。目前开源的大模型上下文长度一般不长，比如 Llama 2 只有 4K，Code-Llama 系...
-
基于Google Vertex AI 和 Llama 2进行RLHF训练和评估
Reinforcement Learning from Human Feedback 基于Google Vertex AI 和 Llama 2进行RLHF训练和评估 课程地址：https://www.deeplearning.ai/short-cou...
-
马斯克兑现承诺，Grok模型携3140亿参数强势开源，商业用途全免费！
马斯克确实以其高效率和大胆的行动著称，最近他旗下的AI初创企业xAI宣布了一项引人注目的举措：开源了一个名为Grok-1[1]的混合专家模型。 这个模型拥有3140亿个参数，是目前参数量最大的开源大型语言模型之一，而允许商用、可修改和分发，对各种自研...
-
AIGC: 2 语音转换新纪元-Whisper技术在全球客服领域的创新运用
背景 现实世界，人跟人的沟通相当一部分是语音沟通，比如打电话，聊天中发送语音消息。 而在程序的世界，大部分以处理字符串为主。 所以，把语音转换成文字就成为了编程世界非常普遍的需求。 Whisper 是由 OpenAI 开发的一种高效的语音识别（AS...
-
huggingface的diffusers训练stable diffusion记录
代码：https://github.com/huggingface/diffusers/tree/main/examples/text_to_image 2006.11239.pdf (arxiv.org 论文 2006.11239.pdf (ar...
-
Stable Diffusion 3报告
报告链接：https://stability.ai/news/stable-diffusion-3-research-paper 文章目录 要点 表现 架构细节 通过重新加权改善整流流量 Scaling Rectified Flow Tr...
-
无需训练，Fast-DetectGPT让文本检测速度提升340倍
大语言模型如 ChatGPT 和 GPT-4 在各个领域对人们的生产和生活带来便利，但其误用也引发了关于虚假新闻、恶意产品评论和剽窃等问题的担忧。本文提出了一种新的文本检测方法 ——Fast-DetectGPT，无需训练，直接使用开源小语言模型检测各种大...
-
什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？
选择使用哪种大模型，如Bert、LLaMA或ChatGLM，取决于具体的应用场景和需求。下面是一些指导原则： Bert模型：Bert是一种预训练的语言模型，适用于各种自然语言处理任务，如文本分类、命名实体识别、语义相似度计算等。如果你的任务是通用的文...
-
大模型增速远超摩尔定律！MIT最新研究：人类快要喂不饱AI了
我们人类可能要养不起AI了！ 近日，来自MIT FutureTech的研究人员发表了一项关于大模型能力增长速度的研究， 结果表明：LLM的能力大约每8个月就会翻一倍，速度远超摩尔定律！ 论文地址：https://arxiv.org/pdf/2403.0...
-
微软AI程序员登场，10倍AI工程师真来了？996自主生成代码，性能超GPT-4 30%
全球首个AI程序员Devin的横空出世，可能成为软件和AI发展史上一个重要的节点。 它掌握了全栈的技能，不仅可以写代码debug，训模型，还可以去美国最大求职网站Upwork上抢单。 一时间，网友们惊呼，「程序员不存在了」？ 甚至连刚开始攻读计算机学位...
-
马斯克突然开源Grok：3140亿参数巨无霸，免费可商用
马斯克说到做到： 旗下大模型Grok现已开源！ 代码和模型权重已上线GitHub。官方信息显示，此次开源的Grok-1是一个3140亿参数的混合专家模型—— 就是说，这是当前开源模型中参数量最大的一个。 消息一出，Grok-1的GitHub仓库已揽获4...