-
用上这个工具包，大模型推理性能加速达40倍
英特尔® Extension for Transformer是什么？ 英特尔® Extension for Transformers[1]是英特尔推出的一个创新工具包，可基于英特尔® 架构平台，尤其是第四代英特尔® 至强® 可扩展处理器（代号Sapp...
-
聊一聊大模型 | 京东云技术团队
事情还得从ChatGPT说起。 2022年12月OpenAI发布了自然语言生成模型ChatGPT，一个可以基于用户输入文本自动生成回答的人工智能体。它有着赶超人类的自然对话程度以及逆天的学识。一时间引爆了整个人工智能界，各大巨头也纷纷跟进发布了自家的大模...
-
使用 RLHF 训练 LLaMA 的实践指南：StackLLaMA
由于LLaMA没有使用RLHF，后来有一个初创公司 Nebuly AI使用LangChain agent生成的数据集对LLaMA模型使用了RLHF进行学习，得到了ChatLLaMA模型，详情请参考：Meta开源的LLaMA性能真如论文所述吗？如果增加RLH...
-
【LLM系列之LLaMA2】LLaMA 2技术细节详细介绍！
Llama 2 发布！ Meta 刚刚发布了 LLaMa 2，它是 LLaMA 的下一代版本，具有商业友好的许可证。?? LLaMA 2 有 3 种不同的尺寸：7B、13B 和 70B。 7B & 13B 使用与 LLaMA 1 相同的架构，并且是...
-
paperclub今日分享：一键体验Stable Diffusion 和清晰度修复
收藏推荐：SD和清晰度修复，有趣好玩 今天分享一下SD和清晰度修复，并在文末附带源代码。 1. Stable Diffusion Stable Diffusion简称SD，是一个文本到图像的潜在扩散模型，说到SD就得提下Diffusion，简单来讲主...
-
Arm最新Cortex-M52芯片助力小型物联网设备实现AI分析功能
人工智能（AI）的普及已经无处不在，但真正需要它的地方是在物联网(IoT 设备生成大量数据的边缘。Arm公司最新推出的Cortex-M52芯片旨在实现在边缘进行小型IoT设备上的AI分析，为开发者提供更多硬件能力和简化的软件开发平台。 Arm的高级副总裁兼...
-
Meta提出全新注意力机制S2A 大模型准确率提升至80.3%
在2023科技领域，大语言模型（LLM）的应用日益广泛，但其在回答问题时存在的问题引起了关注。Meta团队提出的新注意力机制S2A通过解决LLM容易受到上下文虚假相关性的问题，显著提升了模型的准确性和客观性。这一机制的提出得到了深度学习领域的重要人物LeC...
-
一个提示，让Llama 2准确率飙至80.3%？Meta提出全新注意力机制S2A，大幅降低模型幻觉
2023的科技界，可以说是被大模型抢尽了风头（虚假的室温超导除外）。 我们经历了和LLM对话，见证了它们逐渐进入各个领域，甚至开始感受到威胁。 这一切，仅仅发生在一年之内。 当然了，基于大语言模型的原理，它诞生之时就有的一些毛病到现在也没有完全改正。 比...
-
规模小、效率高：DeepMind推出多模态解决方案Mirasol 3B
多模态学习面临的主要挑战之一是需要融合文本、音频、视频等异构的模态，多模态模型需要组合不同来源的信号。然而，这些模态具有不同的特征，很难通过单一模型来组合。例如，视频和文本具有不同的采样率。 最近，来自 Google DeepMind 的研究团队将多模态...
-
单个A100生成3D图像只需30秒，这是Adobe让文本、图像都动起来的新方法
2D 扩散模型极大地简化了图像内容的创作流程，2D 设计行业也因此发生了变革。近来，扩散模型已扩展到 3D 创作领域，减少了应用程序（如 VR、AR、机器人技术和游戏等）中的人工成本。有许多研究已经对使用预训练的 2D 扩散模型，生成具有评分蒸馏采样（S...
-
网络规模、训练学习速度提升，清华团队在大规模光电智能计算方向取得进展
随着大模型等人工智能技术的突破与发展，算法复杂度剧增，对传统计算芯片带来了算力和功耗的双重挑战。近年来，以光计算为基础、通过光电融合的方式构建光电神经网络的计算处理方法已经成为国际热点研究问题，有望实现计算性能的颠覆性提升。 然而，光电神经网络的前向数学...
-
更像人脑的新型注意力机制，Meta让大模型自动屏蔽任务无关信息，准确率提高27%
关于大模型注意力机制，Meta又有了一项新研究。 通过调整模型注意力，屏蔽无关信息的干扰，新的机制让大模型准确率进一步提升。 而且这种机制不需要微调或训练，只靠Prompt就能让大模型的准确率上升27%。 作者把这种注意力机制命名为“System 2...
-
【类ChatGPT】中文LLaMA-2、Alpaca-2 二代羊驼大模型体验
前言 Meta发布的一代LLaMA已经掀起了一股开源大模型热潮，也有很多相关工作不断涌现。最近Meta全新发布了Llama-2，效果更上一层楼。而且最重要的是模型可以相对随意分发了，不像一代一样，meta不让开发者发布基于llama模型训...
-
Stable Diffusion：使用自己的数据集微调训练LoRA模型
Stable Diffusion：使用自己的数据集微调训练LoRA模型 前言 前提条件 相关介绍 微调训练LoRA模型 下载kohya_ss项目 安装kohya_ss项目 运行kohya_ss项目 准备数据集 生成关键词 模型参数设置 预训...
-
Meta AI研究团队新AI模型： Llama 2 大语言模型
Llama是Facebook Research团队开发的基础语言模型集，旨在提供广泛的语言理解能力。它基于转换器架构，参数范围从7B到65B。通过使用Llama模型，研究人员和开发人员可以构建更先进的自然语言处理系统。您可以在GitHub上找到相关的代...
-
AI视野：ElevenLabs发布“语音转语音”；realme GT5Pro 12月7日发布；Claude2.1被指严重虚标；清华大学提出全新加速训练大模型方法SoT
???AI应用 ElevenLabs发布“语音转语音” ElevenLabs的语音生成式AI平台发布了“语音转语音”功能，用户可上传语音并自动转换为不同音色，实现声音的自由切换，为用户带来全新的语音生成体验。 免费体验地址:https://elevenl...
-
2023年的深度学习入门指南(20) - LLaMA 2模型解析
2023年的深度学习入门指南(20 - LLaMA 2模型解析 上一节我们把LLaMA 2的生成过程以及封装的过程的代码简单介绍了下。还差LLaMA 2的模型部分没有介绍。这一节我们就来介绍下LLaMA 2的模型部分。 这一部分需要一些深度神经网络的...
-
LLMs之LLaMA-2：源码解读之所有py文件(包括example_text_completion.py/example_chat_completion.py+model.py/generation
LLMs之LLaMA-2：源码解读之所有py文件(包括example_text_completion.py/example_chat_completion.py+model.py/generation.py/tokenizer.py 目录 一、l...
-
AI 绘画Stable Diffusion 研究（十七）SD lora 详解（上）
大家好，我是风雨无阻。本期内容： Lora的原理是什么？ Lora如何下载安装？ Lora如何使用？ 大家还记得 AI 绘画Stable Diffusion 研究（三）sd模型种类介绍及安装使用详解 这篇文章中，曾简单介绍了Lora的安装和使用吗 ？...
-
吴恩达AIGC《How Diffusion Models Work》笔记
1. Introduction Midjourney，Stable Diffusion，DALL-E等产品能够仅通过Prompt就能够生成图像。本课程将介绍这些应用背后算法的原理。 课程地址：https://learn.deeplearning...
-
利用 Amazon CodeWhisperer 激发孩子的编程兴趣
我是一个程序员，也是一个父亲。工作之余我会经常和儿子聊他们小学信息技术课学习的 Scratch 和 Kitten 这两款图形化的少儿编程工具。 我儿子有一次指着书房里显示器上显示的 Visual Studio Code 问我，“为什么我们...
-
新的生图模型DeepFloyd IF来了，可以拳打Stable Diffusion，脚踢Dall-E？
简介： Stability AI与它的多模式AI研究实验室DeepFloyd共同宣布研究版本DeepFloyd IF的发布,这是一款强大的文text-to-image级联像素扩散模型（cascaded pixel diffusion model），复现了...
-
ChatGPT 使用到的机器学习技术
作者 | Bright Liao 在《程序员眼中的 ChatGPT》一文中，我们聊到了开发人员对于ChatGPT的认知。本文来聊一聊ChatGPT用到的机器学习技术。 机器学习技术的发展 要聊ChatGPT用到的机器学习技术，我们不得不回顾一下机器学...
-
PyTorch团队重写「分割一切」模型，比原始实现快八倍
从年初到现在，生成式 AI 发展迅猛。但很多时候，我们又不得不面临一个难题：如何加快生成式 AI 的训练、推理等，尤其是在使用 PyTorch 的情况下。 本文 PyTorch 团队的研究者为我们提供了一个解决方案。文章重点介绍了如何使用纯原生 PyTo...
-
逐行对比LLaMA2和LLaMA模型源代码
几个小时前（2023年7月18日），Meta发布了允许商用的开源模型LLaMA2。笔者逐行对比了LLaMA2模型源代码，和LLaMA相比，几乎没有改动，细节如下： 是否改动 LLaMA2 LLaMA 模型整体构架 无 Transformer T...
-
【必看】AI绘画/stable diffusion：超简单高效的画画技巧 附咒语/提示词
用AI画一幅符合自己预期的好画，模型、提示词和方法都很重要。本文是我通过数十个小时不断探索总结出来的AI绘画经验，相信你看后一定有所收获！ 先看看我用AI画出来的小姐姐(●'◡'● （其实是随便画的）（好像把自己的xp暴露在外了）（本人确实没...
-
Reno11系列全新支持「闪速抠图」，端侧AI模型赋能高效创作
OPPO今日宣布，Reno11系列支持全新「闪速抠图」功能，基于ColorOS14 端侧AI模型、自研AI加速平台算子优化与算力强大的芯片平台，可带来超越iOS的行业最快反馈速度的「闪速抠图」。离线抠图、一点即完成的无停滞感操作，使Reno11系列以更快速...
-
DiagrammerGPT：GPT-4主导的颠覆性双层文生图表模型
近期，北卡罗来纳大学提出了一项重大技术突破，通过将GPT-4充当“规划师”和“审计师”，构建了DiagrammerGPT框架，实现了文本描述生成科学图表的布局规划。该框架利用GPT-4的强大自然语言处理能力指导图表布局生成，创新性地设计了闭环反馈机制，通过...
-
GPT-4充当“规划师、审计师”，颠覆性双层文生图表模型
DALL-E3、Midjourney、Stable Diffusion等模型展现出了强大的创造能力，通过文本便能生成素描、朋克、3D、二次元等多种类型的高质量图片，但在生成科学图表（柱状、直方、箱线、树状等）方面却略显不足。 这是因为模型在生成图表时会遗漏...
-
自动驾驶中基于深度学习的预测和规划融合方法综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 Rethinking Integration of Prediction and Planning in Deep Learning-Based Automated Driving Systems: A...
-
揭秘百度文心一言大模型：设计、应用与实战
导言 在当今的深度学习领域，大型预训练模型如GPT、BERT等已经取得了显著的进展。而百度公司的文心一言大模型，作为一款基于Transformer结构的巨型模型，也在自然语言处理领域产生了重大影响。本文将详细介绍文心一言大模型的设计原理、特点以及应用场...
-
文心一言发布我怎么看?
文心一言发布我怎么看? 文心一言发布会 我只简短的回答两个问题: 补充： 文心一言发布会 有想看发布会视频的朋友,关注爱书不爱输的程序猿,私信找我拿 我只简短的回答两个问题: 1.文心一言能否为百度止颓？...
-
大模型「幻觉」，看这一篇就够了
大模型“幻觉”，终于有系统综述了！ 一口气49页，详细阐述了幻觉定义、分类、导致幻觉的原因，还有检测幻觉、减轻幻觉的方法。 这篇最新综述来自哈工大和华为，一po出就在网上火得不行： 具体来说，文中用一套新的范畴框架来定义模型幻觉，并将其分为事实性幻觉、...
-
GPT、Llama等大模型存在「逆转诅咒」，这个bug该如何缓解？
来自中国人民大学的研究者将 Llama 等因果语言模型所遭遇的 “逆转诅咒” 归咎于 next-token prediction + causal language model 的本质缺陷，并发现 GLM 采用的自回归填空的训练方法对这种 “逆转诅咒”...
-
LLaMA-7B微调记录
Alpaca（https://github.com/tatsu-lab/stanford_alpaca）在70亿参数的LLaMA-7B上进行微调，通过52k指令数据（https://github.com/tatsu-lab/stanford_alpaca/...
-
微软新专利公布：通过机器学习创建出“会脸红”的逼真头像
11 月 16 日消息，微软的一项新专利于当地时间周二在美国专利商标局网站上公开，这是一种新的机器学习模型专利，可为用户创作出“更加有生命力”的逼真头像。 据介绍，通过新的机器学习模型，头像或照片可针对细节部分进行调整，使照片看起来更加自然。微软将使...
-
【AIGC】深入理解 LORA模型
深入理解 LORA模型 LORA模型是一种神经网络模型，它通过学习可以自动调整神经网络中各层之间的权重，以提高模型的性能。本文将深入探讨LORA模型的原理、应用场景、优缺点等方面。 1. LORA模型的原理 LORA模型的全称为Learnable...
-
一文盘点2023人工智能进展，不止大模型而已
2023年大模型千帆竞发，除此外AI领域还有哪些新突破？ 来来来，畅销书《Python机器学习》作者Sebastian Raschka的年末总结已经准备好了。 看完才知道： RLHF今年虽然爆火，但实打实用到的模型并不多，现在还出现了替代方案，有望从开...
-
GPTs商店挣钱规则介绍 GPTs应用商店官网在哪
GPT (Generative Pre-trained Transformers 是由 OpenAI 开发的一系列先进的自然语言处理模型。这些模型是基于“变压器”（Transformer）架构，它使用了自注意力（self-attention）机制，使模型...
-
AIGC专栏3——Stable Diffusion结构解析-以图像生成图像（图生图，img2img）为例
AIGC专栏3——Stable Diffusion结构解析-以图像生成图像（图生图，img2img）为例 学习前言 源码下载地址 网络构建 一、什么是Stable Diffusion（SD） 二、Stable Diffusion的组成 三、i...
-
解释：生成式 AI的工作机制与差异
像 ChatGPT 这样强大的生成式 AI 系统是如何工作的，它们与其他类型的人工智能有何不同？ 快速浏览一下头条新闻，就会发现生成式人工智能如今无处不在。事实上，其中一些标题实际上可能是由生成式人工智能撰写的，例如 OpenAI 的 ChatGPT，...
-
生成式AI大规模采用，传统AI怎么样了？
在ChatGPT推出近一年后，企业们争相采用生成式AI，以获取新的竞争优势或防止竞争对手采用相同的技术。然而，这引发了一个问题:传统形式的AI，特别是基于机器学习算法的预测模型，是否仍然有存在的空间? 图源备注：图片由AI生成，图片授权服务商Midjou...
-
最新本地大模型进展#Chinese-LLaMA-2支持16k长上下文
Hi，今天为大家介绍最新的本地中文语言模型进展。 [2023/08/25] Chinese-LLaMA-2发布了新的更新： 长上下文模型Chinese-LLaMA-2-7B-16K和Chinese-LLaMA-2-13B-16...
-
1stAI Machine：由Runway支持的AI生成视频硬件设备
1stAI Machine是一台由Runway ML软件支持的AI生成视频的硬件设备，由SGX和1stAveMachine的团队在马德里制作。该设备是一个原型，源于一个未成功的汽车广告概念，旨在将故事板和概念草图转化为具有独特风格的AI生成视频。 尽管目...
-
LLM系列 | 19 : Llama 2实战(上篇)-本地部署(附代码)
简介 小伙伴们好，我是《小窗幽记机器学习》的小编：卖热干面的小女孩。紧接前文：万字长文细说ChatGPT的前世今生，后续会尝试以理论+实践的方式逐步对主流的各大LLM进行实测和汉化。今天这篇关于Llama2的小作文其实比较长，所以分为上下两篇，上篇...
-
ChatGPT专业应用：生成节目串词
正文共 839 字，阅读大约需要 5 分钟 主持人必备技巧，您将在5分钟后获得以下超能力： 生成节目串词 Beezy评级 ：A级 *经过寻找和一段时间的学习，一部分人能掌握。主要提升效率并增强自身技能。 推荐人 | Kim...
-
谷歌DeepMind爆火动画18秒解释LLM原理，网友蒙圈！组团求GPT-4下场分析
Google DeepMind最近在自己的视频博客上上传了一段视频，「简单明了地」演示了大语言模型的工作原理，引发了网友的激烈讨论。 网友看了之后纷纷表示： 「终于，他们发了点普通人能看懂的东西了」。 「哦豁，这下懂了」 「对，就是这么简单！」 「太...
-
ICLR 2024论文审稿结果出炉！7000+高产论文创新纪录，扩散模型占比最高
ICLR 2024审稿结果公布了！ ICLR是机器学习领域重要的学术会议之一，每年举办一次。2024年是第十二届，将在奥地利维也纳5月7日-11日召开。 根据OpenReview官方放出的结果显示，今年共有7135篇投稿论文。 此外，另有国内开发者魏国...
-
如何在VS Code中运用GitHub Copilot提高编程效率
本文首发于公众号：更AI (power_ai ，欢迎关注，编程、AI干货及时送! 在Visual Studio Code中开始使用GitHub Copilot GitHub Copilot是一个AI配对编程工具。这是一个花哨的说法，称它为"第二程...
-
LLaMA系列 | LLaMA和LLaMA-2精简总结
文章目录 1、LLaMA 1.1、模型结构 1.2、训练方式 1.3、结论 2、LLaMA-2 2.1、相比LLaMA1的升级 2.3、模型结构 2.3.1、MHA, MQA, GQA区别与联系 2.4、训练方式 1、L...