-
北大视频大模型新SOTA，搞笑抖音视频AI秒懂笑点｜开源
AI能理解搞笑视频笑点在哪里了。 北大等团队开源视觉语言大模型Video-LLaVA，将图像和视频表示对齐到统一的视觉特征空间，在13个图片和视频基准上达到先进的性能。 值得注意的是，Video-LLaVA在训练过程中没有使用成对的视频和图片数据，但...
-
GPT-4V医学执照考试成绩超过大部分医学生，AI加入临床还有多远？
人工智能（AI）在医学影像诊断方面的应用已经有了长足的进步。然而，在未经严格测试的情况下，医生往往难以采信人工智能的诊断结果。对于他们来说，理解人工智能根据医学影像给出的判别，需要增加额外的认知成本。 为了增强医生对辅助医疗的人工智能之间的信任，让 AI...
-
python语音识别whisper
一、背景 最近想提取一些视频的字幕，语音文案，研究了一波 二、whisper语音识别 Whisper 是一种通用的语音识别模型。它在不同音频的大型数据集上进行训练，也是一个多任务模型，可以执行多语言语音识别以及语音翻译和语言识别。 stable-...
-
微软230页报告，像素级评估GPT-4前沿科研能力：潜力无限速速上车！
LLM作为研究工具，能否帮助科学研究带来新的突破？ 今天微软AI4Science Research抛出一篇230页的重磅论文，告诉所有的科研人员： LLM（GPT-4）太强了，赶快想办法用起来！ 论文地址：https://arxiv.org/abs/2...
-
基于llama模型进行增量预训练
目录 1、llama模型转换(pytorch格式转换为HuggingFace格式 1.1、拉取Chinese-LLaMA-Alpaca项目 1.2、准备文件夹 1.3、下载llama官方原始模型 1.4、移动文件到指定位置 1.5、执行转换脚...
-
Grounding dino + segment anything + stable diffusion 实现图片编辑
目录 总体介绍 总体流程 模块介绍 目标检测： grounding dino 目标分割：Segment Anything Model (SAM 整体思路 模型结构： 数据引擎 图片绘制 集成 样例 其他问题 附录 总体介绍...
-
深入理解LLaMA, Alpaca, ColossalChat 系列模型
知乎：紫气东来https://zhuanlan.zhihu.com/p/618695885 一、从 LLaMA 到 Alpaca：大模型的小训练 1.1 LLaMA 概要与实践 LLaMA(Large Language Mo...
-
大语言模型之七- Llama-2单GPU微调SFT
（T4 16G）模型预训练colab脚本在github主页面。详见Finetuning_LLama_2_0_on_Colab_with_1_GPU.ipynb 在上一篇博客提到两种改进预训练模型性能的方法Retrieval-Augmented Gener...
-
Stable Diffusion XL训练LoRA
主要包括SDXL模型结构，从0到1训练SDXL以及LoRA教程，从0到1搭建SDXL推理流程。 【一】SDXL训练初识 Stable Diffusion系列模型的训练主要分成一下几个步骤，Stable Diffusion XL也不例外： 训练集...
-
北大视频大模型新SOTA，搞笑抖音视频AI秒懂笑点
AI能理解搞笑视频笑点在哪里了。 AI回答：这个视频之所以搞笑，在于一个小宝宝正坐在床上努力读书，但他显然还不会真正读书。他只是不停地指着书页上的各处，而摄影者则在背后笑他。小宝宝的这种尝试很有趣，因为他在尝试阅读一本对他而言过大的书，也看不懂里面的文...
-
GPT-4不会图形推理？“放水”后准确率依然只有33%
GPT-4的图形推理能力，竟然连人类的一半都不到？ 美国圣塔菲研究所的一项研究显示，GPT-4做图形推理题的准确率仅有33%。 而具有多模态能力的GPT-4v表现更糟糕，只能做对25%的题目。 △虚线表示16项任务的平均表现 这项实验结果发表后，迅速在...
-
Omniverse Replicator环境配置和使用说明
Omniverse Replicator使用说明 本教程将介绍Omniverse Replicator的环境配置和使用说明, 参加Sky Hackathon的同学可以参考本教程来合成训练数据集. 文章目录 Omniverse Repl...
-
ChatGLM-LLaMA-chinese-insturct 学习记录（含LoRA的源码理解）
ChatGLM-LLaMA-chinese-insturct 前言 一、实验记录 1.1 环境配置 1.2 代码理解 1.2.1 LoRA 1.4 实验结果 二、总结 前言 介绍：探索中文instruct数据在C...
-
马斯克让盗梦空间成真？初创公司用Transformer诱导清醒梦，Neuralink技术操控梦境效果惊人
你是否曾有过在自己梦中醒来的奇怪经历？ 那时，你还没有完全清醒，能感觉到周围有一个梦境，但你已经有足够的意识，来控制幻影的一部分。 对于大约一半的成年人来说，这种「清醒梦」有着非凡的意义，根据调查，他们一生中至少做过一次清醒梦。 这就是为什么科技初创公司...
-
GenAI时代的数据治理蓝图
随着我们深入ML和GenAI领域，对数据质量的重视变得至关重要。KMS Technology高级技术创新小组的首席技术官John Jeske深入研究了数据治理方法，如数据沿袭跟踪和联合学习，以确保顶级模型的性能。 数据质量是模型可持续性和利益相关者信...
-
人工智能教程（二）：人工智能的历史以及再探矩阵
在本系列的 第一篇文章 中，我们讨论了人工智能、机器学习、深度学习、数据科学等领域的关联和区别。我们还就整个系列将使用的编程语言、工具等做出了一些艰难的选择。最后，我们还介绍了一点矩阵的知识。在本文中，我们将深入地讨论人工智能的核心——矩阵。不过在此之...
-
【AI热点技术】ChatGPT开源替代品——LLaMA系列之「羊驼家族」
ChatGPT开源替代品——LLaMA系列之「羊驼家族」 1. Alpaca 2. Vicuna 3. Koala 4. ChatLLaMA 5. FreedomGPT 6. ColossalChat 完整的 ChatGPT 克隆解决方案 中...
-
OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御
随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然有可能让模型输出我们不期望看到的内容。 目前在对抗攻击...
-
GPT-4V在自动驾驶上应用前景如何？面向真实场景的全面测评来了
GPT-4V 的发布让许多计算机视觉（CV）应用看到了新的可能。一些研究人员开始探索 GPT-4V 的实际应用潜力。 最近，一篇题为《On the Road with GPT-4V (ision : Early Explorations of Visua...
-
真正实现一步文生图，谷歌UFOGen极速采样，生成高质量图像
最近一年来，以 Stable Diffusion 为代表的一系列文生图扩散模型彻底改变了视觉创作领域。数不清的用户通过扩散模型产生的图片提升生产力。但是，扩散模型的生成速度是一个老生常谈的问题。因为降噪模型依赖于多步降噪来逐渐将初始的高斯噪音变为图片，因...
-
GPT-4充当“规划师、审计师”，颠覆性双层文生图表模型
DALL-E3、Midjourney、Stable Diffusion等模型展现出了强大的创造能力，通过文本便能生成素描、朋克、3D、二次元等多种类型的高质量图片，但在生成科学图表（柱状、直方、箱线、树状等）方面却略显不足。 这是因为模型在生成图表时会遗漏...
-
【AI绘画发展史】AI绘画从历史到技术突破，何以突飞猛进？
文章目录 AI绘画的进展 开源贡献 一、CLIP+VQGAN 二、CLIP 三、LAION-5B和LAION-Aesthetics AI绘画模型/产品 一、Disco Diffusion 二、MidJourney 三、Stable Dif...
-
Meta 介绍 AI 图像编辑工具 Emu Edit / Video：使用 1000 万个数据集训练，号称远超竞品
IT之家 11 月 20 日消息，Meta 昨日宣布为 Facebook 和 Instagram 推出两款基于 AI 的图像编辑工具，分别是“Emu Edit”和“Emu Video”，适用领域包括照片和视频，目前 Meta 公布了这两项 AI 工具的更...
-
自动驾驶中基于深度学习的预测和规划融合方法综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 Rethinking Integration of Prediction and Planning in Deep Learning-Based Automated Driving Systems: A...
-
【2023云栖】大模型驱动DataWorks数据开发治理平台智能化升级
随着大模型掀起AI技术革新浪潮，大数据也进入了与AI深度结合的创新时期。2023年云栖大会上，阿里云DataWorks产品负责人田奇铣发布了DataWorks Copilot、DataWorks AI增强分析、DataWorks湖仓融合数据管理等众多新产品...
-
训练AI助理实现SumTo100游戏自学习与结果预测
译者 | 朱先忠 审校 | 重楼 简介 在一款完美的信息类游戏中，如果你所需要的一切都能够让每一个玩家在游戏规则中看到，这不是一件很神奇的事情吗？ 但遗憾的是，对于像我这样的普通玩家来说，阅读有关一款新游戏的玩法规则只是学习玩复杂游戏旅程中的一小部分，而...
-
效果超越SDXL！港中大博士生推出超真实人像合成工具，训练用了3.4亿张图
为了让AI画出的人更加逼真，港中大博士生用了3.4亿张图像专门训练画人。 人物的表情、姿态，环境的空间关系、光线都能合理布局，可谓立体感十足。 就连爆火的SDXL也不是它的对手，话不多说，直接上图！ 这个模型的名字叫HyperHuman，主打的就是一个...
-
报告:五分之三的企业视生成式AI为商机 但也担心网络攻击
根据调查显示，研究显示，五分之三的企业认为生成人工智能 （AI） 是一个很好的机会，但许多人担心自己会受到网络攻击。据会计巨头普华永道(PwC 的研究显示，在新兴技术竞争激烈的情况下，企业如果不愿意冒险，就无法取得进步。 图源备注：图片由AI生成，图片授...
-
百度文心一言怎么样？
文心一言在3月16号发布，刚发布时只有邀请码体验，没有申请体验通道。到了晚上看到申请体验通道，便提交了申请，到4月1号过了半个月终于收到短信可以体验了。 本来想看看接口，也没什么恶意，但是却遭到了拒绝，感觉是小心翼翼，生怕泄露了什么。 另外...
-
SDXL-Stable Diffusion改进版
文章目录 1. 摘要 2. 算法： 2.1 结构： 2.2 微小的条件机制 2.3 多宽高比训练 2.4 改进自编码器 2.5 所有组合放到一起 2.6 主流方案比较 3. 未来工作 4. 限制 论文： 《SDXL: Improv...
-
BeautifulPrompt：PAI 推出自研 Prompt 美化器，赋能 AIGC一键出美图
背景 Stable Diffusion（SD）是一种流行的AI生成内容（AI Generated Content，AIGC）模型，能在文字输入的基础上生成各种风格多样的图像。在目前的AIGC方向，SD是开源社区最热门的模型。然而，SD能够生成高颜值的图像...
-
大模型幻觉成应用落地难题 最新评测文心一言解决幻觉能力最好
大模型中的幻觉问题 “林黛玉倒拔垂杨柳”、“月球上面有桂树”、“宋江字武松”……相信经常使用大语言模型都会遇到这样“一本正经胡说八道”的情况。这其实是大模型的“幻觉”问题，是大模型行业落地的核心挑战之一。例如幻觉会影响生成内容的可靠性，对于法律、金融、...
-
AIGC：【LLM（一）】——LoRA微调加速技术
文章目录 一.微调方法 1.1 Instruct微调 1.2 LoRA微调 二.LoRA原理 三.LoRA使用 一.微调方法 Instruct微调和LoRA微调是两种不同的技术。 1.1 Instruct微调 Instr...
-
本地部署开源大模型的完整教程：LangChain + Streamlit+ Llama
在过去的几个月里，大型语言模型(llm 获得了极大的关注，这些模型创造了令人兴奋的前景，特别是对于从事聊天机器人、个人助理和内容创作的开发人员。 大型语言模型(llm 是指能够生成与人类语言非常相似的文本并以自然方式理解提示的机器学习模型。这些模型使...
-
使用Python轻松识别音频中文字(Whisper)
使用Python轻松识别音频中文字 一、前言 在开会或是讨论问题的时候，我们总有一些内容需要记录下来。但由于各种原因，我们无法做到全面细致的记录。事后我们可能需要补充这些细节性内容，而回放视频或是录音费时费力，这时候语音识别可以帮助我们轻松解决这一...
-
暂停ChatGPT Plus注册，OpenAI面临容量挑战
11月16日消息，据外媒报道，OpenAI首席执行官Sam Altman日前表示，DevDay开发者大会之后，ChatGPT的使用量激增，这给ChatGPT带来了容量挑战。对此，OpenAI决定暂时停止ChatGPT Plus的注册，以解决这些问题，并...
-
GPT、Llama等大模型存在「逆转诅咒」，这个bug该如何缓解？
来自中国人民大学的研究者将 Llama 等因果语言模型所遭遇的 “逆转诅咒” 归咎于 next-token prediction + causal language model 的本质缺陷，并发现 GLM 采用的自回归填空的训练方法对这种 “逆转诅咒”...
-
13B模型全方位碾压GPT-4？这背后有什么猫腻
一个参数量为 13B 的模型竟然打败了顶流 GPT-4？就像下图所展示的，并且为了确保结果的有效性，这项测试还遵循了 OpenAI 的数据去污方法，更关键的是没有发现数据污染的证据。 如果你细细查看图中的模型，发现只要带有「rephraser」这个单词...
-
【CVHub】《万字长文带你解读AIGC》系列之入门篇
本文来源“CVHub”公众号，侵权删，干货满满。 作者丨派派星 来源丨CVHub 原文链接：《万字长文带你解读AIGC》系列之入门篇 0. 导读 图0 随着ChatGPT的病毒式传播，生成式人工智能(AIGC, a.k.a AI-gener...
-
stable diffusion(Lora的训练)
以坤坤为例，上网随便找了几个坤坤的人脸图像，作为训练的数据集 1 训练环境搭建 建议看一遍教程，虽然这个up主好像不是很专业的样子，不过流程差不多是这样的，重点关注一下虚拟环境搭建完之后，在终端选择配置的操作，就是一堆yes no，的选项，跟着视...
-
Meta生成式AI连放大招：视频生成超越Gen-2，动图表情包随心定制
提到视频生成，很多人首先想到的可能是 Gen-2、Pika Labs。但刚刚，Meta 宣布，他们的视频生成效果超过了这两家，而且编辑起来还更加灵活。 这个「吹小号、跳舞的兔子」是 Meta 发布的最新 demo。从中可以看出，Meta 的技术既支...
-
神经网络学习笔记6——生成式AI绘画背后的的GAN与Diffusion初解
系列文章目录 文章目录 系列文章目录 AI绘画 GAN前言 一、生成网络与判别网络的协同进化 1、生成器与判别器的学习趋向 2、部分算法理念 Diffusion 前言 一、Diffusion前向过程 二、Diffusion反向过...
-
使用代码下载开源的大模型文件示例以及中文微调llama资源汇总：
一、下载示例 from huggingface_hub import snapshot_download repo_id = "THUDM/chatglm2-6b" local_dir = './chatglm2-6b/' cache_dir = l...
-
目前较火的GPTs应用有哪些？OpenAI GPTs怎么玩
在最近的 OpenAI 开发者大会上，OpenAI 宣布正在推出 GPT，即为特定任务创建的 ChatGPT 的自定义版本。该公司表示，开发者还可以在即将推出的 ChatGPT Store 上分享他们的 GPT 并从中获利。 自 2023 年 11 月推...
-
文心一言、讯飞星火与GPT-4/3.5在回答中文历史问题的表现
最近，随着备受关注的文心一言正式免费向全社会开放，再次引起了社会层面对国产大模型的兴趣。 以文心一言为代表的国产大模型性能究竟如何？如果将它们相互比较，并且和GPT系列模型等国际前沿水平的LLM进行比较，会得到什么样的结果呢？笔者对此...
-
让Stable Diffusion一秒出图！清华硕士加速神器爆火，已有公司接入
AI图像生成，已经进入了秒速级别，只要4步推理就能完成绘制，最快更是能在1秒之内完成。 现在，清华大学联合HuggingFace的研究人员，推出了全新的绘图模型加速模块。 作者给出的体验版当中，点击生成按钮后，模型只用了几秒钟就绘制出了4张清晰的图像。...
-
FFA 2023｜第六届 Flink Forward Asia 峰会议程正式上线！
今年 Flink Forward Asia（以下简称 FFA ） 重新回归线下，将于 12 月 8 - 9 日在北京望京凯悦酒店举办。Flink Forward Asia 2023 大会议程现已正式上线！ Flink Forward 是由 Apache...
-
百度飞桨文心生物计算大模型宣布升级 构象预测准确度提升
百度飞桨螺旋桨团队宣布升级了两个生物计算大模型:蛋白质 - 小分子对接构象预测模型 HelixDock 和蛋白 - 蛋白复合物结构预测模型 HelixFold-Multimer。 这两个模型的准确度大幅提升，能够为基于结构的药物设计提供更可靠的基础。He...
-
微软战略大转变：拥抱小模型！
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 微软的生成式AI战略似乎出现了180度大转变：相比大模型，小模型才是微软的真爱。 在Ignite 2023上，微软董事长兼首席执行官Nadella在主题演讲中表示：“微软喜欢小模型...
-
腾讯云“AI超级底座”专场将亮相WOT大会，技术创新引领AI基础设施新篇章
近两年来，国内热门的技术话题中，“百模大战”赫赫有名。自2020年起，中国进入了大模型加速发展期。据科技部新一代人工智能发展研究中心发布的报告显示，目前中国已发布10亿参数规模以上的大模型达79个。众多IT技术厂商投身于大模型的研究与训练，并将其应用于各...