-
大模型就是「造梦机」，Karpathy一语惊人！人类才是「幻觉问题」根本原因
幻觉，早已成为LLM老生常谈的问题。 然而，OpenAI科学家Andrej Karpathy今早关于大模型幻觉的解释，观点惊人，掀起非常激烈的讨论。 在Karpathy看来: 另外，Karpathy的另一句话，更是被许多人奉为经典。他认为，与大模型相对的...
-
【原创】AIGC之ChatGPT工作原理
AIGC是什么 AIGC - AI Generated Content （AI生成内容），对应我们的过去的主要是 UGC（User Generated Content）和 PGC（Professional user Generated Content...
-
触手可及的 GPT —— LLaMA
出品人：Towhee 技术团队 最近几个月 ChatGPT 的出现引起广泛的关注和讨论，它在许多领域中的表现都超越了人类的水平。它可以生成人类级别的语言，并且能够在不同的任务中学习和适应，让人们对人工智能的未来充满了希望和憧憬。 ChatGPT 之...
-
LLaMA Adapter和LLaMA Adapter V2
LLaMA Adapter论文地址： https://arxiv.org/pdf/2303.16199.pdf LLaMA Adapter V2论文地址： https://arxiv.org/pdf/2304.15010.pdf LLaMA Ada...
-
百度AI模型“文心一言”新鲜体验
今天收到通知可以体验百度的AI模型“文心一言”，等了一个多月迫不及待的去体验了一把，以下是体验的相关记录。 1、简单介绍 通过文心一言官网链接https://yiyan.baidu.com/进入，看到如下界面： 在文心一言的自我介绍中，作为人...
-
Koala：加州大学BAIR团队使用ChatGPT蒸馏数据和公开数据集微调LLaMA模型得到
自从Meta发布LLaMA以来，围绕它开发的模型与日俱增，比如Alpaca、llama.cpp、ChatLLaMA以及Vicuna等等，相关的博客可以参考如下： 【Alpaca】斯坦福发布了一个由LLaMA 7B微调的模型Alpaca（羊驼），训练3小时...
-
大语言模型之十六-基于LongLoRA的长文本上下文微调Llama-2
增加LLM上下文长度可以提升大语言模型在一些任务上的表现，这包括多轮长对话、长文本摘要、视觉-语言Transformer模型的高分辨4k模型的理解力以及代码生成、图像以及音频生成等。 对长上下文场景，在解码阶段，缓存先前token的Key和Value（K...
-
在IDEA中使用亚马逊编程助手Amazon CodeWhisperer使用体验
在IDEA中Amazon CodeWhisperer使用体验 p.s.作为一名java后端开发，我最常使用IDEA来编写和调试代码，这里我将会尝试使用IDEA中的CodeWhisperer插件，并做一个使用体验报告，希望对大家有帮助 目录...
-
专用于手机、笔记本，Stability.ai开源ChatGPT基因的大模型
12月8日，著名开源生成式AI平台stability.ai在官网开源了，30亿参数的大语言模型StableLM Zephyr3B。 Zephyr3B专用于手机、笔记本等移动设备，主打参数小、性能强、算力消耗低的特点，可自动生成文本、总结摘要等，可与70亿、...
-
【在线AI绘画平台】哩布AI 在线生成图片、训练Lora、上传AI生成图简易实测
网址 https://www.liblib.ai/ | 在线生成 https://www.liblib.ai/sd 文章目录 一、主页面介绍 1.1首页 [`网址` https://www.liblib.ai/](https://www....
-
更强的Llama 2开源，可直接商用：一夜之间，大模型格局变了
已上微软 Azure，即将要上 AWS、Hugging Face。 一夜之间，大模型格局再次发生巨变。 一直以来 Llama 可以说是 AI 社区内最强大的开源大模型。但因为开源协议问题，一直不可免费商用。 今日，Meta 终于发布了大家期待...
-
集体暴雷！自动化攻击可一分钟内越狱主流大语言模型
大语言模型应用面临的两大安全威胁是训练数据泄漏和模型滥用（被应用于网络犯罪、信息操弄、制作危险品等违法活动）。 本周内，这两大安全威胁相继“暴雷”。 本周一，GoUpSec曾报道研究人员成功利用新的数据提取攻击方法从当今主流的大语言模型（包括开源和封闭...
-
汇总当下的AI绘画模型
AI绘画从今年过年那阵儿兴起，到现在(2023.8 已经半年过去了，涌现了很多风格迥异的模型，我在这里简单汇总一些。 一、写实人物类 1.1 AWPortrait 比较拟真的人物肖像 1.2 XXMix_9realistic 2.5D人物模型...
-
在 Mac M1 上运行 Llama 2 并进行训练
在 Mac M1 上运行 Llama 2 并进行训练 Llama 2 是由领先的人工智能研究公司 Meta （前Facebook）开发并发布的下一代大型语言模型 (LLM 。 它基于 2 万亿个公共数据 token 进行了预训练，旨在帮助开发人员和...
-
本地训练中文LLaMA模型实战教程，民间羊驼模型，24G显存盘它！
羊驼实战系列索引 博文1：本地部署中文LLaMA模型实战教程，民间羊驼模型博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型（本博客）博文3：精调训练中文LLaMA模型实战教程，民间羊驼模型 简介 在学习完上篇【1本地部署中文LLaMA模型...
-
基于GPT+Adaptor的时间序列多任务统一大模型
今天跟大家聊一聊大模型时间序列预测的最新工作，来自阿里巴巴达摩院，提出了一种基于adaptor的通用时间序列分析框架，在长周期预测、短周期预测、zero-shot、few-shot、异常检测、时间序列分类、时间序列填充等7项时间序列任务上都取得了显著的效...
-
Stable diffusion LoRA 训练过程
1、使用diffusers-0.14.0, stabel-diffusion 模型 v-1.5版本 下载diffusers-0.14.0 并解压，新建文件test.py, 写入以下： import torch from diffusers impor...
-
DMP技术开源，可提升AI图像预测精度
Diffusion Models as Prior （DMP）是一种新的方法，它在AI生成的图像中提高了语义预测的准确性。该创新性方法巧妙地将预先训练的文本到图像模型应用于各种任务，例如3D属性估计和语义分割，在有限的训练数据下表现优于现有技术。 项目地...
-
【大模型AIGC系列课程 2-2】大语言模型的“第二大脑”
1. 大型语言模型的不足之处 很多人使用OpenAI提供的GPT系列模型时都反馈效果不佳。其中一个主要问题是它无法回答一些简单的问题。 ● 可控性：当我们用中文问AI一些关于事实的问题时，它很容易编造虚假答案。 ● 实时性：而当你询问它最近发生的新闻事...
-
谷歌CEO皮查伊深度解析谷歌史上最强大模型Gemini及即将到来的人工智能时代
12月7日消息，美国当地时间周三，谷歌发布了其新一代人工智能模型Gemini。Gemini反映了谷歌内部多年来在首席执行官桑达尔·皮查伊（Sundar Pichai）的监督和推动下所做的努力。 此前负责Chrome和安卓业务的皮查伊是出了名的产品迷。2...
-
Stable Diffusion：开启AI魔法绘画的无限可能
? 个人网站:【 海拥】【神级代码资源网站】【办公神器】 ? 基于Web端打造的：?轻量化工具创作平台 ? 想寻找共同学习交流的小伙伴，请点击【全栈技术交流群】 随着人工智能技术的蓬勃发展，图像生成和艺术创作领域掀起了一股新的浪潮。在这股浪潮中，St...
-
使用 Diffusers 通过 DreamBooth来训练 Stable Diffusion
邀请参与我们的 DreamBooth 微调编程马拉松活动！ DreamBooth 是一种使用专门的微调形式来训练 Stable Diffusion 的新概念技术。一些人用他仅仅使用很少的他们的照片训练出了一个很棒的照片，有一些人用他去尝试新的风格。?...
-
大模型LLaMA和微调LLaMA
1.LLaMA LLaMA的模型架构:RMSNorm/SwiGLU/RoPE/Transformer/1-1.4T tokens，和GPT一样都是基于Transformer这个架构。 1.1对transformer子层的输入归一化 与Transf...
-
AI文生视频，会在明年迎来“GPT时刻”
在当下的AI赛道上，AI生文、生图的应用，早已层出不穷，相关的技术，也在不断日新月异。 而与之相比，AI文生视频，却是一个迟迟未被“攻下”的阵地。 抖动、闪现、时长太短，这一系列缺陷，让AI生成的视频只能停留在“图一乐”的层面，很难拿来使用，更不要说提供商...
-
使用 AI 越狱 AI 模型：新方法可系统地探测 GPT-4 等大型语言模型的弱点，从而使其行为异常
上个月，OpenAI 董事会突然解雇了该公司的首席执行官，这引发了人们的猜测：董事会成员对人工智能突飞猛进的发展速度以及过快寻求技术商业化可能带来的风险感到震惊。 Robust Intelligence 是一家成立于 2020 年的初创公司，与耶鲁大学的...
-
AI绘画后面的论文——ControlNet:Adding Conditional Control to Text-to-Image Diffusion Models
AI绘画后面的论文——ControlNet:Adding Conditional Control to Text-to-Image Diffusion Models 代码：lllyasviel/ControlNet: Let us control di...
-
【GPT4】微软 GPT-4 测试报告（4）GPT4 的数学能力
**欢迎关注【youcans的AGI学习笔记】原创作品微软 GPT-4 测试报告（1）总体介绍微软 GPT-4 测试报告（2）多模态与跨学科能力微软 GPT-4 测试报告（3）编程能力微软 GPT-4 测试报告（4）数学能力微软 GPT-4 测试报告（5）...
-
中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用
“ Meta 开源 LLAMA2 后，国内出现了不少以此为基座模型训练的中文模型，这次我们来看看其中一个不错的中文模型：Chinese-LLaMA-Alpaca-2 。” 01 — 目前在开源大模型中，比较有名的是Meta的LLAM...
-
【极客技术】真假GPT-4？微调 Llama 2 以替代 GPT-3.5/4 已然可行！
近日小编在使用最新版GPT-4-Turbo模型（主要特点是支持128k输入和知识库截止日期是2023年4月）时，发现不同商家提供的模型回复出现不一致的情况，尤其是模型均承认自己知识库达到2023年4月，但当我们细问时，Fake GPT4-Turbo（暂且这...
-
谷歌称重复某些关键词可让ChatGPT自曝训练数据 OpenAI：违反服务条款
12月5日消息，谷歌的一组研究人员声称，他们已经找到了获取OpenAI人工智能聊天机器人ChatGPT部分训练数据的方法。 在最新发表的论文中，谷歌研究人员表示，某些关键词可迫使ChatGPT泄露其所接受训练数据集的部分内容。 他们举例称，该模型在被提...
-
NeuRAD: 用于自动驾驶的神经渲染（多数据集SOTA）
论文"NeuRAD: Neural Rendering for Autonomous Driving"，来自Zenseact，Chalmers科技大学，Linkoping大学和Lund大学。 神经辐射场（NeRF）在自动驾驶（AD）社区中越来越受欢迎。最...
-
不是大模型全局微调不起，只是LoRA更有性价比，教程已经准备好了
增加数据量和模型的参数量是公认的提升神经网络性能最直接的方法。目前主流的大模型的参数量已扩展至千亿级别，「大模型」越来越大的趋势还将愈演愈烈。 这种趋势带来了多方面的算力挑战。想要微调参数量达千亿级别的大语言模型，不仅训练时间长，还需占用大量高性能的内存资...
-
AI研究者成功通过“诗歌攻击”揭示ChatGPT的训练数据来源
来自 Google Deepmind、华盛顿大学、康奈尔大学、卡内基梅隆大学、加州大学伯克利分校和苏黎世联邦理工学院的一组研究人员成功地让 Open AI 的聊天机器人 Chat GPT 揭示了用于训练 AI 模型的一些数据。 研究团队使用了一种创新性的手...
-
2024年的AI：企业领导人的回应和聊天机器人的改进
Language I/O的产品副总裁Chris Jacob介绍了不断发展的AI格局，预测了领导者的经验方法、数据的复兴以及聊天机器人的转型。 2023年是GenAI的发展具有标志性的一年，从提高生产率到创建书面内容，这些复杂工具的可能性引发了巨大的...
-
摆脱“恐怖谷” ！2024年是衡量生成式AI投资回报的关键之年
研究表明，就受欢迎程度和存在程度而言，2023年是生成式AI的丰收之年。从提高生产力到创建书面内容，这种智能工具带来的可能性引起巨大的轰动。2024年将是生成式AI的衡量之年，因为人们将超越大型语言模型(LLM 的技术能力，并研究它们如何影响损益。 许...
-
大模型应用设计的十个思考
技术不是万能的，但没有技术却可能是万万不能的，对于大模型可能也是如此。基于大模型的应用设计需要聚焦于所解决的问题，在自然语言处理领域，大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。利用大模型， 我们是在...
-
抖音AI扩图火出圈 网友：没想到是以这种奇怪的方式
近日，AI智能扩图在抖音平台掀起了一阵热潮，一位名为@占美丽的博主通过发布使用AI智能扩图生成的照片走红。在这些照片中，AI智能不仅将原有照片进行放大，还添加了月亮和具有魔幻意境的路灯，引起了近40万次的点赞和5万多次的转发。 AI智能扩图也顺势冲上热榜...
-
国产开源大模型，起风了
科技的浪潮几十年一个轮回，不同的剧本却总是响起相似的鼓点。 如果说，一年前ChatGPT的惊艳现身，是属于大模型时代的「iPhone时刻」;那么，7月间Meta将Llama2开源，则被认为是拉开了大模型时代的IOS与安卓之争。 但区别于移动互联网时代，大模...
-
DetZero：Waymo 3D检测榜单第一，媲美人工标注！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 本文提出了一套离线3D物体检测算法框架DetZero，通过在 Waymo 公开数据集上进行全面的研究和评估，DetZero可生成连续且完整的物体轨迹序列，并充分利用长时序点云特征显着提升感知结果的质...
-
小红书推搜场景下如何优化机器学习异构硬件推理突破算力瓶颈！
本文将分享小红书推搜场景下，全 GPU 化建设过程中的模型服务、GPU 优化等相关工作。 一、前言 近年来，机器学习领域的视频、图像、文本和推广搜等应用不断发展，其模型计算量和参数量远远超过了 CPU 摩尔定律的增长速度。在此背景下，GPU 的算力发展...
-
AI震撼材料学！谷歌DeepMind新研究登Nature，一口气预测220万种新材料
只用一个AI，就获取了人类接近800年才能搞出来的知识成果！ 这是谷歌DeepMind新研究的一种材料发现工具，论文已经发表在Nature上。 仅凭这个AI工具，他们发现了220万种理论上稳定的新晶体材料，不仅将预测材料稳定性的准确率从50%拉高到80...
-
Meta教你5步学会用Llama2：我见过最简单的大模型教学
在这篇博客中，Meta 探讨了使用 Llama 2 的五个步骤，以便使用者在自己的项目中充分利用 Llama 2 的优势。同时详细介绍 Llama 2 的关键概念、设置方法、可用资源，并提供一步步设置和运行 Llama 2 的流程。 Meta 开源的 L...
-
专注图表理解，腾讯、南洋理工等开源图表羊驼大模型ChartLlama
在图像理解领域，多模态大模型已经充分展示了其卓越的性能。然而，对于工作中经常需要处理的图表理解与生成任务，现有的多模态模型仍有进步的空间。 尽管当前图表理解领域中的最先进模型在简单测试集上表现出色，但由于缺乏语言理解和输出能力，它们无法胜任更为复杂的问答...
-
AIGC玩转卡通化技术实践
FaceChain写真开源项目插播： 最新 FaceChain支持多人合照写真、上百种单人写真风格，项目信息汇总：ModelScope 魔搭社区 。 github开源直达（觉得有趣的点个star哈。）：https://gith...
-
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本 、安装、使用方法之详细攻略 导读：2023年9月25日，Colossal-AI团队推出了开源模型Colos...
-
文献阅读：LLaMA: Open and Efficient Foundation Language Models
文献阅读：LLaMA: Open and Efficient Foundation Language Models 1. 文章简介 2. 模型训练 1. 训练数据 2. 模型结构 3. 模型训练 1. Optimiz...
-
AI绘画站上被告席
“我们的案件情况和AI图被盗的案子完全不同，我们告的是小红书的AI模型库侵权。” 近日关于AI绘画侵权的风波不止，除了侵犯AI绘画图片著作权的案件一审宣判，还有AI模型数据库侵权案立案。 日前，据“九派财经”报道，画师“正版青团子”与小红书关于作品著作权侵...
-
基于AI的架构优化：创新数据集构造法提升Feature envy坏味道检测与重构准确率
本文分享自华为云社区《华为云基于AI实现架构坏味道重构取得业界突破，相应文章已被软工顶会FSE 2023收录》，作者： 华为云软件分析Lab。 基于AI技术实现架构坏味道检测与重构建议是当前业界比较流行的做法，但此做法往往存在一个通病，即训练数据集的质量...
-
280万大模型中文开发者拿到最后一块拼图
2023年5月，微软CEO纳德拉抛出一个惊人数字，未来全球的开发者数量将会达到10亿。 那时候Meta的Llama已经开源4个月，但一些国内的开发者发现，从小以英文语料喂养起来的Llama，对中文世界并不友好。 这未来的“10亿”开发者里会有多少中文开发者...
-
ChatGPT新漏洞：失控背出个人隐私泄露训练数据，OpenAI修复后依然有效
ChatGPT最新漏洞曝光，一句话就能让训练数据原封不动地泄露。 只需要让它重复一个词，它就会在一定次数后“发疯”，甚至毫无防备说出某人的个人隐私信息。 DeepMind的研究人员联合华盛顿大学、康奈尔大学等高校，发现了ChatGPT的数据泄露漏洞。...