-
OpenVINO版Stable Diffusion教程
OpenVINO版Stable Diffusion教程 stable_diffusion.openvino项目地址:https://gitcode.com/gh_mirrors/st/stable_diffusion.openvino 项目介绍...
-
橙芯创想：香橙派AIPRO解锁升腾LLM与Stable Diffusion的创意密码
文章目录 引言 一. 香橙派AI PRO配置以及展示 优秀的扩展能力 实物展示 二、Ascend-LLM模型部署 开机 xshell连接香橙派 实战运行部署 运行结果分析 开发版表现 三、Stable Diffusion 文生图 性能...
-
【AIGC调研系列】VILA-1.5版本的视频理解功能如何
VILA-1.5版本的视频理解功能表现出色，具有显著的突破。这一版本不仅增强了视频理解能力，还提供了四种不同规模的模型供用户选择，以适应不同的应用需求和计算资源限制[1][2][3]。此外，VILA-1.5支持在笔记本等边缘设备上部署，这得益于其高效的模型...
-
14-31 剑和诗人5 - 使用 AirLLM 和分层推理在单个 4GB GPU 上运行 LLama 3 70B
利用分层推理实现大模型语言(LLM 大型语言模型 (LLM 领域最近取得了显著进展，LLaMa 3 70B 等模型突破了之前认为可能实现的极限。然而，这些模型的庞大规模给其部署和实际使用带来了巨大挑战，尤其是在资源受限的设备上，例如内存有限的 GPU...
-
嵌入式期末复习--补充（答案来自文心一言）
一、第一章 1、常见的RTOS，嵌入式操作系统的特点 RTOS就是实时操作系统。根据响应时间的不同，可分为以下3类： （1）强实时嵌入式操作系统 响应时间：微妙或毫秒 （2）一般实时嵌入式操作系统 响应时间：毫秒...
-
硬核解读KubeEdge基于大模型边云协同的机器人语义分割算法
本文分享自华为云社区《KubeEdge：基于大模型边云协同的机器人语义分割算法》，作者：云容器大未来。 近年来快速发展的视觉大模型(例如 SAM 在促进高精度的智能感知方面具有很大的潜力。然而，边缘环境中的资源限制往往会限制这种视觉大模型在本地部署，从...
-
3B模型新SOTA！开源AI让日常调用不同大模型更简单
大模型，大，能力强，好用！ 但单一大模型在算力、数据和能耗方面面临巨大的限制，且消耗大量资源。 而且目前最强大的模型大多为闭源，对AI开发的速度、安全性和公平性有所限制。 AI大模型的未来发展趋势，需要怎么在单一大模型和多个专门化小模型之间做平衡和选择？...
-
大模型“分区”部署在云和边缘更合适？
作者 | David Linthicum 出品 | 51CTO技术栈（微信号：blog51cto） 众所周知，大型语言模型（LLMs）需要大量的计算资源。这意味着开发和部署主要集中在强大的集中式系统上，如公共云提供商。然而，尽管许多人认为我们需要大量的...
-
AI时代CIO如何应对GPU匮乏
通过采用模型优先的心态、优化利用率和战略性地运用负载平衡，首席信息官可以缓解芯片短缺。 译自How CIOs Can Battle GPU Poverty in the Age of AI，作者 Liam Crilly。 人工智能时代的淘金热已经到来，但...
-
我们应该恐惧AGI？杨立昆等语出惊人：这里有两个悖论
编辑 | 伊风 “现存的机器显然并不比人类更强大，马也比我们强壮得多，速度也比我们快。但没有人感受到马的威胁。但AI并不是这样。” “我们现在还缺乏对具有人类水平智能的AI系统的蓝图规划”。 “我们要阻止科学向一个方向或另一个方向发展是不可行的”。 “未...
-
红帽用RHEL AI和OpenShift AI塑造开源AI的未来
发展至今，AI技术对工作方式、决策过程乃至商业模式的重塑已经逐渐具象化。 红帽，作为开源解决方案的领军企业，在近日的在Red Hat Summit上，红帽展示了从RHEL AI的推出到InstructLab模型对齐工具的集成，再到OpenShift AI...
-
Python一个高效的机器学习库：HummingBird
Python HummingBird库是一个高效的机器学习库，它可以将训练好的机器学习模型转换为高性能的代码，以便在边缘设备上进行推理。HummingBird库可以将模型转换为多种格式，包括C++、CUDA和ONNX等，这使得它非常适合在嵌入式设备、移动...
-
增强包容性：如何利用Edge ML支持具有特殊需求的个人
译者 | 李睿 审校 | 重楼 科技进步为具有特殊需要的人带来了新的解决方案。边缘机器学习(Edge ML 是一项开创性技术，它使机器学习算法更接近数据源，从而减少延迟，并提高实时处理能力。 本文讨论了Edge ML在解决具有特殊需求的个人所面临的独特...
-
深度解析韩国AI产业：猛攻AI存储芯片，傍上大款英伟达
当美国兴致勃勃向AI发起全面总攻时，“小跟班”韩国的步伐值得留意。 2023年，韩国政府对AI研发的资助约为952亿韩元（约52亿人民币）。今年预算削减28.4%，降至684亿韩元（约37亿人民币）。有人担心预算削减会导致韩国与美国差距进一步拉大，但韩...
-
人工智能正在推动数据中心走向边缘
数据中心已成为连接我们数字互联世界的基石。与此同时，人工智能(AI 和机器学习(ML 的快速增长和应用正在影响数据中心的设计和运营。 与人工智能相关的培训需求正在推动新的芯片和服务器技术以及对极端机架功率密度的需求。 在设计人工智能系统时，训练和推理之...
-
在Raspberry Pi上运行本地LLM和VLM
译者 | 朱先忠 审校 | 重楼 在树莓派上使用Ollama的本地LLM和VLM（作者本人提供照片） 前言 有没有想过在自己的设备上运行自己的大型语言模型（LLM）或视觉语言模型（VLM）？你可能想过，但一想到从头开始设置，必须管理有关环境，还要下载正...
-
AI和6G：构建自给自足的安全网络
在技术快速进步的时代，人工智能(AI 和即将推出的第六代(6G 无线通信技术的融合，有望彻底改变我们感知网络和与网络交互的方式。随着互连设备的激增，以及对高速、低延迟连接的需求不断增加，自我维持和安全网络的发展已成为首要关注的问题。本文将深入探讨人工智能...
-
进一步加速落地：压缩自动驾驶端到端运动规划模型
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：On the Road to Portability: Compressing End-to-End Motion Planner for Autonomous Driving 论文链接：ht...
-
展望未来技术：当物联网遇到人工智能
人工智能驱动的洞察优化了物联网连接系统的性能，降低了能耗和运营成本。 人工智能(AI 已经取得了惊人的进步，并作为一种普遍适用的技术对社会产生了影响。 但早期的人工智能研究，相当于现今所知道的，始于20世纪50年代。如今，人工智能仍在不断发展。当数据过...
-
如何只用两个Python函数在几分钟内创建完整的计算机视觉应用程序
译者 | 李睿 审校 | 重楼 本文首先概述典型的计算机视觉应用程序的要求。然后，介绍Pipeless这一为嵌入式计算机视觉提供无服务器开发体验的开源框架。最后，提供一个详细的步骤指南，介绍如何创建和执行一个简单的对象检测应用程序，该应用程序只需采用几...
-
基于视频采集模块的现代监控技术探析
在当今数字化时代，视频监控系统以其高效性、便捷性及安全性的特点，已经成为城市安全管理和社会治安管理不可或缺的一环。而作为监控系统的“眼睛”和“耳朵”，视频采集模块发挥着举足轻重的作用。本文将围绕视频采集模块的功能原理、技术特性以及在现代社会的多元化应用等层...
-
Meta AI提出MobileLLM:为在移动设备上部署LLM提供新思路
Meta AI 研究团队推出的 MobileLLM 标志着大语言模型（LLMs）朝着模拟人类理解和生成自然语言迈出了革命性的一步。LLMs 在处理和分析大量数据集方面的能力已经显著影响了自动化客户服务、语言翻译和内容创作等多个领域。然而，由于传统 LLMs...
-
只需少量计算和内存资源即可运行的小型 Llama 大模型
背景介绍 在当今这个数据爆炸的时代，语言模型的训练变得越来越复杂和困难。我们需要巨大的计算资源和时间来训练一个高效的语言模型。然而，这对许多人来说并不现实。与此同时，我们也遇到了如何在有限的内存和计算资源中使用大型语言模型的挑战，特别是在边缘设备上。 今...
-
集成将成为技术领域的一个强大趋势
人工智能、边缘计算和动态数据的集成代表了一种强大的技术趋势，有可能改变各个行业并增强计算系统的能力。让我们探讨一下每个元素以及它们是如何相交的。 集成的组成部分 每一项都在技术如何塑造工业的未来方面发挥着作用。 人工智能(AI 人工智能是指能够执行通...
-
边缘人工智能：让智能更接近源头
随着人工智能的发展，不是把数据交给算法，而是算法去处理数据，从而实现一个全新的洞察力水平。 如今，人工智能 (AI 无处不在，使组织能够预测系统中断的可能性，推动自动驾驶汽车，并为聊天机器人或虚拟助手提供语言功能。 这些类型的人工智能用例主要依赖于...
-
动手实践丨轻量级目标检测与分割算法开发和部署(RK3568)
本文分享自华为云社区《自动驾驶(AIOT - 轻量级目标检测与分割算法开发和部署(RK3568 【玩转华为云】》，作者：HouYanSong。 本文将在ModelArts平台上开发轻量级目标检测与分割算法，并使用ModelBox框架在RK3568开发板...
-
Stable Diffusion教程——使用TensorRT GPU加速提升Stable Diffusion出图速度
概述 Diffusion 模型在生成图像时最大的瓶颈是速度过慢的问题。为了解决这个问题，Stable Diffusion 采用了多种方式来加速图像生成，使得实时图像生成成为可能。最核心的加速是Stable Diffusion 使用了编码器将图像从原始的...
-
下一代Edge AI的应用初探
如您所见，AI已不再只是科幻电影的经典主题，它正在以惊人的速度被应用到我们日常生活中的方方面面，并从个人关系到工作项目上，逐渐改变着我们的想法或行为。 其中，一个最为典型的领域当属NextGEN Edge AI（下一代边缘人工智能）应用。它能够通过诸如...
-
大模型没有护城河？OpenAI的“LLM城池”如何攻破，如何防守
作者 | Ben Dickson 译者 | 李睿 审校 | 重楼 出品 | 51CTO技术栈（微信号：blog51cto） 小模型、开源模型正在猛攻GPT-4，OpenAI需要更完善的措施来构建技术方面的护城河，以保护其LLM业务。 2023年5月，...
-
BiTA：创新AI方法加速大型语言模型生成
近年来，基于transformer架构的大型语言模型（LLMs）已经崭露头角。Chat-GPT和LLaMA-2等模型展示了LLMs参数的迅速增加，从几十亿到数万亿。尽管LLMs是非常强大的生成器，但由于所有参数的计算负载，它们在推理延迟方面存在问题。因此，...
-
当物联网遇上人工智能：技术的未来展望
人工智能(AI 已经取得了惊人的进步，并作为一种普遍适用的技术对社会产生了影响。 但早期的人工智能研究，始于20世纪50年代。如今，人工智能仍在不断发展。当数据过多时，人工智能会很有帮助。物联网(IoT 预计将显著增加生成的数据量，目前估计每天约为2.5...
-
Semron筹集790万美元，用于移动设备的3D封装AI芯片、效率提升20倍
德国公司Semron最近成功融资了790万美元（730万欧元），旨在通过先进的3D封装技术推动移动设备上的AI芯片效率提升。总部位于德累斯顿的Semron表示，他们的目标是在移动设备上设立新的AI芯片标准，以满足行业不断发展的需求。 图源备注：图片由AI...
-
AI在工业物联网（IIoT）中的安全管理与应用
作者 | 陈峻 审校 | 重楼 在开放的工业互联网环境中，数百万个基于物联网的终端和中间设备，需要全天候地持续通信并保持在线状态。不过，这些设备往往由于最初设计上的限制，在机密性、完整性、可用性、扩展性、以及互操作性上，存在着各种安全漏洞与隐患。与此同时...
-
超越便利：我们可以信任智能家居吗？
当我们坐在舒适的扶手椅上度过一个电影之夜时，随着投影仪启动，智能灯会自动变暗。可这时，如果收到了一条令人毛骨悚然的通知：“智能设备检测到未经授权的访问。” 我们会着急忙慌地断开所有与互联网的连接，曾经令人安慰的智能家居现在变成了一种威胁。 这不是反乌托...
-
五种资源类别，如何提高大语言模型的资源效率，超详细综述来了
近年来，大型语言模型（LLM）如 OpenAI 的 GPT-3 在人工智能领域取得了显著进展。这些模型，具有庞大的参数量（例如 1750 亿个参数），在复杂度和能力上实现了飞跃。随着 LLM 的发展趋势朝着不断增大的模型规模前进，这些模型在从智能聊天机器...
-
轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了
当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。 小模型在边缘设备上有着广泛的应用，如智能手机、物联网设备和嵌入式系统，这些边缘设备通常具有有限的计算能力和存储空间，它们无法有效地运行大型语...
-
迷你AI模型TinyLlama发布：高性能、仅637MB
经过一番期待，TinyLlama项目发布了一款引人注目的开源模型。该项目于去年9月启动，开发人员致力于在数万亿标记上训练一款小型模型。在经历了一些辛勤工作和一些挫折之后，TinyLlama团队如今发布了这个模型。这个模型有着10亿个参数，大约在训练数据上进...
-
VC谈2024年AI发展趋势年:多模态模型主导、GPU短缺等
随着2023年的结束，VC们对过去一年围绕人工智能的巨大进展和伦理辩论进行了回顾。像Bing Chat和Google Bard这样的聊天机器人展示了令人印象深刻的自然语言能力，而生成式AI模型如DALL-E3和MidJourney V6则以其创造性的图像生...
-
模型量化和边缘人工智能如何定义交互方式
人工智能与边缘计算的融合承诺为许多行业带来变革。模型量化的快速创新在这方面发挥着关键作用，模型量化是一种通过提高可移植性和减小模型大小来加快计算速度的技术。 模型量化弥补了边缘设备的计算限制与部署高精度模型的需求之间的差距，以实现更快、更高效、更具成本效...
-
你的工厂需要部署边缘AI吗？
随着更多的制造企业希望利用人工智能(AI 工具访问数据并实时响应，预计将不断推动边缘AI市场的增长。通过采用边缘AI技术，企业可以获得更高的性能，如实时数据处理、效率和准确性，减少工作时间，并实现更好的能源管理和性能优化。 边缘AI市场预计将迎来强劲增...
-
使边缘人工智能真正实现变革
边缘人工智能的采用在众多行业中呈上升趋势。随着这种趋势的持续下去，其将不仅为企业而且为社会带来变革。 边缘计算的去中心化方法减轻了数据拥塞、连接故障和传输成本等限制。这极大地提高了人工智能应用程序的性能，从而可以更快、更可靠地做出决策。 边缘人工智能的...
-
Rain AI vs NVIDIA：奥特曼执掌的OpenAI想改变AI芯片游戏规则？
摆脱昂贵的NVIDIA芯片已经成为AI公司的梦想，就连大名鼎鼎的OpenAI也不例外。OpenAI 董事会开除山姆·奥特曼（Sam Altman）事件爆发不久后，就有消息传出奥特曼曾与许多投资者洽谈，打算募资成立一家新的AI 芯片公司。 如今这件事也有...
-
戴尔CTO预测量子计算和生成式AI将在未来五年内实现交汇
在最新的一次在线圆桌会议中，戴尔技术的全球首席技术官约翰·罗斯表示，人工智能将推动其他新兴技术在先进硬件、边缘设备和网络安全领域协同发展，从而促进业务转型。他强调，量子计算和生成式人工智能将在未来五年内实现交汇，成为创新的驱动力。 罗斯指出，在2024年...
-
OpenAI 同意从首席执行官 Sam Altman 个人投资的初创公司 Rain 购买 5100 万美元的 AI 芯片
尽管 Sam Altman 在上月被解雇后不久便重新被任命为 OpenAI 的首席执行官，但即使在他离开期间，该公司继续开发 ChatGPT，他仍有望获得收益。据报道，在 Altman 担任首席执行官期间，OpenAI 签署了一份意向书，计划向一家名为 R...
-
边缘智能：实现实时数据处理和智能决策的新一代技术
Labs 导读 边缘智能（Edge Intelligence）是一种将人工智能（AI）和边缘计算相结合的新兴技术。传统的人工智能应用通常依赖于云计算中心进行数据处理和决策，但这种方式存在延迟和网络带宽的问题。 Part 01、 什么是边缘智能 ...
-
人工智能会取代专业技术人员吗?
人工智能(AI 已经存在一段时间了。在过去的十年里，深度学习彻底改变了计算机视觉和自然语言处理等领域。但在过去一年左右的时间里，生成式人工智能席卷了整个世界。人工智能正在超越分类和预测，积极创造和影响各种行业，并具有即时应用。IT行业本身一直是这一切的核...
-
人工智能会取代专业技术人员吗？
人工智能(AI 已经存在一段时间了。在过去的十年里，深度学习彻底改变了计算机视觉和自然语言处理等领域。但在过去一年左右的时间里，生成式人工智能席卷了整个世界。人工智能正在超越分类和预测，积极创造和影响各种行业，并具有即时应用。IT行业本身一直是这一切的...
-
日本 Rapidus 与 Tenstorrent 达成合作 将共同开发 2 纳米 AI 芯片
Rapidus Corporation，一家专注于高级逻辑半导体的研究、开发、设计、制造和销售的公司，今天宣布已与专注于人工智能（AI）计算的下一代计算公司 Tenstorrent Inc. 达成合作协议，共同开发基于 2 纳米逻辑半导体的 AI 边缘设备...
-
摩根士丹利：随着 Edge AI 走向主流，苹果处于最有利的位置
在人工智能（AI）成为 2023 年的热门话题之际，投资公司摩根士丹利的一份新报告得出结论，尽管苹果对其 AI 技术的发展讳莫如深，但该公司已准备好在消费者开始广泛采用基于 AI 的工具时获得利润。摩根士丹利认为，苹果在 AI 领域的进展超出了公众的预期，...
-
使用百度EasyDL实现电动车进电梯自动预警
项目说明 业务背景 近年来，电动车进楼入户发生火灾的事故屡见不鲜，针对该问题，社区物业已明令禁止电动车入户，但是依然有住户忽视这个问题的严重性。 业务难点 由于小区电梯多，人工监控很难及时发现电瓶车入户违规，最终造成严重的人员伤亡事故。 同...