当前位置:AIGC资讯 > AIGC > 正文

看红帽如何在RHEL与OpenShift中玩转生成式AI

市场上有很多生成式AI平台的选择,为什么要选择红帽?

红帽总裁兼CEO Matt Hicks直言红帽的不同之处在于运行位置的核心灵活性。企业既可以对小型开源模型进行混合部署,也可以在公有云或自有数据中心训练模型,同时支持主要的GPU供应商。

最近在Red Hat Summit上,红帽发布了一系列与人工智能相关的内容,包括Linux AI(RHEL AI)和OpenShift AI的最新进展。

Matt Hicks表示,RHEL用于运行所有可以在Linux上运行的应用程序,RHEL AI则用于运行你可以通过训练和定制的大型语言模型的AI部分。OpenShift用于管理可以在RHEL上以分布式方式跨集群运行的所有应用程序,OpenShift AI则以相同的方式管理一系列模型,高效地分割训练、使用和提供服务。


红帽总裁兼CEO Matt Hicks

Linux AI(RHEL AI)开源AI的创新

RHEL AI是一个基础模型平台,能够使用户更加便捷地开发、测试和部署生成式人工智能(GenAI)模型。该解决方案被封装成一个优化的、可启动的RHEL镜像,用于在混合云环境中部署单个服务器,并已集成到OpenShift AI中。

在意识到IBM研究院开发的大规模对话机器人对齐(LAB)技术能显著提升模型性能后,IBM和红帽决定推出InstructLab,这是一个围绕LAB方法和IBM开源Granite模型构建的开源社区。InstructLab项目的目标是使开发者通过简化LLM的创建、构建和贡献过程,像参与任何其他开源项目一样,将LLM开发的权力交到开发者手中。

RHEL AI融合了企业级就绪的InstructLab项目和Granite语言与代码模型,及全球领先的企业级Linux平台,简化了混合基础设施环境中的部署。RHEL AI包括:

  • 红帽支持和保障的开源许可Granite语言和代码模型;
  • 提供支持并具有生命周期管理的InstructLab分发版本,这是一种可扩展且成本效益高的解决方案,能够增强大型语言模型(LLM)的功能,并使知识与技能的贡献得到更广泛的用户接纳;
  • 通过RHEL镜像方式提供的优化可启动模型运行实例,包括Granite模型和InstructLab工具包,及优化的Pytorch运行时库和针对AMD Instinct™ MI300X、Intel和NVIDIA GPU以及NeMo框架的加速器;
  • 红帽提供的完整企业支持和生命周期保证,从可信的企业产品分发开始,提供24小时全天候生产支持和扩展的生命周期支持。

“RHEL AI的主要目标是利用硬件加速,进行模型的训练和运行。”Matt Hicks说,RHEL AI更专注于为大型语言模型创建业务安全、管理生命周期和提供可预测性,并使企业能够对其进行修改。

OpenShift AI增强预测性和生成式AI的灵活性

红帽OpenShift AI是基于红帽OpenShift构建的开放式混合人工智能(AI)和机器学习(ML)平台,帮助企业在混合云环境中大规模创建并交付人工智能支持的应用。

红帽OpenShift AI引入了新的增强功能,包括获取最新的AI/ML创新和以人工智能为中心的庞大合作伙伴生态系统的支持。最新版本红帽OpenShift AI 2.9,提供了边缘模型服务、增强型模型服务、采用Ray支持分布式工作负载、改进模型开发、模型监控和可视化、新的加速器配置文件。

在Matt Hicks看来,构建一个坚实的混合云基础对企业AI至关重要。许多企业尝试使用规模较小的模型进行微调和训练,但往往成效不佳。所以他们会转向“全知模型”——通常在公共云中运行的模型,参数量超过一万亿,这些模型虽然是开箱即用,但运行和训练成本相当之高。

无论是在笔记本、边缘还是任何地方,混合云对云充分发挥AI的潜力都是关键。企业必须改进这些小型模型,使其更好地适应实际任务,这就需要在特定用例上完成最后一段训练。

Red Hat Summit上红帽展示了在开放混合云中赋能人工智能战略,支持人工智能工作负载在数据所在的地方运行,无论是在数据中心、多个公有云或边缘。红帽的平台为这些工作负载提供跨环境的一致性,无论它们在何处运行,都可以顺利推进企业的人工智能创新。

更新时间 2024-05-13