为了帮助全球开发者、企业更好的开发定制大模型和生成式AI产品,例如,聊天机器人、编程代码助手等。
NVIDIA宣布推出了NeMo Curator、NeMo Customizer和NeMo Evaluator等微服务的早期访问计划。这些微服务涵盖了从数据整理、定制到评估的所有开发阶段,简化了用户构建自定义生成式AI模型的流程。
体验地址:https://developer.nvidia.com/nemo-microservices
NVIDIA NeMo是一个端到端的平台,可用于在任何地方开发定制的生成式AI,包括用于训练、微调、检索增强生成、防护栏、数据策划和预训练模型的工具。它在技术堆栈的各个层面提供服务,从框架到高级API端点。
作为NVIDIA CUDA-X微服务的一部分,NeMo API端点是建立在NVIDIA库之上的,为企业提供了一个简单的路径,可以开始构建定制的生成式AI。
在早期访问计划中,开发人员可以请求访问NeMo Curator、NeMo Customizer和NeMo Evaluator微服务。这些微服务共同使企业能够构建企业级定制生成式人工智能,并更快地将解决方案推向市场。
NeMo Curator微服务帮助开发人员筛选数据进行预训练和微调,而NeMo Customizer则实现微调和对齐。最后,借助NeMo Evaluator,开发人员可以评估这些模型与学术或自定义基准的对比情况,并确定改进的方向。
NeMo Curator是一种可扩展且支持GPU加速的数据整理微服务,用于为预训练和定制生成式AI模型准备高质量数据集。Curator简化了数据整理任务,如数据下载、文本提取、清洗、质量过滤、精确/模糊去重以及多语言下游任务净化。
NeMo Customizer是一个高性能、可扩展的微服务,简化了特定领域用例的大语言模型的微调和对齐。该微服务支持两种流行的参数高效微调技术LoRA和p-tuning。
此外,为了帮助开发者评估定制大模型,英伟达NeMo Evaluator(评估器)可自动评估各种学术和定制基准上的定制生成式AI模型,适用于任何云或数据中心。
NeMo Evaluator支持通过一组选定的学术基准进行自动评估,包括超越模仿游戏基准(BIG-Bench)、多语言、大型代码评估工具和毒性。
支持对自定义数据集进行评估,NeMoEvaluator提供的指标包括准确率、召回率导向的摘要评估(ROUGE)、F1和精确匹配。还可以利用大语言模型作为评判标准,对模型响应进行全面评估。
开发人员通过使用 NVIDIA API 目录中支持的任何 NVIDIA NIM 支持的大语言模型来评估 MT-Bench 数据集上的模型性能。