需要为组织的开发项目提供特定于生成式 AI 的工具？探索这些工具所属的主要类别及其功能。
ChatGPT 等生成式AI 服务的普及激发了将这些新工具应用于实际企业应用的兴趣。如今，几乎每个企业应用程序都通过生成式 AI 功能进行了增强。
大多数 AI、数据科学、机器学习开发、部署和运营工具都支持生成式 AI 用例。这些工具的各种类型有助于管理 AI 开发生命周期、管理 AI 开发数据以及降低安全和隐私风险。尽管这些功能也可用于改进生成式 AI 开发，但本文重点介绍特定于生成式 AI 的工具。
还有许多新兴类型的生成式人工智能不使用如此大型的语言模型 （LLM） 来执行生成图像、视频、音频、合成数据和跨语言翻译等任务。这包括使用生成对抗网络（GANs）、扩散（Diffusion）、变分自动编码器和多模态技术构建的模型。
考虑到这一点，以下是有关生成式 AI 开发工具的顶级类别及其在一些领先供应商或开源实现中的功能的更多详细信息。还值得注意的是，许多领先的供应商开始扩展其核心产品，通过收购或开发来支持多个类别。虽然许多现有工具都支持特定类别，但企业在规划其生成式 AI战略时，可能希望探索直接或通过集成市场支持这些功能的顶级平台功能。
1. 基础模型和服务
在大多数情况下，新的生成式 AI 工具专注于简化使用 Google 研究人员在 2017 年开创的transformer 方法构建的 LLM 的开发和合规使用。基于 LLM 构建的新基础模型通常可以开箱即用，以增强现有应用程序。在其他情况下，供应商正在为各种行业和用例开发特定领域的模型。顶级基础模型和服务的例子包括Anthropic的Claude，百度研究的Ernie，Cohere的Generate，Facebook的Llama系列，谷歌的Palm，Microsoft的Orca，OpenAI的GPT系列和技术创新研究所的Falcon LLM。顶级特定领域的 LLM 包括 C3 AI、Deci、DeepMind 的 AlphaCode、谷歌的Med-Palm、Nvidia 的 NeMo、BioNeMo 和 Picasso、和 OpenAI 的 Codex。
2. 云生成式 AI 平台
各大云平台也纷纷推出一套生成式AI功能，帮助企业开发、部署和管理生成式AI模型和功能。云提供商生成式 AI 平台包括 AWS 生成式 AI、Google 生成式 AI、IBM Watsonx 和 Microsoft Azure AI 基础知识。用于在云中开发生成式 AI 的流行第三方生成式 AI 开发平台包括 Hugging Face 和 Nvidia 的产品。
3. 用例优化工具
通用基础模型可以生成听起来权威且清晰的文本。他们还倾向于产生幻觉并产生不准确的信息。特定于生成式 AI 的开发工具还可以帮助企业推出自己的 LLM，这些 LLM 可以根据其独特的需求和专业知识进行调整。检索增强生成 （RAG） 可以启动基础模型以提高准确性。微调工具可帮助企业校准基础模型。RAG 和微调工具有时会一起使用，以平衡每种方法的收益。顶级 RAG 工具包括 ChatGPT 检索插件、Hugging Face Transformers 插件和 Farm、Haystack 和 Realm 等开源工具。微调功能已融入到服务中，以访问大多数商业基础模型。其他第三方微调工具包括 Entry Point 和 SynthFlow（以前称为 Fine-Tuner），以及 Hugging Face 与开源模型配合使用的产品。
4. 质量保证和幻觉缓解工具
新的幻觉检测工具可以帮助识别和减少各种用例中幻觉的流行率。顶级幻觉缓解工具包括 Galileo Labs 的 LLM Studio、Helix3 Labs 的 Gleen、TruEra 的 TruLens 和 Vectara 的 Vectara 平台。新的研究技术，如Woodpecker algorithm，可以帮助有兴趣开发自己的幻觉缓解工作流程的企业。其中许多供应商已经发布了这些产品的开源变体，包括 Galileo Labs 的 ChainPoll、TruEra 的 TruLens 和 Vectara 的 Hughes Hallucination Evaluation Model。
5. 提示工程工具
提示工程工具有助于管理与 LLM 的交互和 LLM 的测试。这些工具的面向用户的变体使开发和管理有用提示库变得更加容易。以工程为导向的变体有助于自动化测试过程，以识别偏差、毒性或幻觉。顶级提示工程工具包括 BetterPrompt、OpenPrompt、PromptAppGPT、Prompt Engine 和 Promptimize。
6. 数据聚合工具
早期的基础模型支持有限的上下文窗口，这些窗口描述了 LLM 在一次查询中可以处理的数据量。尽管这些模型在处理更大的上下文窗口方面越来越好，但开发人员已经精心设计了各种类型的工具来处理更大的数据集。数据链工具，如LangChain和Dust，可以自动将多个文档输入到LLM中。向量数据库以中间格式存储数据，称为嵌入空间，以使用LLM。需要考虑的顶级矢量数据库包括Chroma，Faiss，Pinecone Systems的Pinecone，Qdrant和Weaviate。
7. 代理和自主人工智能工具
开发人员还在探索在一个或多个基础模型及其可能相关的后端服务之间自动交互的方法。从长远来看，这可能有助于实现代理人工智能或自主人工智能的发展。自主和代理 AI 工具包括 AgentGPT、AutoGPT、BabyAGI 和 OthersideAI 的自操作计算机框架等开源工具。平台供应商也在推出新服务，以集成跨多个LLM模型和服务的工作流程。
8. 生成式 AI 成本优化工具
AI 成本优化工具有助于在性能、准确性和成本之间取得最佳平衡。这些工具仍处于开发的早期阶段，但一个早期的例子是 Martian 的 Model Router。从长远来看，现有的云成本优化领导者可能会开发相关产品。