当前位置:AIGC资讯 > AIGC > 正文

DeepMind指出「Transformer无法超出预训练数据实现泛化」,但有人投来质疑

距离马斯克的 xAI 公布 Grok 才过去一天,刚刚,xAI 又公布了另一款 AI 产品,一个可用于 prompt 工程和可解释性研究的集成开发环境:PromptIDE。

接连不断的新品发布,也让网友纷纷感叹:「xAI 团队的开发速度简直是疯了!」

xAI 在官方博客中这样介绍:PromptIDE 是一个用于 prompt 工程和可解释性研究的集成开发环境。它通过 SDK 加速 prompt 工程,并且该 SDK 可以完成复杂的 prompt 技术,还能进行结果分析,可视化网络输出等。

值得注意的是,xAI 在 Grok 的开发中大量的使用了该技术。

借助 PromptIDE,工程师和研究人员可以透明的访问 Grok-1 模型(为 Grok 提供支持的模型)。该 IDE 可以帮助用户快速探索我们大模型 (LLM) 的功能。IDE 的核心是一个 Python 代码编辑器,它与新的 SDK 相结合,可以实现复杂的 prompt 技术。在 IDE 中执行 prompt 时,用户会看到一些比较有用的分析,例如采样概率、聚合注意力掩码等。

该 IDE 会自动保存所有的 prompt 并具有内置版本控制,还允许用户比较不同 prompt 技术的输出。最后,用户可以上传 CSV 文件等小文件,并使用 SDK 中的单个 Python 函数读取它们。结合 SDK 的并发特性,即使是稍大的文件也能快速处理。

下面是 IDE 主要功能演示。

代码编辑器 & SDK

PromptIDE 的核心是代码编辑器 + Python SDK,其中 SDK 提供了一种新的编程范式,可以实现复杂的 prompting 技术。 

如上图所示,用户可以使用 prompt () 函数手动将 token 添加到上下文中,也可以使用 sample () 函数根据上下文生成 token。 

此外,多个 web worker 可以同时运行,这意味着用户可以并行执行多个 prompt。

用户也可以使用同一程序中的多个上下文来实现复杂的 prompting 技术。如果函数使用 @prompt_fn 装饰器进行注释,则它将在自己的新上下文中执行,该函数可以独立于其父上下文执行一些操作。这种编程范式支持具有任意嵌套子上下文的递归和迭代 prompts。

并发性:SDK 使用 Python 协程来并发处理多个带 @prompt_fn 注释的 Python 函数,从而加快时间进程,尤其是在处理 CSV 文件时。

用户输入:Prompt 可以通过 user_input () 函数进行交互。user_input () 函数返回用户输入的字符串,然后可以通过 prompt () 函数将其添加到上下文中。使用这些 API,只需四行代码即可实现聊天机器人:

文件:开发人员可以将较小的文件上传到 PromptIDE(每个文件最多 5 MiB,总共最多 50 MiB),并在 prompt 中使用他们上传的文件。read_file () 函数以字节数组形式返回任何上传的文件。这些与上面提到的并发特性结合起来,可以实现对 prompt 进行批处理。

分析:在执行 prompt 时,用户会看到详细的 token 分析,以帮助他们更好地理解模型的输出。

当用户使用 user_input () 函数时,窗口中会显示一个文本框,用户可以在其中输入响应。下面的屏幕截图显示了执行上面列出的聊天机器人代码片段的结果。

最后,当不需要对 token 进行可视化时,还可以以 markdown 方式呈现上下文,以提高易读性。

更新时间 2023-11-08