当前位置:AIGC资讯 > AIGC > 正文

【拥抱AIGC】通义灵码策略配置

通义灵码企业级策配置支持智能问答、行间代码生成安全过滤器相关策略配置。

适用版本

企业标准版、企业专属版

通义灵码管理员、组织内全局管理员(专属版)在通义灵码控制台的策略配置中进行安全过滤器的配置,开启后,企业内开发者使用通义灵码 IDE 插件的智能问答、行间代码生成功能时,将通过管理员配置的安全过滤器。

重要

如需使用企业级策略配置功能,请确保将通义灵码 IDE 插件升级到 V1.4.0 及以上;

启用或修改后,预计需要 5~10 分钟生效,开发者可在使用通义灵码 IDE 插件时生效。

在不同的版本中,支持的过滤器方式不同:

企业标准版:智能问答安全过滤器、行间生成安全过滤器,均支持正则表达式;

企业专属版:智能问答安全过滤器、行间生成安全过滤器,均支持正则表达式、自定义脚本;

方式一:正则表达式配置

企业标准版、企业专属版均支持通过正则表达式的方式进行过滤器配置。

说明

管理员在配置正则时,充分验证,避免对 IDE 插件端开发者使用产生性能的影响或异常问题。

处理方式:支持通过正则表达的方式配置过滤器,且支持 3 种模式:

匹配规则时不处理

匹配到正则后,不做任何处理

匹配规则时拦截

匹配到正则后,直接拦截请求,阻断模型请求

匹配规则时替换内容

匹配到正则后,按照配置替换内容

消息通知:支持开启消息通知,通过 webhook 的方式,推送到所需要的消息接收平台。

执行顺序:按照配置的排序执行。

正则数量限制:最多添加 10 条。

正则表达式标准:正则配置遵循 ECMAScript 标准,支持i(不区分大小写)、g(全局匹配)、s(DOTALL 模式)等常用标志位。

正则配置示例:

规则名称

正则表达式

替换内容

原文

替换后

身份证号

(?<pre>.*)(\d{15})((\d{2})([0-9Xx]))(?<post>.*)

$<pre>***$<post>

身份证号:330204197709022312。

身份证号:***。

邮箱

\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*

***

我的邮箱是 lin***@aliyunmail.com

我的邮箱是 ***

密码

(.*password=)([\w\d]+)(.*)

$1***$3

{password=1213213}

{password=***}

方式二:自定义脚本配置

企业专属版中支持通过自定义脚本的方式进行过滤器配置,以实现对复杂场景下的前置过滤的需求。步骤如下:

步骤一:脚本开发

目前支持使用 TypeScript 语言进行脚本开发,可以参考样例进行代码开发,操作步骤如下:

下载模板代码库:单击仓库地址:lingma-extension-template,该模板仓库集成了开发脚本所需的脚手架,请仔细阅读README.md文件和代码示例;

实现“前置处理”接口:实现接口RequestPreHandler,API 可参考见下文,以下为一个示例片段SensitiveContentFilter.ts的实现:

/**
 * 敏感内容过滤器,通过该过滤器可以实现对发送给模型的数据进行敏感信息预处理
 */
export const sensitiveContentFilter: RequestPreHandler = {
  handle: async (request: RawRequest, SDKTool: LingmaSDKTool) => {
    const dataMap = PayloadUtil.getPayloadData(request.payload);
    for (const [key, value] of dataMap.entries()) {
      if (value.includes('password')) {
        return ResultUtil.buildBlockResult('内容包含password');
      }
    }
    // 如果需要针对不同的 action 做差异化处理,则参考如下实现
    switch (request.action) {
      case ActionEnum.COMPLETION:
        // do something
        break;
      case ActionEnum.CODE_PROBLEM_SOLVE:
        // do something
        break;
      default:
        return ResultUtil.buildNoOpsResult();
    }
    return ResultUtil.buildNoOpsResult();
  },
};

运行调试代码,通过运行main方法来测试脚本是否符合预期,操作步骤如下:

步骤一

编辑src/index.ts文件,修改main函数,调整实际需要被调试代码,如下示例:

async function main() {
  const value1 = ['password=123', 'abc'];
  const value2 = 'hello world';
  const dataMap = new Map<PayloadDataKeyEnum, PayloadDataValueType>();
  dataMap.set(PayloadDataKeyEnum.SELECTED_CODE, value1);
  dataMap.set(PayloadDataKeyEnum.USER_INPUT, value2);

  const mockRequest: RawRequest = {
    action: ActionEnum.CODE_GENERATE_COMMENT,
    payload: {
      associatedContexts: [],
      data: dataMap,
    },
    requestId: '123',
  };
  const response = await sensitiveContentFilter.handle(mockRequest, SDKTool);
  console.log(response);
}

步骤二

在 VS Code 中打开想要调试的代码文件并设置断点,然后从调试视图中选择“启动程序”并单击运行按钮即可;

步骤二:编译构建

将运行调试完成的 ts 文件编译为 js 文件,如将SensitiveContentFilter.ts文件编译为SensitiveContentFilter.js文件,编译构建步骤如下:

打开配置文件src/build.js,修改entryPointsoutfile两个配置参数,并在entryPoints参数中指定需要编译构建的 ts 文件路径,在outfile中指定构建后的产物输出路径;

在代码库根目录下执行命令node build.js,执行成功后对应的 js 文件将输出到outfile指定的产物输出路径。

步骤三:本地测试

在脚本上传企业配置后台之前,可在本地完成调试,以确保脚本能够与通义灵码的 IDE 插件集成,并对补全或问答场景的行为进行正确的安全过滤处理。具体调试步骤如下:

将构建好的 js 文件拷贝到通义灵码本地存储路径的/extension/local/script/目录下;

修改config.json文件:该文件所在目录为通义灵码本地存储路径的/extension/local/,打开config.json文件,并找到contentHandlerScripts,并在对应的内容里增加该脚本的配置信息,如果没有contentHandlerScripts,可以新增一个数组类型的配置,参考示例如下:

{
  "contentHandlerScripts": [
    {
      "identifier": "SensitiveContentFilter", 
      "name": "敏感内容过滤",
      "version": "1.0.0",
      "scriptPath": "~/.lingma/extension/local/script/SensitiveContentFilter.js",
      "state": "enabled",
      "bizType": "completion"
    }
  ]
}

配置参数说明:

参数

说明

identifier

脚本 ID,需确保唯一性。

name

脚本名称

version

脚本的版本号,如果修改了脚本内容,需要升级版本号,否则脚本无法生效。

scriptPath

脚本存放的路径,请注意:

脚本一定要存放在本地存储路径的/extension/local/script/目录下;

脚本的 js 文件名称(如:SensitiveContentFilter.js)一定要与identifier的值保持一致。

state

脚本状态,enabled表示启用、disabled表示禁用。

bizType

脚本应用的业务场景,completion表示行间代码生成补全、chat表示智能问答。

步骤四:脚本上传

经过本地调试并通过验证后,可进行脚本上传,操作步骤如下:

前往通义灵码控制台-策略管理,选择需要开通安全过滤器的场景;

选择过滤器选项为:自定义脚本;

将构建后的 js 文件上传;

上传后,单击保存配置,约 5 分钟内会下发到插件端生效。

自定义脚本 API

目前自定义脚本支持三种处理方式,如下:

阻断处理:即阻断后续流程,一旦阻断,则不会请求大模型进行推理,中断本次请求;

过滤处理:对发送处理的数据进行了修改(如:混淆、删除、替换等),然后继续后续流程;

无处理:对发送的数据没有做任何处理,原样返回,然后继续后续流程。

接口定义
/**
 * 通义灵码编程助手前置处理接口
 */
export interface RequestPreHandler {
  // 处理请求
  handle: (request: RawRequest, SDKTool: LingmaSDKTool) => Promise<HandlerResponse>;
}
入参定义
/**
 * 请求对象定义,请求包括触发的行为和待发送给 LLM 的原始数据
 */
export interface RawRequest {
  // 当前请求唯一标识,可用于追踪请求执行
  action: ActionEnum;
  // 触发请求的行为枚举
  payload: ContentPayload;
  // 封装原始数据内容的payload
  requestId: string;
}

// ContentPayload.data 中 value 类型
export type PayloadDataValueType = string | number | string[];
/**
 * 封装发送给 LLM 的原始数据内容
 */
export class ContentPayload {
  // 待处理的数据集合,对应的 key 参考 ContextValueKeyEnum 定义
  data: Map<PayloadDataKeyEnum, PayloadDataValueType>;
  // 与处理关联的上下文
  associatedContexts: ContextItem[];

  constructor() {
    this.data = new Map<PayloadDataKeyEnum, PayloadDataValueType>();
    this.associatedContexts = [];
  }
}

/**
 * ContentPayload.data 中 key 枚举
 */
export enum PayloadDataKeyEnum {
  // 用户圈选的代码片段
  SELECTED_CODE ='lingma:code',
  // 用户输入的文本
  USER_INPUT = 'lingma:text',
  // 报错信息
  ERROR_MESSAGES = 'lingma:error_messages',
  // 终端打印的日志信息
  TERMINAL_CONTENT = 'lingma:terminal_content',
  // 代码补全时,当前光标所在行的前文代码片段
  PREFIX_CODE = 'lingma:code_prefix',
  // 代码补全时,当前光标所在行的后文代码片段
  SUFFIX_CODE = 'lingma:code_suffix',
  // 相似代码片段
  SIMILAR_CODE = 'lingma:similar_code',
}

/**
 * 触发请求的行为枚举
 */
export enum ActionEnum {
    // 单元测试
    GENERATE_TESTCASE           = 'GENERATE_TESTCASE',
    // 生成注释
    CODE_GENERATE_COMMENT       = 'CODE_GENERATE_COMMENT',
    // 代码解释
    EXPLAIN_CODE                = 'EXPLAIN_CODE',
    // 代码优化
    OPTIMIZE_CODE               = 'OPTIMIZE_CODE',
    // 自由问答(即在问答输入框中直接输入文本的行为)
    FREE_INPUT                  = 'FREE_INPUT',
    // 代码问题快捷修复
    CODE_PROBLEM_SOLVE          = 'CODE_PROBLEM_SOLVE',
    // shell命令生成
    TERMINAL_COMMAND_GENERATION = 'TERMINAL_COMMAND_GENERATION',
    // 终端报错修复
    TERMINAL_EXPLAIN_FIX        = 'TERMINAL_EXPLAIN_FIX',
    // 代码补全
    COMPLETION                  = 'COMPLETION',
}
出参定义
/**
 * 预处理结果
 */
export class HandlerResponse {
  // 处理策略,通过该策略可以控制后续的处理逻辑
  handlePolicy: HandlePolicy;
  // 原因描述
  reason?: string;
  // 当handlePolicy=FILTER时,需要设置该属性,其值为经过过滤后的数据(必须与ContentRequest.payload的内容保持一致)
  payload?: ContentPayload;
  constructor() {
    // 默认值
    // eslint-disable-next-line @typescript-eslint/no-use-before-define
    this.handlePolicy = HandlePolicy.NO_OPS;
    this.reason = '';
    this.payload = new ContentPayload();
  }
}

/**
 * 处理策略枚举
 */
export enum HandlePolicy {
  // 阻断策略,直接阻断请求
  BLOCK = 'BLOCK',
  // 过滤策略,拦截请求并对payload内容进行修改
  FILTER = 'FILTER',
  // 忽略策略,不处理请求
  NO_OPS = 'NO_OPS',
}

总结

文章概述:通义灵码企业级策略配置提供了针对智能问答和行间代码生成功能的安全过滤器配置,支持企业标准版和企业专属版。管理员可以在通义灵码控制台进行配置,确保开发者使用IDE插件时内容通过指定的安全过滤器。配置方式分为正则表达式和自定义脚本两种。企业标准版仅支持正则表达式;企业专属版则同时支持正则表达式和自定义脚本。正则表达式配置中,管理员可以通过三种模式(不处理、拦截、替换内容)来过滤内容,并可选择开启消息通知。自定义脚本配置则适用于复杂场景,支持使用TypeScript开发过滤脚本,并在本地调试通过后上传至控制台以启用。自定义脚本API提供了详细的接口定义,包括请求和响应的参数及枚举。整体来说,通义灵码的企业级策略配置功能为企业用户提供了灵活且强大的数据处理和安全过滤能力。

更新时间 2024-10-05