跳到主要内容

内容安全管理

内容安全管理

内容安全管理的入口如下所示：

敏感词管理​

敏感词管理功能帮助用户对平台内容进行有效控制，确保内容合规、健康，符合企业内部规定或社区管理规范。通过定义敏感词，系统可在内容生成、展示或存储阶段进行智能识别和拦截，避免敏感信息的传播。

功能亮点​

  • 支持批量导入与导出，便于集中管理大量敏感词
  • 状态控制灵活，可单独启用或停用每条敏感词
  • 支持描述信息，便于记录敏感词设置背景及用途
  • 导入模板校验机制，避免格式错误或重复项导入

新增敏感词​

用户可手动新增一条或多条敏感词，操作步骤如下：

  1. 进入路径：内容安全管理 > 敏感词 > 新建
  2. 在弹出的窗口中填写以下信息：
    • 敏感词：如 恐怖
    • 启用状态：选择 启用 或 停用
    • 描述（可选）：补充说明敏感词的添加背景
  3. 点击 保存，敏感词将立即生效或保留待用（根据启用状态）

下载导入模板​

为便于批量管理敏感词，系统提供统一的导入模板，操作如下：

  1. 进入路径：内容安全管理 > 敏感词 > 下载模板
  2. 系统将自动下载 Excel 文件，默认命名为：敏感词导入模板.xlsx
  3. 打开模板文件，填写以下字段：
    • 敏感词（必填）
    • 是否启用（是 / 否）
    • 描述（可选）
  4. 填写完成后保存文件，备用导入

导入敏感词​

在准备好敏感词模板后，可进行批量导入：

  1. 进入路径：内容安全管理 > 敏感词 > 导入
  2. 点击上传区域，或将模板文件拖拽上传
  3. 系统将自动校验内容（字段完整性、格式、重复项等）
  4. 导入成功后将显示“上传成功”提示，并在列表中显示新增敏感词

⚠️ 建议先进行小批量测试，确保格式正确后再批量导入

导出敏感词​

支持将当前平台中所有敏感词导出为 Excel 文件，操作步骤如下：

  1. 进入路径：内容安全管理 > 敏感词 > 导出
  2. 点击导出后，系统将自动下载 .xlsx 文件，默认命名为：敏感词报表.xlsx
  3. 报表内容包含敏感词本体、启用状态及描述信息，便于留档与分享

内容审核模型​

置信度（Confidence）通常是指一个模型或系统对其预测结果的确信程度。

在内容审核模型的上下文中，置信度阈值设置是一个重要的功能，它允许用户定义模型在标记内容为特定类别（如垃圾邮件、不适当内容等）之前必须达到的最低置信度水平。这样做可以减少误报或漏报的数量，具体取决于阈值的设置。

例如，如果置信度阈值设置为0.8，那么只有当模型对其预测结果的置信度至少为80%时，它才会将内容标记为不适当。这有助于确保只有那些模型非常确信的案例才会被采取行动。

⚠️ 本部分内容目前正在开发中，敬请期待。

PII检测与脱敏​

💡 提示：此功能只支持V4.1及以上版本

PII（Personally Identifiable Information，个人可识别信息）检测与脱敏功能用于识别和保护可能暴露个人隐私的数据。系统支持单独或结合其他信息识别出特定个人的各类数据，其核心作用是保障数据安全与隐私合规。

全局配置​

界面说明 在“管理员控制台”中进入【内容安全管理 > PII检测与脱敏 > 全局配置】，可对平台范围内的 PII 检测策略进行统一设置。

配置项说明

  • 自动PII检测与脱敏：
    • 平台级开关，默认开启。
    • 开启后，系统将在Agent交互与数据处理过程中自动识别个人隐私信息（如姓名、电话、邮箱、身份证号等），并进行脱敏处理。
    • 若关闭此功能，所有PII检测将失效。
  • Agent白名单：
    • 可选择特定Agent加入白名单。
    • 白名单内的Agent将跳过PII检测与脱敏流程，但所有操作将被记录至审计日志，以确保安全可追溯。

操作说明

  • 在“Agent白名单”下拉框中选择需排除检测的Agent；
  • 切换“自动PII检测与脱敏”开关以启用或停用全局检测；
  • 点击【保存】，配置即时生效。

功能作用

  • 自动识别并脱敏敏感个人信息，防止隐私泄露；
  • 支持灵活配置，满足不同业务场景下的隐私策略；
  • 审计日志可追溯所有配置变更，确保安全合规可控。

脱敏规则配置​

💡 提示：此功能只支持V4.1及以上版本

功能说明

“脱敏规则配置”用于定义系统在检测到涉及个人敏感信息（PII）时的处理策略。通过设置不同的规则与策略，管理员可灵活控制系统对敏感数据的识别、提示及脱敏方式，确保数据合规与隐私安全。

页面说明

页面中展示了所有系统内已配置的脱敏规则，包含以下信息：

  • 规则类型：区分系统内置（预置）规则与用户自定义规则。
  • 规则名称：该规则所检测的敏感信息类型，如身份证号、手机号、邮箱等。
  • 规则内容：用于匹配敏感信息的正则表达式或检测逻辑。
  • 启用状态：可控制该规则是否生效。
  • 脱敏策略：当匹配到敏感信息时系统执行的操作，可选择“遮盖”“提示”“终止”“删除”等。
  • 更新时间：规则最近的更新时间。
  • 操作：支持编辑或删除规则。

配置步骤说明

  1. 新增自定义规则

    • 点击页面右上角“新增自定义规则”按钮；
    • 在弹窗中填写以下内容：
      • 规则名称：为规则命名，如银行卡号检测；
      • 规则内容：输入用于识别该类型信息的正则表达式；
      • 启用状态：可根据需要立即启用或暂不启用；
      • 脱敏策略：从下拉框中选择脱敏方式（如“遮盖”“提示”“终止”“删除”）；
    • 填写完成后点击“保存”，规则即生效。

  2. 自定义用户提示

    • 当脱敏策略选择为“提示”时，可通过点击右上角“自定义用户提示”设置提示语；
    • 示例：“您的输入包含身份证信息，是否继续？”；
    • 保存后，当用户触发该规则时，系统将弹出提示确认。

  3. 规则管理

    • 可随时通过“编辑”修改规则内容或策略；
    • 不再需要的规则可点击“删除”进行移除。

使用示例

系统预置了常用的敏感信息规则（如身份证号、中国大陆手机号等），管理员可直接启用这些规则；也可根据业务场景自定义新增规则，例如检测邮箱、银行卡号或其他特定格式的数据。