跳到主要内容

内容安全管理


内容安全管理的入口如下所示:


敏感词管理

敏感词管理功能帮助用户对平台内容进行有效控制,确保内容合规、健康,符合企业内部规定或社区管理规范。通过定义敏感词,系统可在内容生成、展示或存储阶段进行智能识别和拦截,避免敏感信息的传播。

功能亮点

  • 支持批量导入与导出,便于集中管理大量敏感词
  • 状态控制灵活,可单独启用或停用每条敏感词
  • 支持描述信息,便于记录敏感词设置背景及用途
  • 导入模板校验机制,避免格式错误或重复项导入

新增敏感词

用户可手动新增一条或多条敏感词,操作步骤如下:

  1. 进入路径:内容安全管理 > 敏感词 > 新建
  2. 在弹出的窗口中填写以下信息:
    • 敏感词:如 恐怖
    • 启用状态:选择 启用停用
    • 描述(可选):补充说明敏感词的添加背景
  3. 点击 保存,敏感词将立即生效或保留待用(根据启用状态)


下载导入模板

为便于批量管理敏感词,系统提供统一的导入模板,操作如下:

  1. 进入路径:内容安全管理 > 敏感词 > 下载模板
  2. 系统将自动下载 Excel 文件,默认命名为:敏感词导入模板.xlsx
  3. 打开模板文件,填写以下字段:
    • 敏感词(必填)
    • 是否启用(是 / 否)
    • 描述(可选)
  4. 填写完成后保存文件,备用导入


导入敏感词

在准备好敏感词模板后,可进行批量导入:

  1. 进入路径:内容安全管理 > 敏感词 > 导入
  2. 点击上传区域,或将模板文件拖拽上传
  3. 系统将自动校验内容(字段完整性、格式、重复项等)
  4. 导入成功后将显示“上传成功”提示,并在列表中显示新增敏感词

⚠️ 建议先进行小批量测试,确保格式正确后再批量导入


导出敏感词

支持将当前平台中所有敏感词导出为 Excel 文件,操作步骤如下:

  1. 进入路径:内容安全管理 > 敏感词 > 导出
  2. 点击导出后,系统将自动下载 .xlsx 文件,默认命名为:敏感词报表.xlsx
  3. 报表内容包含敏感词本体、启用状态及描述信息,便于留档与分享


内容审核模型

置信度(Confidence)通常是指一个模型或系统对其预测结果的确信程度。

在内容审核模型的上下文中,置信度阈值设置是一个重要的功能,它允许用户定义模型在标记内容为特定类别(如垃圾邮件、不适当内容等)之前必须达到的最低置信度水平。这样做可以减少误报或漏报的数量,具体取决于阈值的设置。

例如,如果置信度阈值设置为0.8,那么只有当模型对其预测结果的置信度至少为80%时,它才会将内容标记为不适当。这有助于确保只有那些模型非常确信的案例才会被采取行动。