内容安全管理
内容安全管理的入口如下所示:
敏感词管理
敏感词管理功能帮助用户对平台内容进行有效控制,确保内容合规、健康,符合企业内部规定或社区管理规范。通过定义敏感词,系统可在内容生成、展示或存储阶段进行智能识别和拦截,避免敏感信息的传播。
功能亮点
- 支持批量导入与导出,便于集中管理大量敏感词
- 状态控制灵活,可单独启用或停用每条敏感词
- 支持描述信息,便于记录敏感词设置背景及用途
- 导入模板校验机制,避免格式错误或重复项导入
新增敏感词
用户可手动新增一条或多条敏感词,操作步骤如下:
- 进入路径:
内容安全管理 > 敏感词 > 新建
- 在弹出的窗口中填写以下信息:
- 敏感词:如
恐怖
- 启用状态:选择
启用
或停用
- 描述(可选):补充说明敏感词的添加背景
- 敏感词:如
- 点击 保存,敏感词将立即生效或保留待用(根据启用状态)
下载导入模板
为便于批量管理敏感词,系统提供统一的导入模板,操作如下:
- 进入路径:
内容安全管理 > 敏感词 > 下载模板
- 系统将自动下载 Excel 文件,默认命名为:
敏感词导入模板.xlsx
- 打开模板文件,填写以下字段:
敏感词
(必填)是否启用
(是 / 否)描述
(可选)
- 填写完成后保存文件,备用导入
导入敏感词
在准备好敏感词模板后,可进行批量导入:
- 进入路径:
内容安全管理 > 敏感词 > 导入
- 点击上传区域,或将模板文件拖拽上传
- 系统将自动校验内容(字段完整性、格式、重复项等)
- 导入成功后将显示“上传成功”提示,并在列表中显示新增敏感词
⚠️ 建议先进行小批量测试,确保格式正确后再批量导入
导出敏感词
支持将当前平台中所有敏感词导出为 Excel 文件,操作步骤如下:
- 进入路径:
内容安全管理 > 敏感词 > 导出
- 点击导出后,系统将自动下载
.xlsx
文件,默认命名为:敏感词报表.xlsx
- 报表内容包含敏感词本体、启用状态及描述信息,便于留档与分享
内容审核模型
置信度(Confidence)通常是指一个模型或系统对其预测结果的确信程度。
在内容审核模型的上下文中,置信度阈值设置是一个重要的功能,它允许用户定义模型在标记内容为特定类别(如垃圾邮件、不适当内容等)之前必须达到的最低置信度水平。这样做可以减少误报或漏报的数量,具体取决于阈值的设置。
例如,如果置信度阈值设置为0.8
,那么只有当模型对其预测结果的置信度至少为80%时,它才会将内容标记为不适当。这有助于确保只有那些模型非常确信的案例才会被采取行动。