随着AI Agent（人工智能智能体）逐渐进入工具调用、文件访问、流程执行等应用场景，AI安全问题引发的行业担忧，也催生了全新的安全需求。
从内容审核到智能体安全：聚焦AI智能体安全新挑战
业内认为，公开数据集与统一评估框架的建立，有助于提升AI智能体安全能力的可比性与可评估性，也为行业进一步观察复杂攻击识别能力、误伤控制能力以及整体安全效果之间的关系，提供了新的参考依据。
从“拒答”到“分类处理”：深知安全风控为AI可信落地提供新实践
在机器学习领域，Recall通常用于衡量模型对目标类别的识别覆盖能力，True Negative Rate则用于衡量模型对非目标类别的正确判断能力。
对于AI智能体场景而言，如果过度强调拦截能力，容易影响正常交互体验；而如果放行过多，则可能带来新的安全风险。
据了解，深知安全风控采用组件化插入模式，可与基座大模型及相关智能体应用协同配合，对潜在风险进行识别与响应。针对部分风险问题，系统并非简单拒答，而是结合风险研判结果进行分类处理，在风险防控与正常使用体验之间实现平衡。
业内认为，仅依靠传统内容安全思路，已经难以充分应对新一代AI智能体场景中的复杂风险。
随着AI智能体加速进入办公协同、客户服务、企业运营等更多实际应用场景，能够兼顾风险识别能力与正常使用体验的安全能力，或将成为推动AI智能体进一步规模化落地的重要基础。
下载“北京日报”客户端 阅读体验更佳哦
扫描二维码下载手机客户端
扫描二维码下载手机客户端
-->分享到
发布评论文明上网理性发言，请遵守评论服务协议
未登录
0/200发布发布全部评论0条
点击加载更多
欢迎下载“北京日报”客户端发表评论
相关阅读热门报道换一批推荐阅读换一批精彩视频换一批猜你喜欢滚动企业北京国内国际北晚社会文娱体坛旅游文史阅读深度产经调查互联网美食北晚健康消费北晚行业北晚网摘网站地图新闻评论深度理论视频图库悦读互联网财经文化体坛科教消费矩阵网摘东城区政府网站西城区政府网站朝阳区政府网站海淀区政府网站丰台区政府网站石景山区政府网站门头沟区政府网站房山区政府网站通州区政府网站顺义区政府网站大兴区政府网站昌平区政府网站平谷区政府网站怀柔区政府网站密云区政府网站延庆区政府网站市人大市政协市监察委市高级人民法院市人民检察院市政府办公厅 市发展改革委 市教委市科委市经济信息化局市民族宗教委市公安局市民政局市司法局市财政局市人力社保局市规划自然资源委市生态资源局市住房城乡建设委市城市管理委市交通委市水务局市农业农村局市商务局市文化和旅游局市卫生健康委市退役军人事务局市应急管理局市市场监督管理局市审计局市政府外办市国资委市广播电视局市文物局市体育局市统计局市园林绿化局市地方金融监管局市人防办市信访办市知识产权局市医保局 京报媒体矩阵北京日报 北京晚报北京青年报北京商报音乐周报新闻与写作北京日报客户端长安街知事艺 绽北晚在线北京深读空间
关于我们 京报集团京报移动传媒北晚在线版权声明联系我们 友情链接人民网新华网央视网光明网中国网中国日报网中国经济网千龙网今日头条百度新浪网易腾讯搜狐爱奇艺优酷
Copyright ©1996-2026 Beijing Daily Group, All RightsReserved
京公网安备11040202120009号 |工信部备案号：京ICP备14054880号-1
主管：北京日报报业集团 主办：京报移动传媒有限公司
网上有害信息举报专区
深知安全风控推出AI Agent安全护栏网络2026-05-13 16:34
专注报道您想看的新闻
长按二维码查看文章详情
点击下载
发布评论文明上网理性发言，请遵守评论服务协议
未登录
0/200登录发布全部评论0条
点击加载更多
账号登录短信登录请输入手机号
广盛网提示：文章来自网络，不代表本站观点。
