安恒信息CTO刘博:AI迭代快是核心安全挑战

安恒信息CTO刘博:AI迭代快是核心安全挑战

安恒信息CTO刘博:AI迭代快是核心安全挑战-第1张图片

  从客户应用看,当前多数智能体仍用于个人或小规模实验场景 ,真正进入生产系统的应用“才刚刚开始 ”。随着数据依次进入模型训练 、推理调用和智能体执行等环节,相关安全风险呈现新变化 。

安恒信息CTO刘博:AI迭代快是核心安全挑战-第2张图片

  新变化分为两个方面。一方面是新环境下应对来自外部攻击风险的技术挑战,另一方面是隐私问题。现在以可信数据空间为代表的数据基础设施 ,包括高质量数据集,涉及很多隐私相关的问题,在数据“可用不可见”“可用不可得”的要求下 ,正成为新的挑战 。

  近来 ,安恒信息提出打造“AI+动态数据安全 ”体系,不再依赖静态规则。AI再加上UEBA(用户及实体行为分析)技术,可以自动帮助我们进行数据打标、数据识别 ,发现敏感数据在哪里、重要数据在哪里 、被哪些人使用,以及相关使用行为是否合规。

  当前,最核心的挑战在于 ,AI技术本身的迭代速度远超安全防御体系的跟进周期 。比如智能体,两三年前也有智能体的概念,但是当时的智能体框架和技术手段与现在差别非常大 。智能体可能带来的安全风险有些是恶意操作或被投毒 ,有些是操作失误。还有一些任务的思维链非常长,导致智能体难以持续完成任务,出现错误操作。也有些智能体被攻击者操控 ,他们利用智能体进行各种恶意操作 。

  对于我们的挑战是,当智能体的技术框架还没有固化、沉淀下来时,要快速应对 ,针对新的风险快速推出新的解决方案。我们判断2027~2029年 ,智能体才会在更大规模的领域应用。我们现在需要快速迭代 。在客户群体上线智能体前,要先提供一个能够解决主要问题的AI安全整体方案,之后再根据智能体技术和风险的变化持续迭代。

(文章来源:中国经营网)

©版权声明
THE END