大模型安全风险治理与防护
大模型企业应用十大常见安全风险 01 样本投毒(数据污染) 02 恶意利用(Prompt注入攻击) 03 代码辅助工具数据泄露(第三方代码辅助工具) 04 第三方代码依赖风险(开源模型/库污染) 05 自动化Agent权限滥用 06 自建模型平台暴露面过大 07 训练数据隐私泄露 08 模型推理劫持(对抗样本攻击) 09 AI伦理与偏见放大 10 开源模型滥用(深度伪造与辅助犯罪)
大模型企业应用十大常见安全风险 01 样本投毒(数据污染) 02 恶意利用(Prompt注入攻击) 03 代码辅助工具数据泄露(第三方代码辅助工具) 04 第三方代码依赖风险(开源模型/库污染) 05 自动化Agent权限滥用 06 自建模型平台暴露面过大 07 训练数据隐私泄露 08 模型推理劫持(对抗样本攻击) 09 AI伦理与偏见放大 10 开源模型滥用(深度伪造与辅助犯罪)
随着⼈⼯智能(AI)技术的⻜速发展,以⼤型语⾔模型(LLMs)为核⼼的智能体(AI Agents)和多智能体系统(Multi-Agents System)正⽇益深⼊到各个应⽤领域,从简单的对话助⼿到复杂的⾃主决策系统。与此同时,作为连接 AI 模型与外部世界(包括⼯具、数据源和其他智能体)的关键桥梁,模型上下⽂协议(MCP)的出现进⼀步拓展了 AI 智能体的能⼒边界。然⽽,这种能⼒和集成度的提升也带来了前所未有的安全挑战。本⽂将针对⽬前披露的针对⼤模型、 MCP 和 AI 智能体的各类安全攻击⽅法,简要分析和总结,深⼊剖析原理、关联性和影响,⼒求提供⼀个当前时点较为全⾯的威胁分析视图,并结合最新的研究进展,为当前的防御策略提供洞察
Searchlight Cyber has released a new AI capability that summarizes the activity of a threat actor in its dark web investigation platform, Cerberus. The Searchlight AI Agent uses the Cerberus’ dark web data lake to provide a quick overview of a threat actor, including their activity, conversation history, aliases, and associations, helping law enforcement and cybersecurity professionals to quickly identify profiles of interest and areas of investigation to pursue. Criminals use the dark web to … More →
The post Searchlight Cyber unveils AI Agent to automate dark web threat actor summaries appeared first on Help Net Security.