今年初以来,开源AI智能体OpenClaw以超高热度席卷整个科技圈,因其红色龙虾图标与“投喂数据成长”的特性被网友戏称为“养龙虾”。广东深圳、江苏无锡、常熟、安徽合肥等多地宣布下场“养龙虾”,拟出台相关政策支持。
近日,“养龙虾”的热潮甚至从科技圈蔓延向了普通公众,不少网友也开始尝试和讨论在自己的电脑上“一键部署”OpenClaw,让其作为个人助理,帮忙代理相关工作任务。甚至,网上还涌现不少“如何通过‘养龙虾’炒股”的教程,连券商分析师也下场教投资者怎么用。
3月10日,国家互联网应急中心发布关于OpenClaw安全应用的风险提示。这是继“养龙虾”热潮高涨以来,官方再次发布相关提示。就在国家互联网应急中心发文后不久,中央网信办数据与技术保障中心也发布了类似安全风险提示。
全国政协委员、中国工程院院士吴世忠提醒广大用户,在“养龙虾”的热潮中不能忘了绷紧安全这根弦,建议将“龙虾”养在一个独立的智能终端上,做好物理隔绝,并坚持最小授权原则,特别是对涉及删改的操作,必须设置人工二次确认。
“龙虾”爆火
由奥地利开发者开发
AI从“动嘴”变“动手”
爆火的“龙虾”其实是OpenClaw的通俗称呼,这是一款由奥地利开发者开发的免费开源个人AI智能体,因其图标形状为“龙虾”,用户们逐渐把自己依托OpenClaw搭建智能体的过程称为“养龙虾”。

OpenClaw。
OpenClaw创始人曾公开表示,“在你的电脑上它能做任何事”。这只“龙虾”本质是新一代AI Agent(智能体),将AI从“陪聊天”全面升级为“能说会干”的超级助手。与DeepSeek、豆包等大模型不同,以前用户问AI怎么写代码,它给你方案,但动手还得靠自己;而OpenClaw在获得用户授权后,可以直接接管电脑底层操作权限——它能24小时不间断地读取文件、自动回复邮件、通过微信提醒你、跨App订票,甚至自己写代码修复Bug。
这意味着,用户只需要用自然语言下达指令,在获得授权后,这只“小龙虾”就会完成“听懂指令→拆解任务→动手执行→自动汇报”的全闭环,相当于一个24小时在线的“赛博员工”。
“养虾人”
“龙虾”可写邮件订球场
但也会有幻觉问题
今年1月,资深互联网AI项目从业人员方先生开始在互联网接触到OpenClaw。作为较早接触这款开源AI智能体的玩家,他抱着尝鲜的心态开启了自己的“养虾”之旅,至今已在Mac系统、Windows系统和云服务器上部署了三个“龙虾”。
他介绍道,安装过程其实并不复杂,本地部署只需一行命令,配置好模型和API密钥就行。“我用的是MiniMax的模型,再配置飞书、微信这些渠道,就能通过手机跟它对话了。云端部署更简单,支付费用在云端买一年的服务器,平台会自动安装好,相当于7×24小时在线的AI助理。”
谈到实际应用场景,方先生最近刚完成一个典型的“养虾”任务。他刚订好月底将入住的巴厘岛酒店,随后他给“龙虾”发出指令,要求它发邮件给酒店,沟通安排接机和房间要求。“本来要自己写邮件,现在直接告诉OpenClaw相关要求,它帮我发送,有点像私人助理。”

“龙虾”按照用户指令给酒店发送邮件。受访者供图
豆包 大模型 教程方先生接下来准备给“龙虾”升级一下指令。“我最近想打网球,总是订不到场。我打算给它设置一个定时任务,隔段时间就帮我去小程序看看有没有场地,有了就通知我。”
他向南都记者解释称,这就像给大模型加上了“插件”,“其实用GPT配置也能实现发邮件功能,但OpenClaw的优势在于,我不用打开电脑,通过手机就能让它操控电脑完成任务。”方先生还强调,OpenClaw的上下文可以无限保存在本地,这让它真正像一个了解你习惯的私人助理。
不过他也坦言,对于没有任何技术背景的人来说,“养虾”门槛太高。“需要安装、配置、调教,还要安装各种工具,探索自己需要的场景。很多人装了也是白装,根本用不起来。”
谈及风险,方先生认为关键在于开放什么权限,“不给它开放权限就不会有风险。但你要用它发邮件,就得先登录邮箱获取Access Token(访问令牌)给它。给了权限后,它有一定概率发送的邮件不符合需求,毕竟模型有幻觉问题。如果给它开放更高级的权限,比如银行卡付钱,那就有可能乱花钱。”
造福场景?
有人两天赚近60倍?
国内股民开始躁动了
随着“养龙虾”爆火出圈,“第一批靠‘养龙虾’赚钱的人已经出现”等话题再次刷屏,而AI的造富场景向来少不了金融投资。
一位海外博主声称让OpenClaw自主投资的试验让“养龙虾”炒股彻底出圈。日前,有海外博主称,给了一个OpenClaw 50美元,并下达了生存指令:要么赚到足够的钱支付自己的API运行费,要么余额归零彻底消失。结果这只“龙虾”在48小时内,把50美元滚成了2980美元,收益率5860%。
这消息一出,国内股民开始躁动了。有人发帖:“我用OpenClaw操盘1000元,挑战6个月翻倍!”评论区引来不少围观者。也有人吐槽:“第一天让它帮我买股票,结果它把价格搞错了,虽然还在亏钱,但有个AI陪着炒股,又气又好笑。”记者注意到,目前社交平台已经涌现不少教用户如何利用OpenClaw炒股的“教程”。

来源:短视频平台
券商也没闲着。兴业证券计算机行业研究团队专门整理了OpenClaw在金融领域的应用场景——从全自动高频套利、智能投研辅助,到实时检测与系统监控,实现无人值守的交易套利与条件选股、财报分析、复杂代码工程、技术分析等;华创证券分析师王小川发布研报介绍在OpenClaw利用多个技能进行金融实战工作,实现选股策略、个股分析与量化策略构建。
风险
“养龙虾”炒股背后隐藏何代价?
就在不少投资者摩拳擦掌准备“养虾炒股致富”时,AI替人赚钱的背后隐藏的代价、风险不容忽视。
最直接的代价是钱。OpenClaw虽免费开源,但“养”它得烧Token(大模型调用次数)。有网友吐槽:“一个复杂任务就要一块钱,两个复杂任务就把免费额度用完了。”据工业和信息化部信息通信经济专家委员会委员、DCCI互联网研究院院长刘兴亮介绍,有使用者“养龙虾”月均消耗3万元,这对普通人来说是笔不小的费用。
比烧钱更令人担忧的是安全风险。工信部网络安全威胁和漏洞信息共享平台监测发现:OpenClaw在默认或不当配置下,存在信任边界模糊、权限控制不足等问题,可能被恶意接管。怒喵科技创始人、前魅族CMO李楠更是直言:“普通人先不要碰‘龙虾’,分分钟把账号密码给你弄走。”
东吴证券金融工程团队同样提醒,OpenClaw是一款能力突出、潜力巨大,但仍处于成长阶段的智能体工具,但AI在不同时间、不同提示词下的输出结果可能存在不一致性、偏差甚至错误;OpenClaw与本地文件、业务数据或敏感信息交互,存在因权限配置不当、环境隔离不足导致的数据泄露、误操作等风险。“第三方Skills(技能)质量参差不齐,部分技能甚至可能存在恶意代码和安全隐患。”
至于AI炒股能不能赚钱?有业内人士强调,由于历史数据有限,面对黑天鹅等突发事件,AI根本hold不住。不少网友灵魂发问:“大家都用龙虾炒股,都赚钱,那么谁亏钱?”有博主坦言:“这只是工具和思路,需要不断迭代、回测数据。”
多部门提示“养龙虾”风险
网安专家:一定别部署日常电脑
“远程装OpenClaw后接到反诈电话”等案例相关话题在网络引发热议。在一众网友抢着安装使用“龙虾”的同时,社交平台上也有大量网友发帖求助“如何彻底卸载OpenClaw”,甚至出现了“上门卸载OpenClaw一次299元”等生意。
“养龙虾”热潮之下,其隐藏风险不容忽视。此前,工业和信息化部网络安全威胁和漏洞信息共享平台监测发现,由于OpenClaw部署时“信任边界模糊”,且具备自身持续运行、自主决策、调用系统和外部资源等特性,在缺乏有效权限控制、审计机制和安全加固的情况下,可能因指令诱导、配置缺陷或被恶意接管,执行越权操作,造成信息泄露、系统受控等一系列安全风险。
对此,中央网信办数据与技术保障中心提示,部分收费代装服务可能是第三方个人行为,暗藏恶意程序植入、API密钥窃取等风险。用户付费请人“开门”,请进来的却可能是窃贼,导致系统从最初就被植入后门。
3月10日,中国工程院院士、鹏城实验室主任高文指出,OpenClaw相当于个人助理,可以处理日常邮件或公司技术研发,极大降低了创业门槛,但也需注意防范潜在的网络安全风险,尤其涉及银行支付、家庭信息等要加以小心。提供此类服务的互联网平台企业需压实主体责任,履行安全风险评估等义务。
同日,清华大学新闻学院、人工智能学院双聘教授沈阳在接受南都记者采访时表示,OpenClaw有明显的安全风险,其问题在于,要让其充分发挥作用,就要给充分的授权;而授权越高,发生网络安全问题的概率也就越大。“因此,一方面可以在实验性的环境来进行‘龙虾’的调试与测试,另一方面在职场、企业以及个人主力机等关键场景中,必须确保生产环境安全稳定,比如使用本地开源大模型等。”
而国家互联网应急中心此番发布的安全风险提示显示,前期,由于OpenClaw智能体的不当安装和使用,已经出现了一些严重的安全风险:
1.“提示词注入”风险。网络攻击者通过在网页中构造隐藏的恶意指令,诱导OpenClaw读取该网页,就可能导致其被诱导将用户系统密钥泄露。
2. “误操作”风险。由于错误地理解用户操作指令和意图,OpenClaw可能会将电子邮件、核心生产数据等重要信息彻底删除。
3.功能插件(skills)投毒风险。多个适用于OpenClaw的功能插件已被确认为恶意插件或存在潜在的安全风险,安装后可执行窃取密钥、部署木马后门软件等恶意操作,使得设备沦为“肉鸡”。
4.安全漏洞风险。截至目前,OpenClaw已经公开曝出多个高中危漏洞,一旦这些漏洞被网络攻击者恶意利用,则可能导致系统被控、隐私信息和敏感数据泄露的严重后果。对于个人用户,可导致隐私数据(像照片、文档、聊天记录)、支付账户、API密钥等敏感信息遭窃取。对于金融、能源等关键行业,可导致核心业务数据、商业机密和代码仓库泄露,甚至会使整个业务系统陷入瘫痪,造成难以估量的损失。
风险提示称,建议相关单位和个人用户在部署和应用OpenClaw时,采取以下安全措施:
1.强化网络控制,不将OpenClaw默认管理端口直接暴露在公网上,通过身份认证、访问控制等安全控制措施对访问服务进行安全管理。对运行环境进行严格隔离,使用容器等技术限制OpenClaw权限过高问题;
2.加强凭证管理,避免在环境变量中明文存储密钥;建立完整的操作日志审计机制;
3.严格管理插件来源,禁用自动更新功能,仅从可信渠道安装经过签名验证的扩展程序。
4.持续关注补丁和安全更新,及时进行版本更新和安装安全补丁。
值得一提的是,就在国家互联网应急中心发文后不久,中央网信办数据与技术保障中心也发布了类似安全风险提示。
在提醒要关注“提示词注入攻击”“技能市场大规模投毒”等风险的同时,中央网信办数据与技术保障中心还特别指出,OpenClaw存在“责任真空”风险:一方面,OpenClaw在数据抓取和处理上边界模糊,自主执行任务时容易造成损失。由于目前法律对此类AI代理行为的权责划分尚属空白,因此责任难以界定;另一方面,OpenClaw作为新兴技术迭代迅速,现有的安全评估标准与实施细则亟需细化,在抢抓产业机遇时风险评估考虑不够充分。
奇安信安全专家汪列军告诉南都记者,OpenClaw的设计初衷是拥有操作系统的最高权限以执行复杂任务。一旦配置不当或被恶意诱导,由于它具备“超级权限”和“超级能力”,可以轻松突破人类设定的安全围栏。前不久,AI安全领域发生了一件大事,Meta的安全总监在使用OpenClaw清理邮箱的过程中,发现它忽视了“未经批准不得操作”的安全指令,紧急叫停3次OpenClaw都没有停止,直到工作邮件被全部清空,损失惨重。马斯克转发这件事并配了一句话“人们把自己整个人生的root权限交给OpenClaw”,可谓非常贴切。
而据相关研究团队对ClawHub的近3000个Skill进行扫描来看,发现有数百个(确切为341个已确认,潜在超472个)恶意Skill插件,这些恶意插件伪装成“加密货币追踪器”“YouTube助手”“PDF工具”等热门应用,安装后会窃取用户的浏览器Cookie、SSH密钥、API Token,甚至部署信息窃取木马,让电脑沦为黑客“肉鸡”。
汪列军介绍,许多用户在部署时缺乏安全意识,直接将OpenClaw的管理接口暴露在公网上,且未修改默认凭证或关闭不必要的端口。这使得黑客可以轻易扫描并接管这些“AI助手”,将其作为跳板攻击内网,或直接窃取服务器上的敏感数据。奇安信网络空间测绘鹰图平台的数据显示,目前暴露在公网的OpenClaw实例超20万,其中大量实例存在弱口令和未授权访问漏洞,随时可能成为黑客的攻击标靶。
除此之外,由于AI需要读取本地文件、浏览记录甚至代码库来完成任务,若部署在存有个人私密资料(如身份证照、财务数据、公司机密)的主力电脑上,一旦发生上述失控或被黑,所有数据将直接“裸奔”。工信部特别提醒,此类应用可能导致敏感信息被非法上传至境外服务器或被恶意程序窃取。
在汪列军看来,考虑到OpenClaw这类“AI超人”的超级权限和超级能力,对于普通用户而言,建议遵循“物理隔离”和“最小权限”原则,强烈建议禁止在日常办公电脑、存有重要个人资料(照片、文档、账号密码)的个人电脑上直接安装OpenClaw。因为一旦AI失控执行删除操作或被黑客控制,损失将是不可逆的。
对于想要尝试、需要部署使用的用户,建议使用虚拟机或闲置电脑部署,避免数据隐患。“推荐使用更安全的云服务器虚拟机部署,和个人电脑系统实现彻底的物理隔离。即使AI把系统搞崩或被黑客入侵,损失的仅限于云服务器内的环境,而不会波及本地的私人数据和家庭网络。”汪列军说,对于个人爱好者而言,还可以找一台旧的、闲置的电脑,或者专门组装一台不含任何重要数据的机器,在确保没有数据泄露和丢失隐患后,专门用于运行OpenClaw。
观察
股市掀起“龙虾热”
是泡沫还是风口?
尽管通过“养龙虾”投资挣钱仍存在不少风险,但资本市场已经开始押注“养龙虾”。3月9日,A股主要指数集体调整,AI“养龙虾”概念却爆火,细分产业龙头逆市拉升,相关ETF涨幅居前。
不过,随着国家互联网应急中心发布风险提示,开源AI智能体OpenClaw(也被称为“龙虾”)的安全问题引发广泛关注。3月11日早盘,“龙虾”概念港股MINIMAX-WP(00100.HK)暴涨超8%后转跌。午后,“龙虾”概念港股跌幅扩大,MINIMAX-WP一度跌超9%,截至收盘,跌6.48%,智谱和迅策均跌逾5%。A股相关概念同样现跌势,截至收盘,昆仑万维跌4.10%,顺网科技、美格智能也分别下跌2.96%、1.79%。
中银证券策略团队认为,以“龙虾”智能体为代表的AI Agent方向正经历从主题热点到产业布局的过渡,尽管产业链仍处早期,但其作为连接大模型能力与终端场景的关键环节,有望推动人工智能从“回答问题”向“执行任务”跨越。
综合来看,多家券商分析认为,OpenClaw的爆发式渗透验证商业可行性,相关产业链将受益。从产业层面看,OpenClaw串联起了上游算力硬件、中游部署集成、下游应用生态三大块,再加上配套服务。而在各产业链条中,由于Agent系统需要持续执行任务、频繁调用大模型,因此会显著增加推理算力需求,算力仍是市场关注度最高的投资方向,而AI应用与Agent软件有望成为中长期的另一增长方向。
在指数化投资浪潮下,不少投资者还借道相关ETF分享“养龙虾”红利,纷纷挖掘与AI Agent上下游相关的产品,例如人工智能ETF、科创芯片ETF、通信ETF、大数据ETF、云计算ETF等。
“养龙虾”热潮折射出AI Agent技术从概念走向落地的加速进程,但也暴露了安全、成本、门槛等一系列短板。投资者需清醒认识到,在技术真正成熟之前,若想尝鲜,还是需要用人类智慧把关——别让这只“龙虾”,把你银行卡里的“真龙虾”给夹走了。
政府下场
多地拟推出“养龙虾”政策支持
开源智能体项目OpenClaw,持续引发全网关注。近日,广东深圳、江苏无锡、常熟、安徽合肥等多地宣布下场“养龙虾”,拟出台相关政策支持。
3月6日,合肥高新区正式发布《合肥高新区打造人工智能OPC创业生态示范区行动计划(征求意见稿)》,推出15条硬核举措,称全方位护航OpenClaw等开源AI项目落地深耕,致力打造“AI+超级个体/一人公司(OPC)”新业态标杆,最高予以1000万元资金扶持。
3月7日,深圳市龙岗区人工智能(机器人)署发布《支持OpenClaw&OPC发展的若干措施(征求意见稿)》,包括10条支持内容。其中提出,鼓励市场化、专业化平台载体推出“龙虾服务区”,免费提供OpenClaw部署服务,符合条件的给予一定补贴等。
对此,龙岗区人工智能(机器人)署工作人员告诉南都记者,“‘龙虾十条’的出台将引领人工智能产业进入‘普惠化、实用化’的新阶段,催生全新的产业形态和商业模式。”
3月9日,无锡高新区发布《关于支持OpenClaw等开源社区项目与OPC社区融合发展的若干措施》。12条“养龙虾”政策提及,“单项支持最高达500万元,从基础支持到产业落地,从人才引育到安全合规,用开源AI的活力,撬动制造业的智能化升级。”
此外,9日晚,常熟市人民政府新闻办公室发文称,常熟发布《常熟市加快打造OpenClaw等开源社区推动产业高质量发展的若干措施(征求意见稿)》,推出13条硬核举措,聚焦AI赋能产业高质量发展,打造全国具有引领力的AI+创新应用示范区。
3月10日,IDC中国研究总监卢言霞向南都记者分析指出,“OpenClaw爆火背后的逻辑在于解决了用户的核心痛点,这并不一定是算法或者大模型本身,可能是系统之间的打通及自动化链接。”
OpenClaw到底有哪些创新之处?卢言霞指出,“举几个例子,以前我们要在自己笔记本上查阅、操作多个文件,只能人为一步步地操作,我们要检索某个公司的产品信息,只能点开公司网站,一个个站点打开去检索阅读。AI无法做到这些超越5-10个步骤的操作。但OpenClaw在获得我们的授权后,可以代替人类去操作,还可以从企业级系统(如果获得授权)查数、调数。”
“应用OpenClaw之后,可以大幅提高工作与生产效率,真正做到人不在工位、不在电脑前,智能体替我们去工作。”卢言霞表示。
对于多地相继出台的政策支持,卢言霞认为,“此前部分AI应用、大模型开发、智能体应用的门槛较高。此次多地新政策的推出可以说是智算中心建设的延续,OpenClaw已经大幅降低了AI的使用门槛,并已经明显带动token(指自然语言处理过程中用来表示单词或短语的符号)的消耗,当下推出这些政策正合时宜。”
全国政协委员发声
防止AI智能体滥用代理权限
年初,这股“龙虾”热潮刚在硅谷兴起时,全国政协委员、中国工程院院士吴世忠就密切关注其动向。他发现,AI“龙虾”火爆后,催生了一个AI智能体社区Moltbook:人类在这里无法发言跟帖,只能围观AI讨论哲学、吐槽人类、创立宗教……更科幻的一幕是,在海外一个名为“rentahuman.ai”的网站上,AI智能体成为雇主,雇佣人类完成物理世界的任务。目前已有超过30万名人类“出租者”,愿意为AI打工。

全国政协委员、中国工程院院士吴世忠。(受访者供图)
从“动口”到“动手”,再到雇佣人类,AI技术的更新速度让人惊叹。谈论AI,许多目光落在技术突破、产品创新上,而吴世忠更关注那些被热闹遮蔽的隐患——因为“风险往往从不起眼的地方开始。”在吴世忠看来,自主性智能体带来的最大风险,正是其过高的“系统代理权”,因此在设计和使用AI智能体时,必须严格控制其权限,确保AI的操作范围与人工监督保持一致。
对于已率先尝鲜的“养虾人”,吴世忠也给出具体建议。他提醒广大用户在“养龙虾”的热潮中不能忘了绷紧安全这根弦,建议将“龙虾”养在一个独立的智能终端上,做好物理隔绝,并坚持最小授权原则,特别是对涉及删改的操作,必须设置人工二次确认。
减少数据泄露风险
警惕AI智能体滥用访问权限
南都:2026年年初,OpenClaw爆火,掀起了一股“养龙虾”热潮,还催生AI智能体社区Moltbook。如何看待这一现象?
吴世忠:回顾近几年AI的发展,从“能说会道”的ChatGPT,到“能跑会跳”的机器人,再到“能想会做”的智能体,AI的技术创新和迭代真是日新月异。
近期爆火的OpenClaw相当于个人数字助手,能自主调用各种工具帮助用户处理日常事务,Moltbook则是专属智能体的社交平台——AI在这上面聊天发帖,甚至创造了宗教,而人类只能作为观察围观。最近,硅谷还有一个名为“rentahuman.ai”的网站更为颠覆,它能雇佣人类在物理世界干活。
这些产品的火爆说明,AI已经实现了从工具化对话向社会化协作的跨越,被赋予了环境感知、调用工具和自主决策等能力,正在构建一个跨越数字和物理边界的新型生态,而这将对市场秩序、社会信任机制、法律和伦理道德产生深刻冲击。
南都:OpenClaw火热出圈,率先引发争论的是数据与隐私安全。当AI智能体会接触到大量的个人数据,这会导致数据安全风险吗?
吴世忠:AI智能体不仅能够帮助人类处理个人的日常事务,例如管理电子邮件、日程安排、文件操作等,还能够通过与各种API进行交互来完成多项任务。这种高度自主的能力,同时也会带来数据泄露的潜在风险。
首先,AI智能体需要接入用户的私人数据,如邮件内容、日历安排、文件存储等。这些数据往往涉及到个人隐私、敏感信息或商业机密;因此,一旦AI智能体的安全能力不足或者受到威胁,攻击者可能通过控制智能体获取用户的私人数据,进而窃取敏感信息,导致用户数据泄露。
其次,AI智能体在执行任务时,往往需要与各种外部服务进行交互,这会增加数据在网络上传输的风险。特别是,当智能体被设计成与多个API进行连接时,数据传输过程中可能暴露给未经授权的第三方,如果这些API存在漏洞或未采取充分的加密措施,用户的敏感数据可能在不知情的情况下被泄露。
此外,AI智能体的自主决策能力也带来了新的问题。如果智能体在处理任务时没有严格的权限控制和数据隔离,就可能会错误地访问和操作不该处理的数据。例如,错误配置的AI智能体可能不小心读取到不该查看的内部文件、财务记录等,从而导致泄露或滥用。
因此,如何确保AI智能体的安全,防止其滥用访问权限,已经成为一个非常重要的问题。必须确保智能体的权限控制、数据加密和访问管理机制落实到位,才能减少数据泄露的风险。
南都:现在越来越多人开始“养龙虾”,对于“养虾人”,有什么安全建议?
吴世忠:俗话说能力越大,风险越大,特别是在各种“养虾”应用蓬勃兴起的时候,我们不能没有防备。
对个人用户,我有四条建议:一是做好物理隔离,绝不真身出镜,将“龙虾”养在一个独立的智能终端上,即便被黑客控制,也不会波及日常生活或工作电脑。二是坚持最小授权,只给读取特定文件夹的权限,开启命令审核模式,对涉及删改的操作,必须设置人工二次确认。三是做好凭证和更新管理,主要是版本及时升级,打好漏洞补丁,不能把API密钥写在配置文件里。四是谨慎下载技能包,在安装任何第三方技能包之前,请务必对其安全性有所了解,对诸如对用户根目录的访问权限,尤其要高度警觉。
“养龙虾”热潮中
不能忘了绷紧安全这根弦
南都:有观点认为,自主性智能体带来的最大风险,在于其赋予了AI过高的“系统代理权”。你怎么看?
吴世忠:确实,自主性智能体带来的最大风险,正是其过高的“系统代理权”。在许多情况下,AI不仅需要执行某些任务,还需要对系统进行管理和控制,因而需要拥有较高的权限;但这种赋权方式,给现有的安全防护体系带来的冲击无疑是巨大的。
南都:这种冲击,具体表现在什么方面?
吴世忠:我认为,首先,权限滥用的风险大大增加。传统的安全防护体系通常依赖于对特定行为和操作的限制,例如,限制用户权限,防止其进行非法操作。然而,当AI智能体拥有过高的系统代理权时,它可能会自行执行某些操作,甚至改变系统配置或执行对安全有害的行为。例如,AI可以在没有人工干预的情况下,删除敏感文件、修改系统设置,或执行未经授权的命令。
其次,系统的不可预测性也会增加。当AI拥有过高的权限时,其自主决策的过程可能不透明,导致系统行为的不可预测性。这会增加安全漏洞的风险,因为攻击者可能通过恶意利用AI系统的漏洞来间接获得更高的权限,进而绕过现有的安全防护。
再者,系统责任难以追溯。当AI系统执行某些任务时,它的决策过程往往不容易被追踪和审计。一旦出现安全问题,例如数据泄露或系统被篡改,责任追溯变得非常困难。传统的安全防御通常依赖于清晰的责任划分,而AI系统的高自主性打破了这一模式,使得安全事件的调查变得更加复杂。
南都:为防范AI智能体带来的安全挑战,你认为应解决哪些迫切的问题?
吴世忠:我认为,有两方面的问题需要高度重视。一方面是应用安全,广大用户在“养龙虾”的热潮中不能忘了绷紧安全这根弦,无论是让它作事务代办,还是做智能管家,抑或是服务企业级流程自动化,都要警惕智能化高效率服务下的安全隐患。
另一方面就是供应侧,必须在设计AI智能体时,严格控制其权限,确保AI的操作范围与人工监督保持一致。从目前技术发展看,如何加强对AI决策过程的监控,确保其行为的透明、可解释和可追溯,是国内外AI安全研究和应用中的关键难题。
还有更为重要的一点,那就是监管问题,这也是国内外共同面临的治理难题。
南都:针对AI智能体带来的治理难题,具体可以从哪些方向破题?
提升公众AI素养也很重要。包括媒体在内的机构应当多开展科普宣传,普及有关AI智能体的常识,让大家知晓如何更好地使用工具,并了解相关的安全风险。
南都:对于AI智能体的发展,如何既让创新能跑起来,安全也得到保障?
吴世忠:我认为,不能把AI智能体看成简单的技术炒作。AI智能体生态的形成,一定会极大解放我们的生产力,而且会重新定义我们的社会规则。国家治理应该紧跟技术发展,以制度创新来对冲技术失控的风险。
同时,要保障AI智能体的发展始终在法治和伦理的框架之内。可以让“子弹飞一会儿”,允许产业界在局部范围试一试。监管层面,建议总体采用积极防御、包容审慎、敏捷治理的策略,同时产业界也需要协同应对技术创新带来的挑战。

吴世忠。
AI时代,传统安全攻防思路要更新
南都:去年底,某短视频平台突发大规模内容安全事件,大量直播间在短时间内被黑灰产以自动化手段攻陷,色情违规内容持续扩散超一小时。当AI用于黑灰产攻击,为什么会让平台难以招架?
吴世忠:这场“惊魂90分钟”短视频安全事件,是一次典型的黑灰产攻击案例,更是一次现实的信息安全警钟。其中AI技术的运用使得攻击手段更加高效、隐蔽且难以防范。黑灰产借助AI,能够快速进行自动化攻击,并能巧妙绕过平台的内容审核与管理机制,确实让平台难以招架。
具体而言,AI具备自我学习和自我优化的能力,这意味着攻击者可以基于已有的攻击经验,快速调整和优化攻击方式。当攻击者使用AI时,可以模拟大量虚假用户账号行为,通过自动化方式发起攻击,导致短视频平台的内容安全防线很难及时发现和响应。
南都:当攻击者借助AI技术扩大攻击范围、加快攻击节奏,这给传统安全防御模式带来什么挑战、暴露出现有模式的什么短板?
吴世忠:AI技术的引入使得网络攻击的方式发生了根本性变化,传统的安全防御模式面临的挑战是前所未有的。
其次,攻击速度和规模的提升使得传统安全防御难以跟上。AI可以在极短的时间内发动大规模的攻击,如通过自动化工具对多个平台进行攻击,并且能够迅速调整攻击策略,令平台防御的调整和修复滞后。这使得传统防御方法的反应时间过长,无法及时发现和封堵攻击。
此外,攻击的多维性和隐蔽性也是传统防御体系难以应对的。AI可以进行复杂的社会工程学攻击、分布式攻击等,借助大数据和机器学习,攻击者可以更精准地锁定目标,进行多点、多维度的渗透攻击,突破传统单一防护点。因此,传统防御体系无法在多维度上做到全面的防护,漏洞和安全盲区在所难免。
最后,传统安全防御体系通常是以“防御边界”为核心,即防止外部攻击者进入企业网络。随着攻击者使用AI技术,攻击方式越来越分散、隐蔽,攻击行为可能在平台内部多个层面上同时发生,突破传统边界防护。因此,传统的“边界防御”思路已无法应对当前复杂多变的威胁形态。
采写:南都N视频记者 程姝雯 樊文扬 李玲
林诗妍 冯奕然 彭雨欣
南都·湾财社记者 黄顺威 刘常源
发布者:Ai探索者,转载请注明出处:https://javaforall.net/273775.html原文链接:https://javaforall.net
