从ChatGPT爆火看网络信息安全技术伪创新

网安加社区 刘志诚
据不完全统计,安全自媒体以及国内安全上市龙头企业,均纷纷下场表态,或老生常谈人工智能对安全的助益与影响,或者声言针对大模型已进行多年打磨产品即将发布,或已经投入重资即将打开类ChatGPT安全模型研究新篇章。你方唱罢我登场,一时间好不热闹,喧嚣背后,不免慨叹追逐热点背后的浅薄与无知。

ChatGPT自从2022年10月份发布测试,先是小范围内引人惊叹,春节之后,迅速成为热点,在美团前联合创始人王慧文5000万美金带资进组到百度发布文心一言,迅速燃爆自媒体。

据不完全统计,安全自媒体以及国内安全上市龙头企业,均纷纷下场表态,或老生常谈人工智能对安全的助益与影响,或者声言针对大模型已进行多年打磨产品即将发布,或已经投入重资即将打开类ChatGPT安全模型研究新篇章。你方唱罢我登场,一时间好不热闹,喧嚣背后,不免慨叹追逐热点背后的浅薄与无知。

一、ChatGPT是什么?

人工智能自50年代以来经历过3次起伏,五六十年代的基于规则的专家系统,八九十年代的机器学习与神经网络,以及2017年开始的迁移学习。迁移学习模仿人脑进行学习过程,启动了任务无关的大模型训练(大型语言模型(LLM)),是从任务相关的弱人工智能到任务无关强人工智能的突破,ChatGPT的母公司OpenAI在2018年发布了GPT-1的大模型,同时期谷歌发布了BERT的迁移学习大模型,开启了强人工智能领域的军备竞赛。2020年OpenAI发布了GPT-3模型,参数1750亿,相对于2019年的GPT-2模型15亿的参数,有了巨大的突破。

大模型的工作模式遵循“预训练——微调”的模式,微调对模型改变不大,却可以提升模型在目标场景的实际表现,InstructGPT模型基于OpenAI的GPT-3.5通过微软Azure AI服务进行训练,增加人类模型输出记录、排序,完成人类指令,将有害的、不真实的、有偏差的输出最小化。ChatGPT是InstructGPT延伸产品,他将人类的反馈纳入训练过程(基于人类反馈的增强学习RLHF),更好地使模型输出与用户意图保持一致。

ChatGPT的火爆,加速了大模型在AIGC(人工智能生成内容)领域的应用发展,ChatGPT的特点包括海量知识和行业知识、回答后续问题(关联上下文)、承认错误、质疑不正确的前提、拒绝不适合的请求、输出人类语言等关键特征。在问答-响应领域的人类交互方面的应用,具有无穷的想象空间。

但不得不说的是ChatGPT训练的数据集截止到2021年,并没有近1-2年的数据集,在知识更新和情报领域缺乏最新的知识库。在交互过程中涉及到伦理问题,三观问题以及内容安全问题,存在规则、审查以及迁移学习过程的问题。而对人类反馈的学习训练存在效率,准确性以及同样问题交互结果不同,出现正确的废话相关问题。可见ChatGPT并不是一个面向专业领域特殊任务的模型,在专业领域的效率和效果有待进一步微调,形成专业领域模型。

可见ChatGPT的优势在于大型语言模型(LLM)加入人类反馈的增强学习(RLHF)不依赖于具体任务的迁移学习强人工智能,优势在于基于知识库的人类语言交互能力,可以预见在营销、客服、咨询、问答、助理、秘书等交互式AIGC领域会取得突破性的进展和应用,而该类型的工作将面临人工智能取代的风险。

二、ChatGPT与网络安全

ChatGPT与网络安全之间的关系,可以追溯到网络安全与人工智能之间的复杂关系,无论是机器学习,深度学习,在流量检测,数据分析领域内,无论是恶意软件识别,威胁事件检测,未知威胁分析,0Day防御均有相应的应用,同样,人工智能算法的样本污染,恶意对抗同样引起对人工智能算法安全的讨论。而ChatGPT发布公测后,纽约大学的教授以及著名安全公司,均尝试使用ChatGPT创造利用已知漏洞的恶意软件。从知识库的丰富性以及人类语言理解和编程能力的输出来看,ChatGPT完全具备相应的能力,但这就涉及到价值观判断与社会伦理的问题。ChatGPT很快弥补了相应的漏洞,加强了对恶意应用的伦理控制与决策,因此,目前是无法使用ChatGPT编制恶意应用的。

ChatGPT和网络安全可以从三个维度来谈,首先是关于使用ChatGPT编制网络安全破坏工具,利用人工智能的知识库和编程能力制造更多的网络安全威胁,这个应用的本质在于利用ChatGPT在价值观和伦理角度的相关缺陷和漏洞,理论上人工智能不具有价值观的判断,但具有基本的伦理判断,而如何在模型的训练中植入相关的参数,并保障符合人类的价值观与伦理,是个比较敏感的话题,毕竟在不同种族、国家、民族之间的伦理与价值观也存在着冲突,这从ChatGPT关于中国新疆问题的回答可见一斑。因此,是否能制造网络威胁的工具,甚至是能否挖掘出潜在的0DAY漏洞,这从一个技术工具问题,变成了由谁来掌握这个工具问题,至少,在开放的API服务中,制造网络恶意攻击的工具能力会被限制,但模型是具备相应的能力的。

其次是关于ChatGPT在网络安全防御里的应用,无论在XDR、NDP、SIEM、SOC或态势感知中,安全海量数据中的关联分析都是一个难以逾越的问题,而基于上下文的分析,多模参数迁移学习,是解决这个难题的有效方法。在ChatGPT发布后,不少安全研究员和安全公司,在这个领域做了相应的尝试,在日志和数据流格式的解析中,给出相应的清晰的框架,在关联分析和应急响应的方案中,均有给出清晰的分析以及应急响应的代码,但遗憾的是,著名SIEM&SOC研究专家叶明认为其中的交互过于繁琐,效率较低,而且出现不少正确的废话,其真伪仍需进一步验证,其效果存疑。华为AI安全算法研究院李智华经过测试,在威胁检测、代码审计、威胁情报、安全运营中除了恶意代码检测给出优异的表现外,效果都难以满足真实的需求。不过,有测试在制作标书中,可以快速制作出符合标准的应标文件,也许对安全的销售和市场人员来说是个好消息。

第三是关于ChatGPT自身的安全风险,从目前各类曝出的测试来看,ChatGPT的知识库包含中国各类专业领域的相关知识,从数据出境的角度而言,中国数据集的范围以及来源值得深思。回归到价值观的问题,AIGC类产品创作和交互本身包含着价值观和伦理相关的问题,从安全意识和文化入侵的角度,存在着被潜移默化影响的风险。知识库的专业性和准确性带来的另外一个问题,是对结果真伪的检验,结果的可信性问题,依赖ChatGPT的输出成果,造成的风险损失承担的问题,如果仅是测试和游戏的态度倒无伤大雅,而真实的应用到生产环境,风险和责任的问题,也是需要考虑的重点。

如果把ChatGPT当做一个专家,我们需要考虑专家的能力问题,专家的价值观,以及专家决策的风险,在这个角度而言,不妨把ChatGPT当作专家的一员,参与相关的分析、讨论和决策,而不是唯一的专家的角色,这样可以规避相关的风险,发挥ChatGPT的价值。那么,从这个角度而言,ChatGPT难于取代安全分析师和安全专家的角色,只是其中一个重要的角色而已。

ChatGPT的特点和性质,决定了ChatGPT并不适合网络安全领域的专业分析和应急响应工作,理想的做法是基于GPT-3.5的平台,利用类似Azure AI的算力,进行微调,进一步训练,建立适合网络安全领域的独特模型,提升网络安全领域的知识库以及分析决策和代码AIGC能力。

三、网络安全的伪创新与真方向

ChatGPT在AIGC领域带来的投资热潮,其实不是今天才开始。2021年4月,华为云联合循环智能发布盘古NLP超大规模预训练语言模型,参数规模达1000亿;联合北京大学发布盘古α超大规模预训练模型,参数规模达2000亿。阿里达摩院发布270亿参数的中文预训练语言模型PLUG,联合清华大学发布参数规模达到1000亿的中文多模态预训练模型M6;2022年,基于清华大学、阿里达摩院等研究成果以及超算基础实现的“脑级人工智能模型”八卦炉(BAGUALU)完成建立,其模型参数模型突破了174万亿个,完全可以与人脑中的突触数量相媲美。

只是这些研究并未像ChatGPT一样针对交互式开放相应的模型,也没有与ChatGPT对应的API供公众进行验证测试。上述中文领域的成果可能停留在实验室,也可能应用于秘密的国家重大工程领域,我们仅能从新闻报道中略知一二,对于其效果,以及成果的先进性不得而知。

网络安全领域作为技术驱动的关键领域,对人工智能技术的应用与探索始终并未停歇,作为任务特定领域,机器学习、深度学习、神经网络的相关算法应用的弱人工智能技术应用得当即能取得重大突破。当然,从实践来看,应用的效果和成熟度,并未达到一定的水平,基于专家模式的的标签化有监督学习仍是数据分析的主流应用,创新之路可谓艰难。大模型的安全领域微调是否能诞生出类似ChatGPT的SecGPT值的期待,这需要的是获得通用模型的授权使用,无论是GPT-3.5还是盘古阿尔法,还是PLUS、M6、八卦炉,再提供足够的算力支持,无论是阿里云,华为云的AI服务,都存在着突破的机会,但绝对不能抱着蹭热点的心态,只宣传不投入,进行伪创新,否则,又是大潮退去,都在裸泳。

综上所述,网络安全的分析师和专家们,最起码在ChatGPT面前还是安全的,至于是否能搞出个SecGPT对安全分析师和安全专家产生威胁,我们拭目以待。

(作者简介:刘志诚,乐信集团信息安全中心总监、OWASP广东区域负责人、网安加社区特聘专家。专注于企业数字化过程中网络空间安全风险治理,对大数据、人工智能、区块链等新技术在金融风险治理领域的应用,以及新技术带来的技术风险治理方面拥有丰富的理论和相关经验。)

参考文献:

1、海通证券《揭秘ChatGPT身后的AIGC技术和它的中国同行们》

2、国泰君安《ChatGPT研究框架(2023)》

3、中金《AI十年展望(五):从ChatGPT到通用智能,新长征上的新变化》

4、华为安全,李智华,《从防御视角探讨ChatGPT对网络安全的影响》

5、绿盟科技,《ChatGPT火了,将给网络安全行业带来什么影响?》

6、Benny ye,《ChatGPT在安全运营中的应用初探》

7、E安在线,《ChatGPT在2023年将从三个方面改变信息安全界》

8、安全牛,《“ChatGPT们”无法取代网络安全专家的8个理由》

9、网络安全与信息化,《ChatGPT与安全系列|如何看待生成式AI这把“双刃剑”?》

请扫码关注数字化经济观察网
责编:高蝶
参与评论
文明上网,理性发言!请遵守新闻评论服务协议
0/200