模型有界，安全无疆”：大模型安全学术沙龙在西安圆满落幕

2025年3月1日，由腾讯云安全云鼎实验室、西安智能系统安全重点实验室及LLM&Sec Landscape社区联合主办的“模型有界，安全无疆”大模型安全学术沙龙在西安成功举行。此次活动新颖结合了“音乐+黑客+学术”的跨界形式，吸引了超过300位来自学术界、产业界及网络安全攻防领域的专家、白帽子黑客、高校师生和行业代表参与。在电子音乐的节拍下，大家共同探讨了大模型安全的技术突破之道。

本次沙龙聚焦了三个主要目标：

1. 技术破局：深入探讨大模型安全的核心问题，分享最新研究成果与攻防实践。

2. 生态共建：打破产学研壁垒，推动技术标准与防御体系的协同创新。

3. 人才赋能：分析AI时代安全人才的需求，探索校企联合培养新模式。

解码AI时代的攻防新范式

在会议上，绿盟天元实验室的高级安全研究员祝荣吉分享了关于《LLM应用安全问题与应对实践探索》的演讲。他将大模型的安全挑战划分为模型选型、应用开发和应用部署三个阶段。祝荣吉强调，在模型选型阶段，遵循合规性要求和进行安全评估是至关重要的；在应用开发阶段，需实施提示词的安全策略以防范模型被攻击；而在应用部署阶段，则应结合传统的网络安全技术，强化API接口及存储安全等方面的保护。

西安电子科技大学的博士吴子辉则集中讨论了大模型API服务中的函数调用接口，揭示了潜在的安全漏洞。通过实验证明，主流大模型在函数调用参数生成过程中可能存在风险，攻击者能够通过精心构造的模板诱导模型生成危险的输出。团队提出的解决方案包括参数安全过滤、提示词防御及安全对齐训练，相关研究成果已被顶级学术会议接受。

在沙龙中，京东蓝军-白鵺攻防实验室的安全研究员Knight提出了构建“大模型越狱第二大脑”的创新思路，应对当前大模型安全领域信息过载和风险变化的问题。他的“大模型越狱的CODE构建法”，通过结构化与提炼信息，旨在建立一个高效处理知识的“第二大脑”。

云起无垠模型安全研究负责人刘洋通过实例分析指出，随着大模型的应用愈加广泛，结合AI技术的传统安全漏洞如SQL注入等将形成新的攻击面。他建议建立基于AI的安全体系，包括实施最小权限原则、隔离敏感数据和动态升级防御机制等。

ChaMD5安全团队的AI组负责人bayuncao发布了一项名为ltrack的开源项目，专注于模型加载安全的监控。该项目使用ebpf技术动态监测模型加载过程中的攻击行为，预示着企业在构建全生命周期防护体系上的新进展。

征战智能安全的未来

于此同时，网络安全专家ABC_123结合APT（高级持续性威胁）攻击案例，探讨了大模型在威胁情报挖掘与防御体系中的应用价值。他提到，利用AI大模型能够有效识别潜在的攻击行为，尤其是在域名生成的场景下。他的观点强调了AI技术在现代网络安全防御中的重要性。

沙龙的，举行了一场关于“AI时代网络安全人才发展机遇与挑战”的圆桌讨论。参与者包括西安电子科技大学的博士生导师高海昌教授、腾讯云安全策略专家李滨及绿盟科技M01N战队负责人高东。与会者围绕AI技术的快速发展带来的伦理风险展开了深入的对话，强调需要构建一套全面的技术治理框架，以应对AI时代带来的挑战。框架主要包括威胁建模、合规翻译及持续验证三大步局。

展望未来

未来，腾讯安全城市沙龙将继续关注技术纵深、标准建设、生态协同及人才储备等方向，积极与学术界及业界专家展开合作，共同探索数字时代的安全之道。通过持续的技术创新与交流，助力企业建立更加稳固的数字防线，推动整个行业的健康、有序发展。

安全是技术的先决条件，随着大模型的快速演进与落地，重视安全策略与人才培养迎来重要时机。面向未来，我们期待通过集体的智慧与努力，为智能化时代的安全护航。