作为人工智能领域颇具里程碑式的进展,ChatGPT以其惊艳的表现,迅速掀起了行业热潮,使得大模型成为当下最为炙手可热的技术方向之一。但在大模型落地过程中,如何既能保障大模型使用方的数据安全,又能保护大模型提供方的部署安全?
基于行业需求,金山云立足自身深耕云赛道十余年所积累的技术和服务优势,推出MaaS(Model as a Service)互信推理专区方案。作为中国知名的中立云服务商,金山云推出该方案的目的是在大模型厂商、用户和金山云之间建立互信,以解决模型及数据的互信问题。
为了实现“互信”这个目标,金山云在技术思路和架构设计方面兼顾了基础设施层面(网络、存储等)的安全和云原生层面(容器等)的安全。
金山云MaaS互信推理专区方案逻辑架构图
在金山云MaaS互信推理专区方案中,模型厂商的互信虚拟网络(Mutual Trust Virtual Private Cloud,以下简称互信VPC)是经过安全加固定制的(如上图中所示),通过私有连接(Private Link )与用户业务区域连通,经由堡垒机连接模型运维和开发区区域。互联网相关的EIP、NAT和Peering等功能都会被禁用。互信VPC提供了丰富的流量管控手段,可通过私有连接、对等连接、安全组、ACL等功能灵活控制VPC与公网、VPC与VPC、VPC内云产品的流量进出,既保证了网络的隔离,又能够按需提供网络的连通。
在堡垒机层面,为了保障系统的安全性和合规性,同时也为了防范数据泄漏事件的发生,金山云在模型开发和推理区之间提供了行为与流量审计系统,用以跟踪和监控数据的流动,确保所有流量都可以被审计和验证,可及时检测和记录任何非法流量的存在,识别潜在的安全威胁或数据泄露风险。
在金山云MaaS互信推理专区方案中,互信VPC通过私有连接进行点对点的打通,在保障业务流量安全稳定的情况下,还具备一定的灵活性。访问VPC内服务的流量均在金山云内网转发,不经过公网,避免了通过公网访问服务带来的潜在安全风险。同时基于金山云内网建设的完备性,可提供大带宽、低延时的高质量通信服务。
此外,金山云对MaaS互信推理专区内所有的出入流量进行记录和行为审计,禁止所有未经审计的流量流出,定期向客户提供审计报告。专区内部有文件存储或对象存储写入的需求(如日志服务等),会在VPC内独立部署一套存储服务,对外不可读写。专区外可读写的对象存储KS3(Kingsoft Cloud Standard Storage Service),其控制权收归于金山云,金山云通过权限控制保证该对象存储只接收自研存储网关Nas-J的读写请求,除此之外没有其他任何权限。
云原生层面,出于数据安全性考虑,在采用容器服务纳管GPU裸金属服务器实现容器化改造的同时,金山云搭建了基于数据层面“Read Only”容器只读环境,只将训练好的模型进行推理运算,并在推理后将结果输出到应用平台中呈现给最终用户。在模型推理期间,容器只读取推理模型,不会把企业用户的敏感数据暴露给模型厂商,能够打消企业用户对自身数据安全性方面的顾虑。
作为金山云重要的战略伙伴之一,目前,MiniMax与金山云积极推动大模型生态建设。为了提供持续稳定的模型能力服务,金山云MaaS互信推理专区方案已应用于“金山办公+MiniMax”的实践场景,保证了用户数据及模型的安全和互信。根据实际业务需求,MiniMax将持续对模型进行Fine-tuning优化,构建易用且规范的API接口和平台,同时不断对模型进行升级和优化。
金山办公-MiniMax实施架构图
经过长时间积累,MiniMax是国内少有的同时拥有文本、语音、视觉三模态融合的通用大模型引擎能力,并打通产品全链路的创业公司。团队将前沿的人工智能引擎技术,应用于多维度多场景的交互中,并以此进一步加速和赋能模型的进步和迭代。
MiniMax于今年3月推出面向企业级的大模型解决方案,为企业和开发者提供领先的通用大模型能力,通过人工智能引擎技术底座帮助模型与业务流程顺利融合,保障稳定性及安全合规性。目前已接入数百家企业客户,打通办公协作、智能硬件、教育、医疗、客服等十余个行业场景。基于MiniMax出色的大模型能力,金山办公已经与MiniMax开展深度合作,未来会进一步推动大模型在办公领域的应用和快速落地。
在为金山办公和MiniMax提供服务的过程中,金山云积累了MaaS服务的经验。随着技术迭代升级,该方案后续将引入大模型多租户隔离、Finetuning训练和推理一体化专区等更多功能和业务模块,为越来越多大模型领域的企业提供服务。