人工智能(AI)正以前所未有的速度渗透到金融系统,推动着金融服务的创新和变革。这种深度融合不仅可以提高金融服务的效率和准确性,未来还可催生全新的金融产品和服务模式。尤其是生成式人工智能(GenAI)的出现,通过生成文本、图像、代码等多种形式的内容,为金融机构提供了全新的工具和视角。
AI如何加速金融服务的创新和变革?关键在于能否利用AI实现业务的质效提升,并通过真正优化用户体验,加速金融AI渗透率。在8月上海城创金融科技国际产业园举行的2024FDS金融领袖峰会上,云轴科技ZStack CTO王为以“ZStack AIOS平台智塔加速金融行业重构 AI 基础设施”为主题,与峰会上百位银行、证券、保险、基金等金融客户代表分享了AIOS平台智塔在金融行业的应用。
ZStack AIOS平台智塔可以在金融机构的市场和销售、渠道与运营、产品开发、投顾服务、客户关系管理、风险合规等领域发挥重要的作用。举例来看,在金融资讯领域充斥着大量信息,AI不仅可以基于RAG查询上下文生成结论,还可以进行文章生成,并对文字审核、规范审核、逻辑检查、事实核查和敏感内容检查,提高内容质量和可信度。又比如金融分析师面对每天成百上千篇新研报,通过ZStack AIOS平台智塔进行摘要和观点提取,可实现快速响应。
此外,ZStack企业自身正在通过AI提升客户服务效率。ZStack通过在AIOS平台智塔对AI进行技术知识训练,结合RAG知识库搭建SupportAI智能机器人,接入到企业内部群,实现了面向客户支持和新员工学习的智能服务。相比以往的“凭经验”纯人工服务,AI的赋能让ZStack技术服务响应速度提升约30倍。
王为认为,AI应用发展呈现三个趋势,而企业客户尤其是金融客户可以通过AIOS平台来应对三大趋势带来的机遇和挑战:
开源大模型涌现,大部分企业从头训练大模型既无必要也不划算。在这样的背景下,金融客户可以通过AIOS平台模型层快速体验新模型,通过模型评测服务测试新模型是否提升;而在快速导入、体验最新的大模型时,还可以通过自有数据微调和RAG构建自己的应用;最后可以通过对多种推理引擎的支持,达到对模型兼容性和模型性能的均衡。
一个 AI 应用将涉及多个大、小模型的配合,单一模型难以一次完成任务。对于金融客户来说,通过AIOS平台的 MaaS 模型层整合、管理模型生命周期及多种模型资源,还可精细化控制解决模型幻觉,更充分的使用平台算力。
高端算力昂贵和供应问题将长期存在。对于金融客户来说,他们需要利用AIOS平台算力层能力,进行平台调度、显卡切割提升 GPU 利用率;通过分布式推理、分层推理,让小卡“合并”成大卡装载模型;以此合理使用智算卡的同时,多方面寻找硬件资源降低硬件成本,并跟踪各主流国产智算卡的 AI 推理能力进展,分散供应渠道。
云轴科技ZStack AIOS平台智塔,期望通过同时解耦算力竖井和模型竖井,帮助金融客户从容应对三大趋势,优化AI应用性能和成本,加速金融AI市场应用进程。
算力层:ZStack AIOS平台智塔的算力精分调度平台,支持NVIDIA、AMD、Intel、海光、华为昇腾、寒武纪、燧原、天数智芯、太初元碁、壁仞、摩尔线程、沐曦等中国市场上的主流品牌和几十种AI芯片型号,实现异构算力协同不同AI 模型之间的优化路由,降低AI算力成本。
模型层:ZStack AIOS平台智塔的动态模型自适应平台,可以支持生成式AI(GenAI)、自然语言处理 (NLP)、计算机视觉、机器学习(ML)、深度学习(DL)以及多模态AI,并支持Llama、Gemma、通义千问Qwen、智谱ChatGLM、百川Baichuan、零一万物Yi、智源BGE、StableDiffusion、XTTS等数百种开源文字类、图形类、声音类大模型,实现模型压缩与性能优化,模型选型与生命周期管理,训推高效部署与自适应调度,达到跨软硬件的全面性能优化。
运营层:ZStack AIOS平台智塔的全域感知自服务平台,可以进行多租户隔离和动态资源配额管理,实现跨智算中心、跨集群的全域感知统一调度,提供按量计费的动态训推服务,具备可视化统一门户,弹性跨域容错,实现精细化的自服务运营体系。
“面对企业AI应用三大趋势,企业需要在模型层,紧跟开源模型趋势,从模型筛选做起,传统AI与生成式AI并行;在运营层,降低每个人使用AI的门槛,应用蕴含在一线场景之中;在算力层,长期关注算力供应问题,国产GPU能力储备。” 王为表示,“ZStack AIOS平台智塔可以同时从算力层、模型层、运营层协助金融企业以AI为核心进行重塑,加速金融服务的创新和变革。”
此外,新一代金融AI软件基础设施ZStack AIOS平台智塔在此次峰会上还获得金融优秀解决方案领袖奖。