高端品牌网-带你领略品牌时尚的前沿

大模型重塑金融业态报告④丨金融大模型重塑技术能力

发布时间:2024-02-20 22:10 编辑: 来源:证券之星   阅读量:15949   

摘要:“大模型”无疑是2023年最热的关键词之一,随着大模型概念的崛起和广泛传播,金融行业因被视作最优落地场景也同步掀起了一轮热潮。大模型究竟会给金融行业带来什么?它会在何种程度上重塑技术和业务,会衍生出怎样的商业价值?21世纪资管研究院调研了三十多家金融机构和科技公司相关负责人,形成了这份《大模型重塑金融业态报告》,通过梳理机构布局情况以及这些领军者们的观点,描绘行业发展趋势。

大模型重塑金融业态报告④丨金融大模型重塑技术能力

21世纪资管研究院研究员李览青、杨梦雪

在金融机构基础设施升级后,当金融机构决定尝试大模型的落地应用,摆在其面前的首要问题是,如何部署大模型从而享受其带来的涌现能力与服务能力?

据21世纪资管研究院调研,大模型落地实现AI应用的路径有三个方向,一是基于现有开源大模型、基础大模型进行微调落地,二是与厂商联合创新自研大模型,三是通过API接口接入商用大模型或通过外挂知识库实现部分功能的使用。

但在企业AI应用的架构中,仅有大模型显然是不够的,大模型中间件、向量数据库等基础设施软件迎来新风口,而RPA技术也在与AI Agent融合后实现了新飞跃。

连接器:中间件

一直以来,金融机构不同系统间的互联互通与数据交换,都离不开中间件。如果说大模型是AI决策的“大脑”,那么中间件就是链接大脑与应用场景之间的“四肢”。

作为位于AI应用与大模型之间的中间层基础软件,这些组件在输入输出、数据转换、模型部署时发挥重要作用,解决了大模型落地过程中资源调度、数据集成、模型训练、应用集成、知识库与大模型融合等问题。在解决大模型商用化问题方面,中间件行业再次受到市场关注。

一方面,在计算机“分层”架构的基础上,引入中间层,可以实现不同业务中技术共性与服务共性的凝练,从而简化开发流程。虽然业务应用系统开发的逻辑有差异,但基础功能与系统服务是存在相似性的,基于这些相似性,可以尽可能凝练共性并复用,特别是在工程开发中基础、底层、公用的服务逻辑,通过中间件包装成简单、一致、集成的开发环境,从而实现程序设计、功能与服务编排的简化。大模型中间件的应用,可以帮助企业迅速构建出基于大模型的AI应用。

可以说,大模型中间件解决了大模型落地的“最后一公里”,既为上层应用访问大模型与知识库提供入口,也为大模型的应用部署提供桥梁。

21世纪资管研究院在调研中了解到,目前大模型中间件的生态在底层的动态资源调度之外,还有以AI Ops为代表提供一整套工具,帮助机构解决私有环境中大模型训练的工程问题,通过提供全自动化训练环境配置与构建,以低代码一站式完成数据接入、标注、监督微调、反馈强化学习和模型发布全流程,同时,可以支持数据回流及模型的持续迭代。

记忆体:向量数据库

在大模型“四肢”中间件之外,向量数据库作为大模型的“记忆体”成为大模型时代的必备基础设施工具之一。

向量数据库是专门用于存储和查询向量的数据库。在数学定义中,向量是有大小和方向的量,可以用带箭头的线段表示,箭头指向代表向量的方向,线段的长度代表向量的大小,两个向量之间的距离或相似性可以通过公式求得。到计算机领域,文本、图像、语音、视频等非结构化数据的向量化,可以存储到向量数据库中,从而实现对非结构化数据的相似性检索与搜索。

无论是通用大模型还是金融行业经过微调部署落地的垂直行业模型,都会出现信息时效性受限、大模型输入token受限、算力不足以及胡言乱语的“幻觉”等问题。

在信息时效性方面,由于机器学习训练需要一段时间,在这段时间内实时发生的资讯、新闻、市场行情等等快速变化,这些实时数据难以内置到模型中,需要一个外部的工具来存储这些实时信息,实现及时调用。

大模型的token限制是指,在大模型训练或推理时需要消耗大量计算资源,而这些资源是有限的,因此大模型输入的token是有限的,一旦突破这个设置,模型就会忘记上下文。根据每个大模型算力能力与工程化难度的不同,其token输入上限也有差异,如GPT-3限制2018个token、1024个汉字,GPT-4限制32000个token、16000个汉字。在输入限制下,需要一个外挂工具来存放诸多历史信息,为大模型提供长期记忆,避免上下文信息丢失等问题。

同时,向量数据库对于大模型专用显卡没有强依赖性,通过优化存储与索引方式,就可以在普通的硬件上实现高效向量处理,在金融机构算力有限的情况下,可以有效节约算力成本。

最后是大模型的“幻觉”问题。通用大模型出现“一本正经的胡说八道”的情况,在要求绝对准确的金融领域是不被允许的,在大模型精确度尚未达标的情况下,需要外挂知识库来补充大模型存在的知识缺陷,来使其可以给出准确的答案与更实时化的信息。

此外,对合规要求最严格的金融行业而言,出于对用户隐私数据与个人金融数据保护要求,向量数据库的访问权限设置也可以AI大模型将这些数据作为训练语料。

向量数据库具备低延迟查询、高可用、高性能、高扩展性等特性,成为金融机构部署大模型探索中的主流工具。特别是在图像搜索、问答交互、文本分类、智能推荐、语义分析、模糊数据匹配等场景下,应用前景广泛。

未来人工智能新形态:AI Agent

基于人工智能的RPA解决方案并不新鲜,金融机构通过RPA技术,让软件机器人代替业务人员完成各类软件系统操作与业务处理,实现业务流程链接与自动化处理,从而让人工专注于更有价值的工作任务。RPA的应用提高了员工的工作效率,减少了因人工疏漏导致的流程错误,也满足了跨系统流程连接与数据集成的需求。

但在金融机构的实践过程中,RPA的落地应用也存在挑战,其中最核心的问题是,业务流程并不是按预期一样一成不变的,面对动态业务环境,特别是对于不熟悉的场景,RPA可能出现崩溃,无法实现自适应变化,使得业务流程的稳定性难以保障。

AI Agent为RPA的进一步智能化提供了新的解决方案。AI Agent是一种能够感知环境、进行决策、执行动作的智能实体,相比传统的AI,AI Agent可以通过独立思考、调用工具来逐步完成给定目标。这与原本大语言模型的学习能力一脉相承,基于GPT-4等大语言模型规划与用户设定的目标,AI Agent可以在完成并添加新任务后,根据此前任务的结果为自己的工作流设置优先级,同时调用“记忆”,基于历史记录存储过去结果,在错误中学习更新知识,并自主调整任务。

这切中了传统RPA机器人工作中的业务痛点。当AI Agent+RPA,AI智能体获得了不断适应变化环境的能力,同时可以学习并实时洞察业务流程,根据用户需求自主完成工作流构建,将动态决策自动编排进入工作流程中,并主动执行处理完成相应的复杂决策。

未来,基于大模型驱动的AI Agent,被普遍认为是人工智能应用的新形态,相比于过去人工智能技术的相关应用,AI Agent表现出惊人的自主性与智能性,数据显示过去两年间针对AI Agent的研究投入增幅达到300%。

21世纪资管研究院梳理各大银行科技投入与科技人员数量发现,近两年来银行科技投入已开始出现下滑态势,科技人员新增数量也逐步减少。在云平台等基础设施建设已初步完成后,下一步是释放科技人员生产力。

AI Agent与RPA等传统技术结合,应用于金融服务的各类场景,以自主学习的能力可以及时解决非给定流程中的其他问题,在金融数据合规与隐私安全保护合规的情况下,有望成为金融从业人员与客户未来的AI助手。

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

相关文章 ARTICLE
上海海关创新监管模式高效保障国产大飞机研发制造

据上海海关20日透露,在海关总署指导支持下,该海关在全国首创国产大飞机企业“一司两地”一体化创新监管模式,高效保障国产大飞机研发制造。 C919大型客机是我国首款按照国际通行适航标准自行研制、具...

来源:中新网
2024-02-20 18:28
闵行区市场监管局龚明红副局长带队对马桥敬老院开展节前特种设备检查

临近春节,为保障老年群体乘梯安全,确保特种设备正常使用。2月8日,闵行区市场监管局龚明红副局长带队赴马桥敬老院开展特种设备节前安全检查,特种科、马桥市场监管所、特种设备检验所相关人员陪同检查。 龚明...

来源:东方网
2024-02-20 13:19
买买买!“龙年金”“情人金”消费“热辣滚烫”|龙腾虎“粤”探消费

图/受访者提供 当正月初五“迎财神”遇上情人节,黄金市场分外热闹。“今天有父母消费了约53000元为子女送情人节礼物。”14日,广州东百黄金专柜的相关负责人向记者展示了4只父母为子女特别选购的金手镯...

来源:金羊网
2024-02-19 05:43
恒大曾持有的元朗和生围申建789幢迷你洋房港规划署表示不反对申请

,原采逾20万平方呎「皇宫屋」设计的元朗和生围用地,去年撤回「皇宫屋」设计,并改为向城规会申请兴建789幢迷你洋房,平均面积只有约1,132平方呎,规划署最新表示不反对申请,意味申请于今日经城规会审议...

来源:证券之星
2024-02-19 01:37
湾区科技创新,如何协同?丨十问广东经济

惟创新者进,惟创新者强,惟创新者胜。 粤港澳大湾区最鲜明的底色,无疑是科技创新。广东区域创新能力连续7年领跑全国,深圳-香港-广州集群连续四年稳居全球前100个创新集群第二位……这些都是大湾区科创锃...

来源:金羊网
2024-02-18 21:00