本文根据北银金科人工智能部负责人刘小成在走进北银金科暨智驭未来·数字化+AI大模型闭门交流会上的分享整理
刘小成 北银金科人工智能部负责人
大家好,我是刘小成,非常高兴今天有机会与各位讨论大模型在企业中的落地经验。
首先从大环境的角度来看,“人工智能+”被写进政府工作报告,这表示从科技创新走向产业落地。“互联网+”核心在于链接,而“人工智能+”的核心则在于融合,所以能够看到各行各业中,AI的应用范围越来越广。而且诺贝尔物理学奖给到了理论物理学家约翰·霍普菲尔德(John Hopfield)与“AI教父”杰弗里·辛顿(Geoffrey Hinton),可见AI的影响在持续扩大,人工智能正在改变世界。
对于我们来说,很庆幸处于这样的时代,在公司领导的支持下,我们的AI实践快速发展,已经完成了R1复现的评测报告。在人工智能按照智能程度的强弱划分的三个层次中,ANI阶段更多是在做OCR、语音识别,专注于某一领域。第二阶段AGI,更多的强调对等,就是计算机和人类一样成熟。第三阶段ASI,将进入自主智能阶段,也就是AI能够独立自主思考。目前我们处于中间的阶段。
按照这样的思路,我们还落地了《银行业AI大模型应用落地研究报告-2024》,在这个报告中,我们发现北京银行始终处于靠前位置,我想这也得益于我们对于AI的调度能力非常强。在我们的调研中发现,过去我们的利润大部分集中在对内,也就是内部办公、研发、运营管理侧,而对外很少。今年在面客方向,客服、营销、信贷等方面,我们希望通过大模型解决问题,也取得了一定成果。
在价值导向上,对于大模型来说,接入和使用有很大区别,我们希望把数据和场景深入结合,最终考核数据产生的价值,并且反向指导业务。就我们的发展来看,可以分成三个阶段,第一阶段是验证预研阶段,这一阶段我们做的就是验证,产出了一个测评体系。第二个阶段就是平台体系的搭建,我们需要建立一个平台,以及科技侧的应用。第三个阶段就是规模化阶段,我们前期的体系建设和平台建设为规模化应用奠定了基础。
北银金科积极探索新技术,打造京科大模型F-EVAL 2.0评测体系,能够提供专业的评测标准,开展前沿22个大模型评测,为业务大模型的选型提供支持,并提供一体化的大模型训练全流程服务,并产出相关专业评测报告13篇,用于指导大模型选型与业务落地。
当然我们也会衡量团队的产出,也就是模型训练是否有效,我们将标准定为70分,如果能够达到,就可以交作业。这个标准也会有客观的评价体系,我们会对用户的反馈,报告的生成,用户的兑换记录进行打分。打分后还会进行回顾,再来进行反向的优化。最终我们发现评测体系对于大模型的应用是非常有价值的。
训练体系板块,我们做了R1复现,但是实际效果并没有达到预期,一般的模型训练,提升在3个点之内都会被质疑为随机性,我们目前所带来的提升还非常有限。
不论是面向员工,还是面向用户,提供规模化应用一定要有平台,所以我们对算力调度、模型构建、用户权限等问题进行了深度考量。该平台包含了开源的产品、自建的和商业化产品,最终帮助我们打造了一个窗口,同时给大家提供了一个沙盒的应用环境。
此外我们以协同引擎模块为Agent 的基础框架,在财报助手中运用 Agent 方案对指标查询、知识检索、模型推理等能力工具进行定义和标准化,通过任务分解和计划执行来处理复杂任务,逐步形成多样化 Agent 构建能力。
有了以上提到的这几个体系之后,我们还总结出另外一套模式,就是围绕流程,在关键环节打造单体智能体应用,通过共享上下游数据,多个智能体协同工作,从而形成智能体协同集群。首先要梳理流程,接着形成专精知识库,进而打造单智能体,一般分为问答、报告、分析、执行四类,最终是把业务线串联起来,形成闭环,各个业务环节相互协同。
随着不断的实践,近两年我们也积累了一些建设经验。首先在运营侧,我们打造一个应用——小京财智。我们在搭建知识队列、检索引擎、协同引擎时都在上面做了实验。小京财智的本职工作是做财报分析,目前已经实现了T+0的材料采购、查询和购买。同时也可以生成报告,我们在其中孵化了很多项目。最近还加入了商机线索,为用户提供服务。
在营销领域,工作链路是闭环的,对于银行来说,场景是营销策略发出去,然后把运营数据收回做分析,再发出去,刚好是一个循环。另外就是可衡量,我们要衡量最终是否带来了业绩提升。还有就是数据属性,这依赖于我们的产品体系、营销策略体系、看板。过去分析人员要写SQL,所以我们开发了一个功能就是帮助分析人员写的更好。还有就是决策,从陪跑到人去校准,再到机器人1+n。这样的模式对公营销也是一样,只不过金额更大,维度更多,数据更全。
风控是银行的核心,我们依托于先进的人工智能算法与深厚的行业经验,聚焦于线上、线下多场景的对公企业信贷业务场景,在贷款“三查”的各个阶段,提供全方位、精细化的AI智能决策支持。通过定制化的风险管理解决方案,助力金融机构实现风险最小化与价值最大化。
尽调报告的生成,基于内外数据搭建高质量知识库,以AI技术构建Agent智能体,使得客户经理能够方便地获取企业基本情况、经营状况、融资情况、担保分析等全口径数据,并在智能体的帮助下高效、高质地撰写贷前尽调报告。对于效果,我们会重点考量两个指标,一个是助手的满意度,另外一个就是提效比例。
我相信在工作中有很多生成报告的需求,我们能做的状态是开放性的,对于有监管要求的内容,我们做指定的模板和一些定制工作就可以了。我们还做了不良处置的归因系统,例如信贷,我们在贷款审查的过程中,预测贷款的违约风险,在达到均值以后,开始提出举措。这对于银行来说,就是降低不良率。
大模型作为新质生产力的核心驱动力,我们也开展了很多实践,借助AI 思维导图构建知识体系、AI海报设计提升视觉传达、PPT 智能制作丰富培训内容、语音语义理解精准沟通,数字人多场景应用;多模态紧密联动,赋能创新,推动企业转型与生产力的深度变革。我认为这些场景都是日常工作非常需要的,所以我们也在不断的给大家造工具。
在大模型创新文化的培养上,我们打造了金科AI长廊公众号,累计发文38篇。同时还将大模型应用做成数字人课程,上线金科学堂。此外我们还举办了相关比赛,这对于应用孵化,产生了很大价值。
值得一提的是,我们还在打造北银金科数字员工矩阵,不断增加新角色,未来可能会有更多的AI员工与我们一起工作。总的来说,我们的AI形成了三层能力。第一个是底层的算力和数据底座。第二个是形成的模型,包括专精类模型和电商模型等。第三个是一系列平台,以及一部分应用,整体形成了我们北银金科AI能力全景。
以上就是我的分享,谢谢大家。