信创能不能让大数据平台焕新？
金融行业正在加速推进信息技术应用创新（信创）改造，旨在实现关键技术的自主可控与安全可靠。大数据平台作为金融机构核心业务的数据底座，承载着风险管理、精准营销、智能决策等重要职能，也是信创改造的重点之一。那么，如何利用好这个节点，结合大数据平台信创改造及迁移过程，不但实现响应政策要求、保障数据主权、防范供应链风险的目的，更能提升原有的数据服务能力和应用效果，实现大数据平台的焕新？
来自 xjwangbo100某商业银行系统架构师的问题，由以下同行分享：
▪wangzhaozhi：
这个问题其实核心在于性能。
信创到底能不能让平台焕新，核心取决于性能。对于大数据平台，我们一般重心在于数据入湖阶段和数据加工阶段，以及数据分析阶段。
1、数据入湖性能
信创改造首先要优化数据入湖流程，选择高性能的国产化数据接入工具（如Kafka替代品或分布式文件系统），支持多源异构数据的实时和批量接入。通过并行采集、智能分片、压缩传输等技术，提升数据吞吐量，同时确保数据不丢不重。针对不同业务需求，可以分层存储——热数据放高速存储，冷数据放低成本存储，既省钱又提效。
2、数据加工性能
通过优化资源调度、动态调整计算并行度、使用内存计算等技术，缩短数据处理时间。同时，结合信创生态的AI能力，在数据清洗、转换等环节引入智能规则，比如自动识别脏数据、智能补全缺失值，减少人工干预，让数据加工既快又准。
3、数据分析性能
信创改造后，要优化数据分析层的查询和计算能力。采用高性能的国产OLAP引擎，结合智能索引、预聚合、缓存加速等技术，让报表和即席查询更快响应。同时，可以引入实时计算能力，让业务部门能及时获取最新数据洞察。此外，通过数据服务化（Data API）方式，让分析结果能快速对接业务系统，真正赋能一线决策。
▪Infrastructure
从运维的角度提一点建议。
由于历史原因，很多大数据平台是没有灾备的。如果做信创改造，建议对大数据集群上面所承载的应用做一下区分，对高优先级的业务场景部署在单的集群上，通过建设同城、异地灾备，可以极大的提升大数据平台的容灾能力，进而提升数据服务能力。
▪xuyy：
大数据平台信创改造及迁移过程中，采用国产化数据库和大数据处理框架（如分布式架构），提升数据处理能力并确保符合信创标准。优化架构以适应银行海量数据处理的稳定性需求。同步推进数据治理工作，建立数据标准与质量评估体系。通过清洗、整合提升数据准确性，为上层应用提供高质量支持。采用国产加密算法与安全技术保障数据迁移过程的安全，确保符合银行行业监管要求。
▪danghl：
通过数据服务智能化、场景化应用创新和提升安全与合规等方面，可提升原有数据服务能力及应用效果：
1、数据服务智能化
通过流计算引擎支持毫秒级响应，替代批处理任务，建立实时分析能力；整合多源数据，训练模型，实现跨部门数据协同，提升场景化AI应用效果。
2、场景化应用创新
低代码开发：基于数据服务基础，通过低代码工具赋能业务人员自助分析，缩短需求响应周期。
3、安全与合规加固
采用国产加密算法对敏感字段动态脱敏，集成日志分析工具实现全链路操作审计。
▪cater.wei：
这个可能不只是大数据平台迁移/改造过程中需要考虑的，其应该涉及到前期的硬件采购和平台本身和软硬件适配之后的叠加效果。比如需要评估包括鲲鹏+华为、海光+X、Dataworks+X等可能的软硬件组合方案，是否能在规模相适应的情况下达到现有的处理水平？其次Spark特性的优化程度以及数据湖的深度优化效果如何？
但是有一点是可以明确的。就是相较于现有环境，新平台在组件丰富度+针对某一些特定痛点场景下的优化还是有不小提升的。
▪menglunyang
1、技术升级：通过信创改造，采用国产化软硬件（如国产服务器、数据库等），提升平台的性能和稳定性。
2、架构优化：在迁移过程中，重新设计数据架构，例如引入分布式存储和计算，优化数据处理效率和响应速度。
3、数据治理：建立完善的数据治理体系，加强数据质量管理，确保数据的准确性、一致性和安全性。
▪jillme：
首先在信创改造和迁移的过程中，需要对所需的资源有合理性的评估。包括考虑到未来业务的发展。
其次是在架构设计中，需要满足RTO和RPO的要求，保障数据的正确性和完整性。最好使用高可用的架构方式。
第三、考虑在线平稳切换，例如使用云服务或者蓝绿部署等。
第四、选择技术产品时候，以实时产品为主，将大数据的性能与数据服务快速结合。
