新华三“海星+数桥”可信数据空间解决方案
一、产品概述
本产品包含海星平台和数桥系统,其中海星平台提供统一身份认证、多因素认证、单点登录和跨平台身份互认等功能,确保用户身份的安全性和便捷性。同时,通过角色管理和权限配置,实现对用户访问权限的精细化控制。平台还涵盖数据资源管理、数据产品发布、供需撮合、数据流通监测、区块链存证溯源以及智能合约管理等模块,保障数据流通的透明性、安全性和合规性。数桥系统则作为数据源与平台之间的桥梁,支持多种数据类型的接入和同步管理,具备数据探查、资源登记、监控等功能,为数据的高效接入和流通提供基础支持。两个系统协同工作,实现了数据从接入到流通、从管理到安全的全流程覆盖,为企业和机构提供了一个高效、安全、可信的数据流通生态系统。
二、产品架构
1、架构概述
通过门户网站、个人工作台和运管平台为不同用户提供访问入口和支持;基础支撑服务层利用nacos和Springboot提供服务发现与配置管理及微服务框架;核心业务服务层涵盖数据接入、分类分级、数据合规、数据集管理和数据交换等功能,使用SpringCloud和Springboot实现;引擎层则依靠DolphinScheduler进行任务调度,Spark和Flink支持大数据计算,PyTorch用于数据分析和机器学习;存储层包括MySQL、MinIO、Hive和Redis等技术,分别负责结构化数据、非结构化数据的存储和快速访问;数据源层整合了Mysql、Oracle、DM、Kingbase等多种数据库以及csv文件等其他格式的数据源;右侧垂直服务层包含消息服务(Kafka、RocketMQ)、运维监控(Prometheus)和数据安全(ChainMaker),确保系统间的高效通信、稳定运行和数据的安全性。整个平台架构层次分明,组件间协作紧密,共同支持数据的高效处理与安全管理。
2、架构特点
(1)模块化设计与分层架构。采用清晰的模块化设计和分层架构,从用户交互到数据源层,每一层都有明确的功能划分和职责,便于扩展和维护;
(2)多样化的数据源支持。支持多种数据源接入,包括关系型数据库(如MySQL、Oracle)、国产数据库(如DM、Kingbase)以及文件格式(如CSV),能够灵活应对不同的数据处理需求;
(3)强大的数据处理能力。利用Spark、Flink等大数据计算引擎和PyTorch分析引擎,提供高效的数据处理和分析能力,支持复杂的数据操作和机器学习任务;
(4)全方位的安全保障。通过ChainMaker等技术实现数据安全保护,结合消息服务和运维监控,确保数据在存储、传输过程中的安全性及系统的稳定运行;
(5)高效的资源调度与管理。使用DolphinScheduler进行任务调度,结合SpringCloud等微服务框架,实现了任务的高效管理和资源的合理分配;
(6)灵活地部署与扩展性。支持分布式部署,具有良好的可扩展性和灵活性,可以根据业务需求动态调整系统规模和服务能力;
(7)全面的运维支持。配备Prometheus等工具进行系统监控和性能分析,提供完善的运维支持,确保系统的高可用性和易管理性。

三、产品方案
3.1.海星(可信数据流通平台)
3.1.1.数据资源全流程管理,提升业务数据治理效率
产品支持数据资源的全流程管理,涵盖登记、分类分级、探查、同步和监控。通过数据探查功能,快速了解接入数据的整体概况,为数据治理提供依据。数据同步管理支持多种同步策略,确保数据在不同系统间的一致性和完整性,提升业务数据治理效率,保障数据驱动决策的准确性。产品通过智能数据管理,助力企业优化数据资产,提升数据利用效率。
3.1.2.数据合规与安全保护,降低企业合规风险
产品内置数据合规检测引擎,支持对多种数据类型的合规检测。同时,提供数据脱敏、水印、数字证书等安全功能,确保数据在流通过程中的隐私和安全。产品遵循数据安全法、等级保护等相关法律法规,内置电信、金融、政务、海关、医疗等多个行业数据分类分级标准,有效满足主管部门合规性监管的要求和业务发展的需求,降低企业合规风险。
3.2.数桥(接入连接器)
3.2.1.产数据流通监测与隐私计算,保障数据安全流通
产品建设数据流通监测系统,实现数据流通的全方位、全流程监测和预警。通过日志归集、监测指标管理和驾驶舱展示等功能,实时监控数据流通状态,提升数据管理的透明度和可控性。同时,支持隐私计算技术,包括联邦学习、隐匿查询和安全多方计算,确保数据在隐私保护的前提下实现高效共享和流通,促进数据价值的最大化,助力企业数据资产的增值。
3.2.2.数据开发与建模支持,促进数据有效利用
产品提供一站式数据开发和机器学习环境,支持从数据预处理到模型部署的全生命周期管理。通过可视化建模和丰富的算法组件,降低开发门槛,提升开发效率,助力企业快速实现业务场景的AI赋能,加速智能化转型,提升业务竞争力。产品通过智能化工具,帮助企业提升数据利用效率,推动业务创新。
四、技术优势
4.1.基于TEE与智能合约协同的边缘侧跨域数据流通安全技术
提出面向边缘设备的轻量化TEE可信执行环境,构建"硬件隔离域+智能合约沙箱"双环境协同架构。通过TEE硬件特征指纹实现设备身份快速认证,在边缘侧完成跨域数据的实时加密与隐私保护处理。创新设计支持双环境交互的动态密钥管理协议,结合区块链技术建立数据流通行为不可篡改链。在TEE安全域内实现智能合约代码的实时漏洞扫描与异常行为监测,通过内存安全虚拟化技术保障敏感数据处理的机密性,形成覆盖“设备接入-数据传输-合约执行-行为审计”的全链路安全防护体系。
4.2.基于大模型与知识图谱的跨域数据交换模型技术
通过构建数据要素流通的数据参考模型,采用先进语义理解技术,实现跨域异构数据模型的统一转化,消除数据流通过程中的语义冲突,提升数据流通效率;系统包括行业标准化模型,行业语义知识图谱,语义数据建模与转换,语义中间件与映射引擎、大模型辅助语义对齐等模块,创新采用知识图谱与大模型技术,极大提高数据供需双方数据交换模型的准确率。
4.3.多智能体数据治理技术
针对端侧资源受限,基于多智能体协同实现数据治理,整体方案采用轻量化与云端计算相结合的设计。首先,各个智能体针对数据采集、清洗、整合、分析与监控等任务进行模块化设计,并通过轻量化模型降低计算和存储需求;其次,端侧智能体负责初步数据预处理和简单特征提取,将高负载计算任务通过安全、高效的通信协议动态传输至云端;同时,通过强化学习或自适应调度算法,实现多智能体间的任务分配和资源动态调整。
4.4.智能化数据开发与建模
平台提供一站式数据开发和机器学习环境,支持从数据预处理到模型部署的全生命周期管理。通过可视化建模、丰富的算法组件和分布式计算框架,平台显著降低了机器学习的技术门槛,帮助用户快速实现业务场景的AI赋能。此外,平台支持多种开源框架镜像和用户自定义镜像,具备强大的弹性扩展能力和开放生态,能够满足不同规模和复杂度的业务需求。
4.5.精细化权限与角色管理
平台采用精细化的权限与角色管理技术,支持基于角色的访问控制和账号生命周期管理。通过灵活的权限配置和角色划分,平台能够根据用户的不同职责和需求,分配相应的访问权限和操作权限,实现用户访问权限的精细化控制。同时,平台支持账号的创建、激活、修改、禁用和删除等全生命周期管理功能,确保系统资源的安全与高效利用,为数据管理提供了强大的安全保障。
五、应用案例
5.1.政府与政务数据共享
某地方政府通过部署海星平台,实现了跨部门数据的安全共享和高效流通。平台支持数据资源的分类分级管理、数据产品的发布与交付,以及数据合规检测,有效提升了政务数据的利用效率和安全水平。
5.2.金融行业数据管理
某金融机构通过平台实现了数据资源的高效管理,支持数据产品的安全流通和隐私保护。平台的数据合规检测功能帮助机构满足金融行业严格的监管要求,确保数据在合法合规的前提下实现价值最大化。
5.3.企业数据流通
某大型企业通过平台实现了企业内部数据的高效管理和安全流通。平台支持数据资源的分类分级管理、数据产品的发布与交付,以及数据合规检测,有效提升了企业数据的利用效率和安全水平。
完成单位:新华三信息安全技术有限公司
完成人:孙松儿、郭天奇、曹东、史明琪



