为应对 dblink 广泛使用给信创迁移带来的挑战,上海掌数科技有限公司推出了针对GaussDB的异构数据互联互通解决方案。该方案使GaussDB能够与 OceanBase、达梦、Oracle、SQL Server、MySQL 等多种关系型数据库无缝对接,并支持它们之间的数据交互。

方案概述

在汽车行业数字化转型的浪潮中,汽车企业对数据处理和管理的要求越来越高。无论是生产制造的精细化管理、销售渠道的拓展与优化,还是研发创新的加速推进,都依赖于高效、准确的数据支持。随着数据安全和国产化的重要性日益凸显,汽车企业纷纷加快数据库向国产数据库平台的迁移和重构步伐。为应对 dblink 广泛使用给信创迁移带来的挑战,上海掌数科技有限公司推出了针对GaussDB的异构数据互联互通解决方案。该方案使GaussDB能够与 OceanBase、达梦、Oracle、SQL Server、MySQL 等多种关系型数据库无缝对接,并支持它们之间的数据交互。DBlink 是为GaussDB数据库设计的扩展模块,它允许用户在两个数据库之间建立连接,实现查询结果传递和其他数据库操作。DBlink是为Gaussdb数据库涉及的的一个扩展模块,它允许用户在两个数据库之间建立一个连接,并且可以在这两个数据库之间传递查询结果以及执行其他数据库操作。其功能如下图:


借助 Z-DBlink,用户可以在GaussDB数据库中执行 SQL 命令,从其他数据库实例检索数据,如同在本地数据库操作一样便捷。例如,在数据分析场景中,分析师可以直接在GaussDB数据库环境中查询 Oracle 数据库中的历史销售数据,并与GaussDB本地的市场调研数据进行关联分析,无需在多个数据库客户端之间频繁切换,大大提高了工作效率。使用 Z-DBlink 建立连接时,只需指定目标数据库的名称、连接字符串、用户名和密码等参数,连接建立后即可执行远程 SQL 查询获取结果,极大地简化了数据集成和交换过程。

方案架构设计

1.统一服务层:

提供 SQL 代理服务,负责接收和处理用户的 SQL 请求,并将其转发到相应的数据库实例;元数据服务用于管理数据库的元数据信息,包括表结构、字段类型等,方便用户快速了解和查询数据;监控告警服务对系统的运行状态进行实时监控,一旦发现异常情况,及时发出告警信息,保障系统的稳定运行。

2.数据处理层:

查询优化器对用户的查询语句进行优化,提高查询效率。例如,将复杂的查询语句分解为多个子查询,并根据数据库的特点和数据分布情况选择最优的执行计划;分布式事务协调器负责协调跨多个数据库的事务处理,确保数据的一致性和完整性;数据转换引擎实现不同数据库之间的数据格式转换,保证数据在不同系统之间的正确传输和处理。

3.协议适配层:

针对不同的数据库类型,如 Oracle、MySQL、PostgreSQL 等,提供相应的适配器。这些适配器负责解析和封装不同数据库的私有协议,实现与各种数据库的通信。同时,流量镜像功能用于调试分析,方便开发人员在系统出现问题时进行故障排查,协议版本兼容性处理确保能够适应不同版本数据库的协议变化。

4.连接管理层:

连接池管理通过维护一个连接池,复用数据库连接,减少连接创建和销毁的开销,提高系统性能;心跳检测机制定期检测数据库连接的状态,确保连接的有效性;负载均衡根据各个数据库实例的负载情况,自动分配连接请求,避免某个数据库实例因负载过高而影响性能。

方案亮点

互联互通解决方案为企业提供了强大的数据库互联平台,通过灵活的同步工具、高效的数据处理和简化的业务逻辑,助力企业快速适应市场变化,实现数据的最大化利用,推动企业数字化转型。

01

降低架构复杂性和耦合度

基于数据库原生 DB Link 功能构建异构数据库通道,有效降低了业务应用层的架构复杂性和系统耦合度。企业在开发业务应用时,无需针对不同的数据库编写复杂的连接和交互代码,只需通过统一的接口即可实现对多种数据库的访问,减少了代码量和维护成本,提高了系统的可扩展性和灵活性。

02

提升数据处理能力

该方案不仅提升了数据处理的吞吐效率,还实现了跨 Oracle、MySQL 等异构数据库系统的直接数据访问与联合查询能力。在大数据处理场景中,能够快速处理大量来自不同数据库的数据,例如在数据仓库的 ETL(抽取、转换、加载)过程中,从多个异构数据库中抽取数据,并进行实时转换和加载,大大缩短了数据处理时间,提高了数据的时效性。

03

保障事务一致性

深度整合数据库事务机制与读写隔离级别,确保跨系统数据交互的 ACID 特性,实现事务级数据实时同步。在汽车金融贷款业务中,当客户申请贷款时,涉及客户信息数据库、银行征信数据库和企业内部风控数据库之间的数据交互。借助该方案,能够严格保障整个贷款事务过程中数据的原子性、一致性、隔离性和持久性。即要么贷款申请完全成功,相关数据库中的数据都正确更新;要么在出现异常时,整个事务回滚,数据不会发生错误更改,避免贷款风险。同时,通过合理设置读写隔离级别,有效防止脏读、不可重复读和幻读等问题,保障数据的准确性和完整性,为汽车金融业务的稳定运行提供坚实保障。

  • 上  海  总  部:上海市复旦软件园·周家嘴路3388号13号楼C01-C04

    福州开发中心:福建省福州市鼓楼区六一北路558号金三桥大厦A座506

    厦门研发中心:厦门市思明区软件园二期观日路36号401

  • 021-58820906/0881(fax)

    zhangshu@dataknown.cn

掌数科技