无极4总代理培训OushuDB × 东方证券:数据仓库信



前言:东方证券(600958)是一家综合类证券公司,无极4总代理培训 成立于 1998 年,总部设在上海。经过 20 多年的发展,东方证券现有分支机构 177 家、管理 3200 亿资产,服务上亿客户。与一个大型金融机构相匹配的,正是东方证券当前管理的海量数据(603138)。

一、案例背景

2013 年起,无极4总代理收益 东方证券陆续引入数据仓库平台、大数据应用平台、资讯中心大数据平台,以实现对业务运行提供数据支撑,由这三个数据平台组成的数据平台体系是东方证券金融科技战略规划的重要组成。

数据仓库平台和大数据平台因数据割裂、业务发展和技术迭代等原因,与战略规划所要求的数据平台服务能力存在较大差距。长期来看需要构建一个统一的数据平台,支撑公司经营管理中各类数据的全面有机融合。考虑到自身业务模式、组织架构和现有系统建设现状,东方证券将以数据仓库平台为核心,将全业务数据盘活和打通,用数据指导运营,无极4总代理 赋能业务,支撑决策。

东方证券数据仓库建设于 2013 年,采用基于 MPP 架构的关系型数据库 Netezza,经过扩容已接近 30T 容量。数据仓库承载着东方证券的核心业务数据,目前整合处理了包含零售业务端数据、公司自营数据和市场金融工具数据。

然而,现有的 Netezza 一体机数据库已经形成数据管理的瓶颈,因此东方证券迫切需要新平台来更好地进行数据的管理、运营和服务,以实现金融科技既定数据平台目标。

二、需求分析

1.平台扩展

东方证券原有的数据仓库是基于 Netezza 一体机构建的。当一体机容量趋于饱和,如果不迁移存量数据的话,便只能删除部分历史数据来维持其正常的数据应用需求,潜在的数据丢失和损坏即将对业务侧造成严重的影响。

2.系统性能

跟所有一体机一样,Netezza 通过特殊硬件来提升性能,但是可扩展性一般。随着数据量的增加,一体机的数据处理性能下降,部分复杂报表跑批耗时显著增加,已经对数据应用产生了实质影响。

3.持续运维

平台扩展能力受限除了对业务应用、系统性能造成影响,还对备份和恢复等运维工作带来巨大挑战。然而,IBM 在全球范围内停止了对 Netezza 所有支持,外资厂商的可持续运维问题在当下自主可控的背景下显得格外突兀。

因此,东方证券新建和替换数据仓库除了考虑数仓的可拓展性、系统性能,还重点关注国产软件的自主可控和本土厂商的持续运维能力。此外,项目建设实施要在不中断业务的情况下进行,因此还需要确保整个数仓平台提供安全可靠、连续稳定的对外服务,确保对上下游业务完全兼容。同时,需要对新数据仓库的加工能力、数据精度、加工效率进行全面验证,为从Netezza 平台的平稳迁移提供全面可靠的技术评估并夯实平台基础。

三、产品选型

东方证券对多个主流数据库产品进行了对比测试,测试包括标准化测试,以及基于现有业务应用设计的场景化测试,共涉及 300 多张表以及 200 多个存储过程。在经过一系列复杂测试后,利用专有硬件的 Netezza 需要 60 分钟的处理任务,OushuDB 仅用 22 分钟,效率大幅领先。OushuDB 极致的性能远超技术专家预期。除了性能,OushuDB 相较 Netezza 在并发、扩展能力、存储等方面也有着显著的技术优势,详见下表。
上一篇:无极4总代理培训科龙空调让音乐营销成为品牌破
下一篇:无极4总代理培训趣链BaaS新服务推进城市数据要素

网友回应