时间序列数据库TSDB排名(时间序列数据库_股票)

数据库用于存放产品在使用过程中生成的数据,并用这些数据去支持产品完成功能的执行。随着数据库技术的发展,数据库产品越来越多,如OracleDB2MongoDBSQLServerMysql等。各种数据库之间互有差异,各有各的优势,在实际工作中,可根据具体情况选择适当的数据库。

以往数通畅联产品是基于Mysql进行开发,在实际项目中也是基于Mysql进行集成开发;在本次项目工作中,需要使用的数据库为Oracle数据库,但部分工作已通过Mysql环境完成开发,所以需要进行数据的迁移以及产品数据库切换,在这过程中出现了一些问题,在本篇文档中将对这过程中的问题进行整理,将问题的产生原因以及解决方式进行记录,以供后续回顾。

背景说明

本篇文档主要对本次切换数据库后进行功能测试的过程中遇到的问题进行整理记录,分析问题出现的原因、解决的办法以及后续如何能够避免出现同样的问题进行记录,以供后续通过本篇文档进行回顾。

1.项目架构

数据中台主要帮助进行全链路业务、全生命周期的数据管理,基于建立在数据仓库和数据平台之上,通过数据清洗导入、数据同步/分发、数据处理、分析等技术,对企业内外部海量数据进行采集、存储、计算、加工、分析等,从而为企业的业务决策提供数据方面的参考,用数据为公司业务、营销、管理赋能。

时间序列数据库TSDB排名(时间序列数据库_股票)

2.工作介绍

本次工作是在产品从Mysql切换为Oracle,同时完成以往配置迁移后,对产品功能进行测试,保障产品在完成数据库切换后,功能可以正常使用,使后续集成工作可以顺利开展。在测试的过程中,一定会出现一些问题,在处理问题的过程中,对问题进行记录,后续尽可能避免出现相同问题,也可以在后续出现相似问题时可以快速进行处理。

3.差异分析

Mysql和Oracle都是关系型数据库,可以应用于各种平台。在Oracle中创建一个数据库,数据库下有好多用户:sys,system,scott等,不同用户下还有好多表。但Mysql的默认用户是root,用户下可以创建好多数据库,每个数据库下还有好多表。同时两个数据库的SQL语法也有着差异,如:

1.Oracle中select语句后边的from是不能省略的,如果没有实际的表,可以用dual作为from的目的表,Mysql中from则是可以省略的;

2.Oracle中分组语句如果某列名不作为分组依据,及没有出现在group by后,则该列名是不允许放到select后边的,Mysql则没有此限制;

3.Oracle左连接,右连接可以使用(+)来实现. Mysql只能使用left join ,right join等关键字等等。

测试说明

每个产品乃至每个功能,在开发完成或是优化完成之后,都需要对其进行测试,用于发现问题点并进行处理,保障在实际使用的过程中,不会因为产品中出现的问题而影响到实际的工作效率。

1.测试目的

本篇文档主要对于主数据以及集成开发部分所需要使用到的功能点在测试过程中出现的问题以及解决办法进行介绍。由于产品是从Mysql数据库切换为Oracle数据库,由于两个数据库的SQL语句存在着差异,部分类型的数据在使用时也存在着不同,所以在切换过程中一定会存在处理不全面导致功能异常的问题;所以出现了本次的测试工作,本次测试的目的就是为了查找产品调整过程中考虑不全面的功能点,提高产品功能在实际使用中的可靠性。

2.测试重点

本次测试主要围绕着主数据平台进行,保障数据集成过程中所需要使用到的各项功能点,具体测试功能点如下:

1.页面显示效果,验证数据显示是否有异常;

2.页面新增、删除、启用、禁用等按钮功能是否正常;

3.MDC中数据建模是否能够生成对应的数据表,生成后的字段名称、字段类型、字段长度是否正确;

4.MDC功能建模能否进行创建,初始化的表单中字段与数据建模是否保持一致,以及SQL解析是否正确,数据管理页面能否根据解析出的SQL进行数据过滤查询;

5.验证数据同步接口功能是否正常,数据能否完成导入;

6.验证配置统一分发接口后,在BPM流程进行调用是否能够调用成功。

3.测试思路

在上文中对需要测试的功能点进行了介绍,在具体测试时可以按照实际使用步骤进行测试,将上述功能进行分类,并完成功能验证,具体如下:

1.进行数据建模、功能建模,在这过程中对这两个功能模块中的细节进行验证;

2.验证页面能否正常打开,打开后的显示效果有无异常;

3.进行源头系统数据同步,在这过程中验证数据同步接口的功能,同步后可验证数据详情页面以及各按钮的功能;

4.配置统一分发接口,使用手动创建的虚拟接口验证统一分发接口能否完成接口调用,数据下发有无异常。

测试过程

上文已对具体测试思路进行了介绍,并对需要测试的功能进行了分类;在本章节中,将具体介绍实际测试过程,本次测试过程也是主数据在数据集成工作中的实际使用步骤;未防止误解,在本章节中的截图都为经过调整后的最终效果。

1.模型构建

在MDC的基础数据建模中点击新增,配置主数据的基本信息、来源系统以及分发系统,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

双击新增的数据模型即可对该模型进行字段的配置,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

点击创建表即可完成对该主数据相关的数据表结构的创建,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

在MDC的功能配置中点击新增,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

在填写并配置完成主数据功能模型的基础信息之后,点击表单信息可以对该主数据的具体页面显示效果进行调整,位置如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

打开管理列表对数据管理页面中的显示效果进行调整,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

打开管理表单调整数据详情页面的显示效果,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

在SQL中点击解析SQL并进行部署即可完成功能模型的调整,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

2.同步测试

本次主要用于接口功能测试,所以使用的流程为未调整的数据初始化流程,并进行一条数据的同步,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

查看临时表中是否有数据新增,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

查看真实表是否有数据写入,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

验证日志是否生成,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

点击禁用按钮,验证按钮功能,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

验证启用按钮功能,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

验证数据详情页面是否显示正常,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

3.统一分发

打开需要分发的下游业务系统,添加需要分发的主数据,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

双击主数据配置字段权限,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

点击接口配置,填写目标系统接收数据接口,本次为测试接口,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

选择数据,生成任务并提交,通过BPM流程调用统一分发接口,验证数据是否分发成功,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

在分发日志中验证数据是否分发成功,如图:

时间序列数据库TSDB排名(时间序列数据库_股票)

问题总结

在对产品功能进行使用、测试的过程中,遇到了一些问题,有预料之中的问题,也存在预料之外的问题;在本章节中,将对这些问题进行整理归纳,并描述这些问题是如何解决的。

1.问题描述

本次验证过程遇到的问题中,有SQL差异引起的问题、字段差异引起的问题、编写代码时考虑不足引起的问题,其中较为典型的问题如下:

1.数据建模添加字段后,无法对应修改数据表中的字段;

2.临时表以及真实表接口在数据同步过程中,无法完成数据的写入;

3.数据大量同步时,会出现无法进行数据同步的情况。

2.问题分析

在处理上述问题以及其他零散问题的过程中,发现有很多问题是由于Oracle以及Mysql数据库之间的差异引起的,这些问题大多是由于对Oracle的SQL处理不熟悉,在Mysql切换为Oracle时没有注意到引起的;其次就是由于不够细心,一些字段类型没有进行修改,导致功能使用出现异常;最后就是接口性能需要优化,以往的接口在开发时考虑不周,导致接口在大批量数据进行调用时出现异常。

3.解决方法

在测试过程中,出现了大大小小的问题,在出现的问题中,多为两个数据库之间的SQL差异或是字段使用差异引起的,在上文中列出了几个或是典型或是不该出现的问题,解决方式如下:

1.数据建模中预置的字段类型为Mysql的字段类型,切换为Oracle类型该问题解决

2.时间类型字段在数据同步到接口中后,在字符串以及时间相互转换的过程中,出现‘.0’导致数据同步失败;

3.数据在大量同步时,游标数超出了最大游标数,后调整代码将使用到链接的位置在不使用时进行关闭,该问题解决。

总结归纳

本次主要完成了主数据部分在数据集成过程中需要使用的功能点的测试,在测试过程中也出现了大大小小的问题,这些问题在测试的过程中暴露了出来,经过调试后,产品的性能得到了进一步的优化。

1.工作总结

本次主要进行产品功能测试,在本次工作中,对于主数据在数据集成的过程中需要使用到的数据建模、功能建模、数据管理、数据详情、统一分发等一系列功能进行了测试,将期间出现的问题进行反馈并协助完成功能调试,使产品接口的性能以及产品的功能点得到了完善;同时通过本次工作结果,产品如再次进行数据库的切换操作,需要考虑哪些位置已明确。

2.后续规划

在完成主数据这部分功能的测试后,经过对代码的调整,已经消除了比较容易出现的问题点,虽然后续很可能出现其他的问题,但这是一款软件所无法避免的,人工开展的工作必然会出现差错,像本次开展的测试工作,正是尽可能的去将问题更早的暴露出来并进行调试,提高产品功能的可靠性以及可用性,保障产品在实际使用时,问题尽可能少的出现乃至于不出现问题。通过本次工作的结果,后续在产品功能开发时,相信会考虑得更加全面,在保障功能可用性的同时优化产品性能

3.心得总结

任何一款产品,进行数据库的切换操作都是需要非常谨慎的,其中涉及到非常多的差异,如SQL写法差异、函数使用差异、字段处理差异等等,这点在实际集成开发、进行数据库读写时也是需要注意的,在本次测试时也为后续项目集成开发需要注意的位置打下了基础。

通过本次测试,发现了数据库切换引起的功能异常,也发现了产品性能有待优化之处,在后续的工作中,将对产品其余接口进行测试,如能保持在大量数据调用下的稳定,相信在后续实际使用的过程中,也不会出现问题,这也正是项目前期工作的一部分,在开发环境完成各项功能的测试,保障正式环境产品的可靠性。

本文由@数通畅联原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~

    

使用无须实名的阿里云国际版,添加 微信:ksuyun  备注:快速云

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 cloud@ksuyun.com 举报,一经查实,本站将立刻删除。
如若转载,请注明出处:https://www.hanjifoods.com/23957.html