首页 > 数据仓库 > RMS-RETL-RDW 数据抽取测试实例

RMS-RETL-RDW 数据抽取测试实例

2008年11月16日 zhiru.sun 发表评论 阅读评论

测试:币别数据抽取测试
目的:从RMS模块币别基表中把币别数据读取出来,转换后写入到RDW的币别基表中。
好处:RDW-数据仓库实则也为一数据库,但跟通常的事务性数据库相比,多了对数据的分析、制订计划及高层次的聚合。普通的数据库通常是为特定应用程序设计的,而数据仓库集成了不同源头的数据。普通的数据库关心的是现在,而数据仓库关心的是随着时间变化的活动。普通的数据库是易变的,而数据仓库则是稳定的,它的信息只会以标准的间隔进行更新,也许是按月、按周,或按小时,并且在理想情况下更新只会增加新时间段的数据,而不会更改先前存储在数据仓库中的值。
   针对我们项目,把其它各模块中的数据读写到RDW中,进行高度汇总后,再使用BI报表工具制作管理分析报表(OLAP和数据挖掘),这样即保证了对各模块写入的大容量数据进行快速整合获取,也确保了因没有在其它模块中进行开发,而影响到对应模块的整体性能。
        我们常用的google、baidu是运用数据仓库最典型的实例。

一、从RMS模块币别基表中把币别数据读取出来(参考 rms-1205-og1.pdf 文档考核章节:RETL Extraction Programs)
说明:1.RMS Extract Data - Based on RDW Dimension Data 数据抽取是没有参数的,直接运行.ksh脚本;
         2.RMS Extract Data - Based on RDW Fact Data 数据抽取是带参数的,参数即为运行 .ksh 脚本后面加入 output_file_path/filename
1. oracle用户:su oracle
   启动RETL:source /home/rfx/retl.env
   启动RMS:source /home/oracle/rmsbatchenv.env
   MMHOME环境变量修改为:
   MMHOME=/d01/app/retail/rms/db/retlforRDW
   export MMHOME

2. cd $MMHOME/rfx/src
   ./crncycdex.ksh
   备注:(a)查看crncycdex.ksh中,PROPERTY name="query" 是通过以下Sql获取出币别数据:
                SELECT CURRENCY_CODE CRNCY_CDE_IDNT,
                             CURRENCY_DESC CRNCY_CDE_DESC
                   FROM rms12dev.CURRENCIES
           (b) 为了查看运行RETL功能执行脚本的更多日志,可以启用两个参数:
                export RFX_DEBUG=1
                export RFX_SHOW_SQL=1
3. 在$MMHOME/log 和 $MMHOME/error中分别产生执行crncycdex.ksh脚本日志:
19960101.log:
========================================
crncycdex 17:52:21: Program started ...
crncycdex 17:52:22: Program completed successfully
========================================

crncycdex.19960101:
========================================
-----------------------------
crncycdex 17:52:21: Program started ...
-----------------------------
Starting the threads
All threads complete

Flow ran successfully

-----------------------------
crncycdex 17:52:22: Program completed successfully
-----------------------------
========================================

4. 在$MMHOME/data中产生数据文件:crncycddm.txt,根据验证即为上面第2步中的Sql查询的结果,所以此时完成从RMS币别基表中把币别数据读取出来的功能;

二、把从RMS中获取的币别数据转换及写入RDW中(参考 rdw-12001-og.pdf 文档考核章节:Program Flow Diagrams)
说明:在进行往RDW中转换及写入数据前,要确保RDW安装的完整性,包括初始数据导入的完整性。
1. oracle用户:su oracle
   启动RETL:source /home/rfx/retl.env
   启动RDW:source /home/oracle/rdw_profile_ora
   INSTALL_DIR=/d01/app/retail/rdw/dbserverunix
   export INSTALL_DIR

2. 把RMS data目录下产生的数据文件 crncycddm.txt 拷贝到RDW data目录下:
   cp /d01/app/retail/rms/db/retlforRDW/data/crncycddm.txt /d01/app/retail/rdw/rdw12.0/dev/data/crncycddm.txt

3. 根据文档说明及流程图(图1、2),需要先执行‘A’的五个脚本文件:

图2

图1

   执行顺序:factopendm.ksh -> medfactopendm.ksh -> factclosedm.ksh -> seasnopendm.ksh -> mt_prime.ksh
   cd $MMHOME/rfx/src
   3.1 factopendm.ksh  (参考文档52页Factopendm.ksh说明) 根据文档,需要先执行以下三个脚本:prditmdm.ksh -> prddepdm.ksh -> orglocdm.ksh
       ./prditmdm.ksh
       ./prddepdm.ksh
       ./orglocdm.ksh
       ./factopendm.ksh
   3.2 ./medfactopendm.ksh
   3.3 ./factclosedm.ksh
   3.4 ./seasnopendm.ksh
   3.5 ./mt_prime.ksh

4. ./crncycddm.ksh
   备注:以上各.ksh脚本执行后,均可在目录$MMHOME/log 或 $MMHOME/error中查看日志文件,如果有错误可根据日志进行修改后,重新执行对应脚本。

5. 也可通过以下Sql验证导入到RDW中的币别数据:SELECT * FROM CRNCY_CDE_DM
   导入不同的数据,需要RDW相应的表中进行验证;

若执行以上.ksh脚本发生问题,可参考RDW 12安装日志(包括补充文档)、Retail-RDW-讨论帖。

 

 

关于作者:

昵称:zhiru.sun
档案信息:
联系方式:你可以通过zhiru.sun@hand-china.com联系作者
点击查看zhiru.sun发表过的所有文章...
本文永久链接: http://blog.retailsolution.cn/archives/1949

 

 

对本文的评价:

1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
Loading ... Loading ...

 

 

  1. 本文目前尚无任何评论.
  1. 本文目前尚无任何 trackbacks 和 pingbacks.
您必须在 登录 后才能发布评论.