商云方的技术博客 (沪ICP备14046774号-1)

测试：币别数据抽取测试
目的：从RMS模块币别基表中把币别数据读取出来，转换后写入到RDW的币别基表中。
好处：RDW-数据仓库实则也为一数据库，但跟通常的事务性数据库相比，多了对数据的分析、制订计划及高层次的聚合。普通的数据库通常是为特定应用程序设计的，而数据仓库集成了不同源头的数据。普通的数据库关心的是现在，而数据仓库关心的是随着时间变化的活动。普通的数据库是易变的，而数据仓库则是稳定的，它的信息只会以标准的间隔进行更新，也许是按月、按周，或按小时，并且在理想情况下更新只会增加新时间段的数据，而不会更改先前存储在数据仓库中的值。
　　　针对我们项目，把其它各模块中的数据读写到RDW中，进行高度汇总后，再使用BI报表工具制作管理分析报表(OLAP和数据挖掘)，这样即保证了对各模块写入的大容量数据进行快速整合获取，也确保了因没有在其它模块中进行开发，而影响到对应模块的整体性能。
        我们常用的google、baidu是运用数据仓库最典型的实例。

一、从RMS模块币别基表中把币别数据读取出来(参考 rms-1205-og1.pdf 文档考核章节：RETL Extraction Programs)
说明：1.RMS Extract Data – Based on RDW Dimension Data 数据抽取是没有参数的，直接运行.ksh脚本；
         2.RMS Extract Data – Based on RDW Fact Data 数据抽取是带参数的，参数即为运行 .ksh 脚本后面加入 output_file_path/filename
1. oracle用户：su oracle
   启动RETL：source /home/rfx/retl.env
   启动RMS：source /home/oracle/rmsbatchenv.env
   MMHOME环境变量修改为：
   MMHOME=/d01/app/retail/rms/db/retlforRDW
   export MMHOME

2. cd $MMHOME/rfx/src
   ./crncycdex.ksh
   备注：(a)查看crncycdex.ksh中，PROPERTY name=”query” 是通过以下Sql获取出币别数据：
                SELECT CURRENCY_CODE CRNCY_CDE_IDNT,
                             CURRENCY_DESC CRNCY_CDE_DESC
                   FROM rms12dev.CURRENCIES
           (b) 为了查看运行RETL功能执行脚本的更多日志，可以启用两个参数：
                export RFX_DEBUG=1
                export RFX_SHOW_SQL=1
3. 在$MMHOME/log 和 $MMHOME/error中分别产生执行crncycdex.ksh脚本日志：
19960101.log：
========================================
crncycdex 17:52:21: Program started …
crncycdex 17:52:22: Program completed successfully
========================================

crncycdex.19960101：
========================================
—————————–
crncycdex 17:52:21: Program started …
—————————–
Starting the threads
All threads complete

Flow ran successfully

—————————–
crncycdex 17:52:22: Program completed successfully
—————————–
========================================

4. 在$MMHOME/data中产生数据文件：crncycddm.txt，根据验证即为上面第2步中的Sql查询的结果，所以此时完成从RMS币别基表中把币别数据读取出来的功能；

二、把从RMS中获取的币别数据转换及写入RDW中(参考 rdw-12001-og.pdf 文档考核章节：Program Flow Diagrams)
说明：在进行往RDW中转换及写入数据前，要确保RDW安装的完整性，包括初始数据导入的完整性。
1. oracle用户：su oracle
   启动RETL：source /home/rfx/retl.env
   启动RDW：source /home/oracle/rdw_profile_ora
   INSTALL_DIR=/d01/app/retail/rdw/dbserverunix
   export INSTALL_DIR

2. 把RMS data目录下产生的数据文件 crncycddm.txt 拷贝到RDW data目录下：
   cp /d01/app/retail/rms/db/retlforRDW/data/crncycddm.txt /d01/app/retail/rdw/rdw12.0/dev/data/crncycddm.txt

3. 根据文档说明及流程图(图1、2)，需要先执行‘A’的五个脚本文件：

   执行顺序：factopendm.ksh -> medfactopendm.ksh -> factclosedm.ksh -> seasnopendm.ksh -> mt_prime.ksh
   cd $MMHOME/rfx/src
   3.1 factopendm.ksh  (参考文档52页Factopendm.ksh说明) 根据文档，需要先执行以下三个脚本：prditmdm.ksh -> prddepdm.ksh -> orglocdm.ksh
       ./prditmdm.ksh
       ./prddepdm.ksh
       ./orglocdm.ksh
       ./factopendm.ksh
   3.2 ./medfactopendm.ksh
   3.3 ./factclosedm.ksh
   3.4 ./seasnopendm.ksh
   3.5 ./mt_prime.ksh

4. ./crncycddm.ksh
   备注：以上各.ksh脚本执行后，均可在目录$MMHOME/log 或 $MMHOME/error中查看日志文件，如果有错误可根据日志进行修改后，重新执行对应脚本。

5. 也可通过以下Sql验证导入到RDW中的币别数据：SELECT * FROM CRNCY_CDE_DM
   导入不同的数据，需要RDW相应的表中进行验证；

若执行以上.ksh脚本发生问题，可参考RDW 12安装日志(包括补充文档)、Retail-RDW-讨论帖。