首页 > 数据转换 > 有关ORACLE DUMP文件的转换

有关ORACLE DUMP文件的转换

 

在做数据转换时,往往比较重要的环节就是做数据的Mapping。如果能够把两个系统的数据用EXCEL到出来进行对比,那么将大大提高工作效率。

目标:要将遗留系统的数据导出,然后生成CSV文件

思路:通过oracle自带的exp和imp工具进行导出和导入,将遗留系统的数据导出生成dump文件,将dump文件导入自己的数据库,通过PL/SQL导出表生成CSV文件,前提,因为未知遗留系统的数据库信息未知,且手头只有已经导出来的dump文件。

------------------------------------------------------------------------------------------------------

ORACLE EXP 和 IMP文件的知识

1、Export/Import的用处 
Oracle Export/Import工具用于在数据库之间传递数据。 
Export从数据库中导出数据到dump文件中 
Import从dump文件中到入数据导数据库中 
下面是一般使用他们的情况 
(1)、两个数据库之间传送数据 
       同一个版本的oracle Server之间 
       不同版本的oracle Server之间 
       同种OS之间 
       不同种OS之间 
(2)、用于数据库的备份和恢复 
(3)、从一个SCHEMA传送到另一个SCHEMA 
(4)、从一个TABLESPACE传送到另一个TABLESPACE 

2、DUMP文件 
EXPORT到出的是二进制格式的文件,不可以手工编辑,否则会损坏数据。 
该文件在ORACLE支持的任何平台上都是一样的格式,可以在各平台上通用。 

DUMP文件在IMPORT时采用向上兼容方式,就是说ORALCE7的DUMP文件可以导入 
到ORACLE8中,但是版本相差很大的版本之间可能有问题。 

3、EXPORT/IMPORT过程 
EXPORT导出的DUMP文件包含两种基本类型的数据 
    - DDL 
    - Data 
DUMP文件包含所有重新创建Data Dictionary的DDL语句,基本上是可以读的格式
。 
但是应该注意的是,千万不要用文本编辑器编辑之,oracle说不支持这样做的。

下面列出的是DUMP文件中包括的ORACLE对象,分为TABLE/USER/FULL方式,有些对
象 
只是在FULL方式下才有(比如public synonyms, users, roles, rollback segm
ents等) 

Table mode              User Mode               Full Database Mode 
----------------------  ----------------------  ----------------------
--- 
Table definitions       Table definitions       Table definitions 
Table data              Table data              Table data 
Owner's table grants    Owner's grants          Grants 
Owner's table indexes   Owner's indexes         Indexes 
Table constraints       Table constraints       Table constraints 
Table triggers          Table triggers          All triggers 
                        Clusters                Clusters 
                        Database links          Database links 
                        Job queues              Job queues 
                        Refresh groups          Refresh groups 
                        Sequences               Sequences 
                        Snapshots               Snapshots 
                        Snapshot logs           Snapshot logs 
                        Stored procedures       Stored procedures 
                        Private synonyms        All synonyms 
                        Views                   Views 
                                                Profiles 
                                                Replication catalog 
                                                Resource cost 
                                                Roles 
                                                Rollback segments 
                                                System audit options 
                                                System privileges 
                                                Tablespace definitions

                                                Tablespace quotas 
                                                User definitions 

4、IMPORT时的对象倒入顺序 
在倒入数据时,ORACLE有一个特定的顺序,可能随数据库版本不同而有所变化,
但是 
现在是这样的。 

1. Tablespaces                         14. Snapshot Logs 
2. Profiles                            15. Job Queues 
3. Users                               16. Refresh Groups 
4. Roles                               17. Cluster Definitions 
5. System Privilege Grants             18. Tables (also grants,commen
ts,  
6. Role Grants                             indexes, constraints, audi
ting) 
7. Default Roles                       19. Referential Integrity     
8. Tablespace Quotas                   20.  POSTTABLES actions       
9. Resource Costs                      21. Synonyms 
10. Rollback Segments         22. Views           
11. Database Links                      23. Stored Procedures 
12. Sequences                           24. Triggers, Defaults and Aud
iting 
13. Snapshots                      
按这个顺序主要是解决对象之间依赖关系可能产生的问题。TRIGGER最后导入,所
以在INSERT 
数据到数据库时不会激发TRIGGER。在导入后可能会有一些状态是INVALID的PROC
EDURE,主要 
是IMPORT时会影响一些数据库对象,而IMPORT并不重新编译PROCEDURE,从而造成
这种情况, 
可以重新编译之,就能解决这个问题。 

5、兼容性问题 
IMPORT工具可以处理EXPORT 5.1.22之后的版本导出的DUMP文件,所以你用ORACL
E7的IMPORT 
处理ORACLE6的DUMP文件,依次类推,但是ORACLE如果版本相差很大有可能不能处
理。具体的 
问题可以参照相应的文档,比如有关参数设置等(COMPATIBLE参数) 

6、EXPORT需要的VIEW 
EXPORT需要的VIEW是由CATEXP.SQL创建,这些内部VIEW用于EXPORT组织DUMP文件
中数据格式。 
大部分VIEW用于收集创建DDL语句的,其他的主要供ORACLE开发人员用。 

这些VIEW在不同ORACLE版本之间有可能不同,每个版本可能都有新的特性加入。
所以在新的 
版本里面执行旧的dump文件会有错误,一般可以执行CATEXP.SQL解决这些问题,
解决向后兼容 
问题的一般步骤如下: 
  导出数据库的版本比目标数据库老的情况: 
  - 在需要导入的目标数据库中执行旧的CATEXP.SQL 
  - 使用旧的EXPORT导出DUMP文件  
  - 使用旧的IMPORT导入到数据库中 
  - 在数据库中执行新的CATEXP.SQL,以恢复该版本的EXPORT VIEW 

  导出数据库的版本比目标数据库新的情况: 
  - 在需要导入的目标数据库中执行新的CATEXP.SQL 
  - 使用新的EXPORT导出DUMP文件  
  - 使用新的IMPORT导入到数据库中 
  - 在数据库中执行旧的CATEXP.SQL,以恢复该版本的EXPORT VIEW 

7、碎片整理 
EXPORT/IMPORT一个很重要的应用方面就是整理碎片。因为如果时初次IMPPORT,

就会重新CREATE TABLE 再导入数据,所以整张表都是连续存放的。另外缺省情况

下EXPORT会在生成DUMP文件是“压缩(COMPRESS)”TABLE,但是这种压缩在很多情

况下被误解。事实上,COMPRESS是改变STORAGE参数INITIAL的值。比如: 

  CREATE TABLE .... STORAGE( INITIAL 10K NEXT 10K..) 
  现在数据已经扩展到100个EXTENT,如果采用COMPRESS=Y来EXPORT数据, 
  则产生的语句时 STORAGE( INITIAL 1000K NEXT 10K) 

  我们可以看到NEXT值并没有改变,而INITIAL是所有EXTENT的总和。所以会出现

如下情况,表A有4个100M的EXTENT,执行DELETE FROM A,然后再用COMPRESS=Y 导

出数据,产生的CREATE TABLE语句将有400M的INITIAL EXTENT。即使这是TABLE中

已经没有数据!!这是的DUMP文件即使很小,但是在IMPORT时就会产生一个巨大
的 
TABLE. 

  另外,也可能会超过DATAFILE的大小。比如,有4个50M的数据文件,其中表A有

15个10M的EXTENT,如果采用COMPRESS=Y的方式导出数据,将会有INITIAL=150M,

那么在重新导入时,不能分配一个150M的EXTENT,因为单个EXTENT不能跨多个文
件。 

8、在USER和TABLESPACE之间传送数据 
一般情况下EXPORT的数据要恢复到它原来的地方去。如果SCOTT用户的表以TABLE

或USER方式EXPORT数据,在IMPORT时,如果SCOTT用户不存在,则会报错! 

以FULL方式导出的数据带有CREATE USER的信息,所以会自己创建USER来存放数据
。 

当然可以在IMPORT时使用FROMUSER和TOUSER参数来确定要导入的USER,但是要保
证 
TOUSER一定已经存在啦。 

9、EXPORT/IMPORT对SQUENCE的影响 
在两种情况下,EXPORT/IMPORT会对SEQUENCE。 
(1)如果在EXPORT时,用户正在取SEQUENCE的值,可能造成SEQUENCE的不一致。

(2)另外如果SEQUENCE使用CACHE,在EXPORT时,那些在CACHE中的值就会被忽略
的, 
     只是从数据字典里面取当前值EXPORT。 

如果在进行FULL方式的EXPORT/IMPORT时,恰好在用sequence更新表中某列数据,

而且不是上面两种情况,则导出的是更新前的数据。 

如果采用常规路径方式,每一行数据都是用INSERT语句,一致性检查和INSERT T
RIGGER 
如果采用DIRECT方式,某些约束和trigger可能不触发,如果在trigger中使用 
sequence.nextval,将会对sequence有影响。

--------------------------------------------------------------------------------------------------------------------------

开始导入

1。创建用户DBUSRPUB

SQL> CREATE USER DBUSRPUB IDENTIFIED BY HANDHAND;

2。创建表空间

SQL> CREATE TABLESPACE DATA_SPC

      2  DATAFILE 'E:\DATA_SPC.DBF' 1024M

      3 AUTOEXTEND ON

      4 NEXT 500M

      5 MAXSIZE 2048M

      6 EXTEND MANAGEMENT LOCAL;

SQL> CREATE TABLESPACE IDX_SPC

      2  DATAFILE 'E:\DATA_SPC.DBF' 1024M

      3 AUTOEXTEND ON

      4 NEXT 500M

      5 MAXSIZE 2048M

      6 EXTEND MANAGEMENT LOCAL;

3。给DBUSRPUB赋予SYSDBA权限以及相关权限

SQL> CONNECT SYS/HANDHAND@ORCL AS SYSDBA

SQL> GRANT SYSDBA, TO DBUSRPUB;

4。分析字符集

遗留系统字符集使用的是WE8ISO8859P1,自己的数据库用的是ZHS16GBK。如果盲目进行数据导入,将会有一部分数据无法导入。原因就在两个字符集,可以通过以下的两个实例看到他们分别占用的字节数。

SQL> select dump('你好',16) from dual;

DUMP('你好',16)
-------------------------
Typ=96 Len=4: c4,e3,ba,c3

SQL> select dump(convert('你好','ZHS16GBK','WE8ISO8859P1'),16) from dual;

DUMP(CONVERT('你好','UTF8','WE8ISO88
------------------------------------
Typ=1 Len=7:a3,bf,a3,bf,6f,a3,bf

在ZHS16GBK中,你好字符占用了4个字节,而在WE8ISO8859P1中却占用了7个字节。这样看来,如果盲目进行导入。因为从上面的准备知识中也可以知道DUMP文件导入是会先建立表结构,这样以来,由于字符集不同,就会造成字段长度不够的错误信息。导入终止。

5。修改本地数据库字符集

首先查看当前数据库的字符集

SQL>SELECT VALUE, PARAMETER
      2 FROM NLS_DATABASE_PARAMETERS
      3 WHERE PARAMETER IN ('NLS_LANGUAGE', 'NLS_TERRITORY', 'NLS_CHARACTERSET');

VALUE                    PARAMETER

-------------------     -------------------

1    AMERICAN    NLS_LANGUAGE
2    AMERICA      NLS_TERRITORY
3    ZHS16GBK    NLS_CHARACTERSET

需要把字段NLS_CHARACTERSET更新为WE8ISO8859P1.

----------------------------------------方法一----------------------------------------------

      1).以SYS用户登录:CONNECT SYS/HANDHAND@ORCL AS SYSDBA;

      2).SQL>ALTER SESSION SET SQL_TRACE=TRUE;
          SQL>ALTER SYSTEM ENABLE RESTRICTED SESSION;
          SQL>ALTER SYSTEM SET JOB_QUEUE_PROCESSES=0;
          SQL>ALTER SYSTEM SET AQ_TM_PROCESSES=0;
          SQL>ALTER  DATABASE  CHARACTER  SET  INTERNAL_USE  WE8ISO8859P1

      3).重启数据库

----------------------------------------方法二-----------------------------------------------

      1).以SYS用户登录:CONNECT SYS/HANDHAND@ORCL AS SYSDBA;

      2).SQL>UPDATE PROPS$ SET VALUE$='WE8ISO8859P1' WHERE NAME='NLS_CHARACTERSET';
      3).重启数据库

6。开始导入DUMP

1).进入命令行模式

输入D:\oracledev10g\bin\imp.exe file=I:\GOODSBASE.DMP FULL=Y
用户名:DBUSRPUB/HANDHAND@ORCL AS SYSDBA

也可以使用

D:\oracledev10g\bin\imp.exe DBUSRPUB/HANDHAND@ORCL file=I:\GOODSBASE.DMP FULL=Y

7。客户端字符集更改

虽然导入数据不报错,但是如果客户端,如PL/SQL字符集没有设置好,同样不能看到正常的字符串。

运行-REGEDIT-HKEY_LOCAL_MACHINE\SOFTWARE\ORACLE\KEY_DevSuiteHome1-NLS_LANG
修改文件为WE8ISO8859P1

8。将导入到本地数据库的GOODSBASE导出为CSV格式文件。

 

 

关于作者:

昵称:harrodzhang
档案信息:
联系方式:你可以通过harrod.zhang@hand-china.com联系作者
点击查看harrodzhang发表过的所有文章...
本文永久链接: http://blog.retailsolution.cn/archives/1701

 

 

对本文的评价:

1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
Loading ... Loading ...

 

 

分类: 数据转换 标签:
  1. 本文目前尚无任何评论.
  1. 本文目前尚无任何 trackbacks 和 pingbacks.
您必须在 登录 后才能发布评论.