MYSQL數據遷移到ORACLE中碰到的亂碼問(wèn)題的解決方法

本篇內容主要講解“數據遷移到ORACLE中碰到的亂碼問(wèn)題的解決方法”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強。下面就讓小編來(lái)帶大家學(xué)習“MYSQL數據遷移到ORACLE中碰到的亂碼問(wèn)題的解決方法”吧!

MYSQL字符集UTF8,ORACLE字符集GBK
LINUX 5.3
MYSQL 5.1
ORACLE 9208
數據行數1800W

基于這個(gè)數據量,我們首先想到的是將MYSQL數據DUMP到文本文件,再用SQLLOAD泵進(jìn)ORACLE.

但我們在第一步(MYSQL數據DUMP到文本文件,)就出現了問(wèn)題. 中文顯示為亂碼.

所以我們把首要問(wèn)題先解決: 如何讓MYSQL正確地DUMP到文本文件?

其實(shí)這個(gè)歸根還是字符集的問(wèn)題. 但在這個(gè)場(chǎng)景,我們還要考慮到MYSQL對不同的輸出方式也有不同的字符集轉換模式.

首先來(lái)我們來(lái)看一下,DUMP數據有多種方法:
1. set names gbk; select ... into outfile '/tmp/a1.txt' from test.t1;
2. mysql -uroot -h227.0.0.1 --default-character-set=gbk -e " select ... from test.t1" >>/tmp/a1.txt
3. mysqldump -uroot -h227.0.0.1 --tab "/tmp" --fields-terminated-by='&&&' --lines-terminated-by='$$$$$' --default-character-set=utf8 test t1

創(chuàng )建測試表:
set names gbk;
CREATE TABLE `t1` ( `col0` varchar(100) , `col1` varchar(100) ) ENGINE=MyISAM DEFAULT CHARSET=utf8 ;
insert into t1 values ('中國','1aaaaaa');
select * from t1;

下面我們分別來(lái)看一下,上面說(shuō)的三種方法能不能正確DUMP中文到文本文件

1. set names gbk; select * into outfile '/tmp/a1.txt' from test.t1;
========================================================================
root@127.0.0.1 : (none) 15:35:26> use test;
Database changed
root@127.0.0.1 : test 15:35:27> set names gbk;
Query OK, 0 rows affected (0.00 sec)

root@127.0.0.1 : test 15:35:30> select * from t1;
+------+---------+
| col0 | col1    |
+------+---------+
| 中國 | 1aaaaaa |
+------+---------+
1 row in set (0.00 sec)

root@127.0.0.1 : test 15:35:33> select * into outfile '/tmp/a1.txt' from test.t1;
Query OK, 1 row affected (0.00 sec)

root@127.0.0.1 : test 15:35:53> system cat /tmp/a1.txt
涓?浗  1aaaaaa

root@127.0.0.1 : test 15:35:59> system hexdump /tmp/a1.txt
0000000 b8e4 e5ad bd9b 3109 6161 6161 6161 000a
000000f
========================================================================
注解:用MYSQL CLIENT GBK看能正常顯示中文,但OUTFILE里存的卻是UTF8的編碼數據.
    在這里猜測是:
     當數據返回給MYSQL客戶(hù)端的時(shí)候, 數據經(jīng)過(guò)character_set_results=gbk的轉換.
     當數據返回給OUTFILE的時(shí)候,是直接DUMP數據.(經(jīng)過(guò)測試,character_set_results不管設成什么,都不影響OUTFILE生成的結果)

2. mysql  -e "select .." >> /tmp/a2.txt
========================================================================
[root@PerfTestDB1 tmp]#  mysql -uroot -h227.0.0.1 -N -s --default-character-set=gbk -e " select * from test.t1" >/tmp/a2.txt
[root@PerfTestDB1 tmp]# more /tmp/a2.txt
中國    1aaaaaa
[root@PerfTestDB1 tmp]# hexdump /tmp/a2.txt
0000000 d0d6 fab9 3109 6161 6161 6161 000a    
000000d
========================================================================
注解:在這里能正常DUMP出來(lái),是因為返回給MYSQL CLIENT的時(shí)候,已經(jīng)經(jīng)過(guò)character_set_results=gbk的轉換.
  這個(gè)相當于第一種方法里的前半部分,直接查看(select * from t1;)

3. mysqldump  (這種方式將會(huì )產(chǎn)生文件: .sql--建表語(yǔ)句  .txt--數據)
========================================================================
[root@PerfTestDB1 tmp]# mysqldump -uroot -h227.0.0.1 --tab "/tmp" --fields-terminated-by='&&&' --lines-terminated-by='$$$$$' --default-character-set=gbk test t1
[root@PerfTestDB1 tmp]# more t1.txt
涓?浗&&&1aaaaaa$$$$$
[root@PerfTestDB1 tmp]# hexdump t1.txt
0000000 b8e4 e5ad bd9b 2626 3126 6161 6161 6161
0000010 2424 2424 0024                        
0000015
========================================================================
注解: 不管上面的--default-character-set設成GBK/UTF8/LATIN1,導出的結果都是一致的.
     其實(shí)這也說(shuō)明這種方式也是直接將表的真實(shí)數據編碼直接DUMP出來(lái),而沒(méi)有經(jīng)過(guò)轉換.
     為了進(jìn)一步證明上述的說(shuō)法.我STRACE了一下第2,第3兩種方法.
     strace mysql -uroot -h227.0.0.1 -N -s --default-character-set=gbk -e " select * from test.t1" > /tmp/mysql.log
     strace mysqldump -uroot -h227.0.0.1 --tab "/tmp" --fields-terminated-by='&&&' --lines-terminated-by='$$$$$' --default-character-set=gbk test t1 >>/tmp/mysqldump.log

     通過(guò)查看日志文件:/tmp/mysql.log /tmp/mysqldump.log  ,發(fā)現在mysql.log中.有這么一段:  
     -----------------------------------------------------
     munmap(0xb7f4e000, 4096)                = 0
     stat64("/usr/share/mysql/charsets/Index.xml", {st_mode=S_IFREG|0755, st_size=18173, ...}) = 0
     open("/usr/share/mysql/charsets/Index.xml", O_RDONLY|O_LARGEFILE) = 3
     read(3, "<?xml version='1.0' encoding="ut"..., 18173) = 18173
     close(3)    
     -----------------------------------------------------
     我想這正是MYSQL在做字符集轉換. 而在mysqldump.log中沒(méi)有找到.

再進(jìn)一步跟蹤另一種MYSQLDUMP備份方法(導成SQL語(yǔ)句).
     strace mysqldump -uroot -h227.0.0.1 --default-character-set=gbk test t1 >> mysqldump1.log
     你是不是發(fā)現在這里又出現了上面那一段?  (可以搜索:/usr/share/mysql/charsets/Index.xml)

4.小結.

經(jīng)過(guò)以上的測試. 那么現在我們可以知道,想要中文正確的顯示在文本文件里.有兩種方法:
1) mysql -uroot -h227.0.0.1 -N -s --default-character-set=gbk -e " select * from test.t1" >/tmp/a2.txt
2) select convert(name USING gbk) into outfile '/tmp/a21.txt' from test.t1 ;