自己寫的跨數(shù)據(jù)庫的表同步工具

閱讀本文大概需要 3.6 分鐘。

近期在做數(shù)據(jù)集市，遇到的痛點如下：

1、數(shù)據(jù)采集過程繁瑣，重復的腳本編寫太多。從不同的數(shù)據(jù)庫抽取數(shù)據(jù)，需要為不同的數(shù)據(jù)庫寫卸數(shù)腳本，再傳輸?shù)綌?shù)據(jù)集市文件服務器，再入庫，每一環(huán)節(jié)都需要調(diào)度。

2、不同的數(shù)據(jù)庫寫不同的 shell 腳本，沒法復用，開發(fā)效率低。

于是我寫了這個數(shù)據(jù)庫同步工具，如果你是做數(shù)據(jù)倉庫或數(shù)據(jù)集市的，可能對你有所幫助。

為什么我使用 Java 不使用 Python，因為服務器都已經(jīng)有了 Java，但沒有 Python，安裝 Python 需要編譯，就需要 root 權(quán)限，這就需要運維幫忙，還需要有正當?shù)睦碛桑胂胩闊┚褪褂?Java 吧。我想說的是，百萬級別的數(shù)據(jù)抽取，Java 雖然快了幾秒，但寫 Java 耗費了我不少業(yè)余時間，Python 開發(fā)肯定更節(jié)省自己的時間。

你也許會說 Python 也有免安裝的版本，是的，雖然解決了 Python 解釋器的編譯安裝問題，但部分三方庫仍然需要編譯，這就可能遇到缺失 so 文件，dll 文件，在沒有網(wǎng)絡的環(huán)境下，十分麻煩。有網(wǎng)絡的情況下，這都不是問題，Python 依然是我最常用的編程語言。

java 程序編寫，真正跨平臺。本程序的最大用處就是構(gòu)建集市或數(shù)倉所需要的基礎(chǔ)層數(shù)據(jù)源。

簡單的傳入一定的參數(shù)，即可跨數(shù)據(jù)庫實現(xiàn)以下功能：

結(jié)合調(diào)度工具，您可以輕松搭建一個數(shù)據(jù)倉庫或集市。

目前項目已經(jīng)投入生產(chǎn)使用 ，歡迎感興趣的朋友一起加入。

數(shù)據(jù)庫的信息寫在配置文件中，計劃支持各種主流關(guān)系型數(shù)據(jù)庫，如 MysqL、Db2、Oracle、PostgreSQL。

程序運行前確保已安裝 java 1.8 或后續(xù)版本，已經(jīng)安裝 maven，如果沒有請安裝一下，網(wǎng)上到處都是安裝教程。然后 clone 源碼，打包：

程序名稱叫 database-sync，運行方式是這樣的：

幫助說明：

[] 中括號里的內(nèi)容表示選填，例如 [options] 表示 options 下的參數(shù)不是必須的。

1、其中 options 參數(shù)解釋如下：

--simple 或者 -s : 簡單模式，此時只進行數(shù)據(jù)傳輸，不進行表構(gòu)的同步。

--from_fields=col1,col2 或者 -ff=col1,col2 : 指定原表的字段序列，注意 = 前后不能有空格。

--to_fields=col3,col4 或者 -tf=col3,col4 : 指定目標表的字段序列，注意 = 前后不能有空格。

2、whereClause 表示 where 條件，用于增量更新，程序再插入數(shù)據(jù)前先按照 where 條件進行清理數(shù)據(jù)，然后按照 where 條件從原表進行讀取數(shù)據(jù)。whereClause 最好使用雙引號包起來，表示一個完整的參數(shù)。如："jyrq='2020-12-31'"

{} 大括號里的內(nèi)容表示必填。

fromDb 是指配置在 config.json 的數(shù)據(jù)庫信息，假如有以下配置文件：

則 fromDb、toDb 可以是 aarondb 或者 postgres。

配置文件位于 config/config.json，如下所示：

配置文件說明：

buffer-rows 表示讀取多少行時一塊寫入目標數(shù)據(jù)庫，根據(jù)服務器內(nèi)存大小自己做調(diào)整，100000 行提交一次滿足大多數(shù)情況了。 encoding 用于表結(jié)構(gòu)同步，相同的字段，utf-8 庫的字符串長度應該是 gbk 庫字符串長度的 2 倍，這樣才可以解決字符串含有中文的問題，為什么是 2 倍？為了字符串的長度不會出現(xiàn)小數(shù)位。

提高數(shù)據(jù)庫間表的同步效率，如果是輕加工，就丟掉低效的 datastage 和 kettle 吧。

關(guān)注「Python七號」后臺回復「同步」獲取源碼。