從Oracle用goldengate抽取數(shù)據(jù)到kafka-創(chuàng)新互聯(lián)
Goldengate到kafka配置詳解
環(huán)境介紹：
| 源端數(shù)據(jù)庫版本 | 源端OGG版本 | 目標(biāo)端OGG版本 | Kafka集群 | 目標(biāo)端數(shù)據(jù)庫GP |
| 11.2.0.3 | 12.2.0.1.1 | ggs_Adapters_Linux_x64 |
|
|
|
|
| 切記OGG版本是for big data |
|
|
|
|
| 12.3.0.1.0 |
|
|
源端配置：
1.1安裝OGG軟件。
OGG軟件不做要求12版本即可
配置MGR
PORT 7810
DYNAMICPORTLIST 7811-7914
AUTORESTART REPLICAT dpe*, WAITMINUTES 1, RETRIES 5
AUTORESTART REPLICAT ext*, WAITMINUTES 1, RETRIES 5
PURGEOLDEXTRACTS /home/ogg/kafka_ogg/dirdat/kf*,USECHECKPOINTS, minkeephours 6
配置ext抽取進(jìn)程參數(shù)：
EXTRACT extkaf
--setenv (NLS_LANG="AMERICAN_AMERICA.AL32UTF8")
setenv (ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1)
userid goldengate@ogg ,password Golden_1230
--getupdatebefores
GETTRUNCATES
REPORTCOUNT EVERY 15 MINUTES, RATE
DISCARDFILE ./dirrpt/extkaf.dsc,APPEND,MEGABYTES 1024
--THREADOPTIONS MAXCOMMITPROPAGATIONDELAY 90000 IOLATENCY 90000
DBOPTIONS ALLOWUNUSEDCOLUMN
--WARNLONGTRANS 2h,CHECKINTERVAL 3m
EXTTRAIL ./dirdat/kf
-- TRANLOGOPTIONS CONVERTUCS2CLOBS
TRANLOGOPTIONS EXCLUDEUSER goldengate
TRANLOGOPTIONS DBLOGREADER
-- TRANLOGOPTIONS _noReadAhead Any
--DYNAMICRESOLUTION
Table schema1.tablename1;
Table schema1.tablename2;
Table schema1.tablename3 ;
Table4schema1.tablename4;
配置投遞進(jìn)程：
extract dpekaf
rmthost 172.31.31.10,mgrport 7810
passthru
numfiles 500
rmttrail /home/ogg/kafka_ogg/dirdat/kf
------------------------------------------------------------
Table schema1.tablename1;
Table schema1.tablename2;
Table schema1.tablename3 ;
Table4schema1.tablename4;
-----===========================目標(biāo)端配置==================
Goldengate for big data
目標(biāo)端配置MGR：
PORT 7810
DYNAMICPORTLIST 7811-7914
AUTORESTART REPLICAT rep*, WAITMINUTES 1, RETRIES 5
PURGEOLDEXTRACTS /home/ogg/kafka_ogg/dirdat/kf*,USECHECKPOINTS, minkeephours 6
配置replicat進(jìn)程：
入庫進(jìn)程1：
replicat repykaf1
--setenv (JAVA_HOME=/home/ogg/jdk1.8.0_111)
--setenv (JRE_HOME=/home/ogg/jdk1.8.0_111/jre)
--setenv (PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH)
--setenv (CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib)
--setenv (LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/home/ogg/kafka_ogg/lib)
--getenv (JAVA_HOME)
--getenv (JRE_HOME)
--getenv (CLASSPATH)
--getenv (LD_LIBRARY_PATH)
--getenv (PATH)
TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka1.props
GETTRUNCATES
REPORTCOUNT EVERY 1 MINUTES ,RATE
GROUPTRANSOPS 1000
Table schema1.tablename1;
入庫進(jìn)程2：
replicat repykaf2
--setenv (JAVA_HOME=/home/ogg/jdk1.8.0_111)
--setenv (JRE_HOME=/home/ogg/jdk1.8.0_111/jre)
--setenv (PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH)
--setenv (CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib)
--setenv (LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/home/ogg/kafka_ogg/lib)
--getenv (JAVA_HOME)
--getenv (JRE_HOME)
--getenv (CLASSPATH)
--getenv (LD_LIBRARY_PATH)
--getenv (PATH)
TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka2.props
GETTRUNCATES
REPORTCOUNT EVERY 1 MINUTES ,RATE
GROUPTRANSOPS 1000
Table schema1.tablename2;
入庫進(jìn)程3：
replicat repykaf3
--setenv (JAVA_HOME=/home/ogg/jdk1.8.0_111)
--setenv (JRE_HOME=/home/ogg/jdk1.8.0_111/jre)
--setenv (PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH)
--setenv (CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib)
--setenv (LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/home/ogg/kafka_ogg/lib)
--getenv (JAVA_HOME)
--getenv (JRE_HOME)
--getenv (CLASSPATH)
--getenv (LD_LIBRARY_PATH)
--getenv (PATH)
TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka3.props
GETTRUNCATES
REPORTCOUNT EVERY 1 MINUTES ,RATE
GROUPTRANSOPS 1000
Table schema1.tablename3;
入庫進(jìn)程4：
replicat repykaf4
--setenv (JAVA_HOME=/home/ogg/jdk1.8.0_111)
--setenv (JRE_HOME=/home/ogg/jdk1.8.0_111/jre)
--setenv (PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH)
--setenv (CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib)
--setenv (LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/home/ogg/kafka_ogg/lib)
--getenv (JAVA_HOME)
--getenv (JRE_HOME)
--getenv (CLASSPATH)
--getenv (LD_LIBRARY_PATH)
--getenv (PATH)
TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka4.props
GETTRUNCATES
REPORTCOUNT EVERY 1 MINUTES ,RATE
GROUPTRANSOPS 1000
Table schema1.tablename4;
配置去kafka的參數(shù)文件
我的OGG解壓目錄是：kafka_ogg
在OGG的解壓目錄下有：AdapterExamples 文件夾
cp /home/ogg/kafka_ogg/AdapterExamples/big-data/kafka/* /home/ogg/kafka_ogg/dirprm/
編輯：
Vi custom_kafka_producer.properties
###bootstrap.servers=ip:端口,ip:端口 例子
bootstrap.servers=172.31.31.10:6667,172.31.31.11:6667,172.31.31.12:6667,172.31.31.13:6667
acks=1
reconnect.backoff.ms=1000
compression.type=gzip
value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
# 100KB per partition
batch.size=102400
linger.ms=10000
max.request.size=10240000
send.buffer.bytes=10240000
編輯
Kafka1.props
gg.handlerlist = kafkahandler
gg.handler.kafkahandler.type=kafka
gg.handler.kafkahandler.KafkaProducerConfigFile=custom_kafka_producer.properties
gg.handler.kafkahandler.topicMappingTemplate=topic-name
（這里寫你創(chuàng)建的topic name ）
gg.handler.kafkahandler.format=json
gg.handler.kafkahandler.BlockingSend =false
gg.handler.kafkahandler.includeTokens=false
gg.handler.kafkahandler.mode=tx
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=INFO
gg.report.time=30sec
gg.classpath=dirprm/:/home/ogg/kafka_ogg/ggjava/resources/lib/*:/usr/hdp/2.4.0.0-169/kafka/libs/*
javawriter.bootoptions=-Xmx512m -Xms32m -Djava.class.path=ggjava/ggjava.jar
goldengate.userexit.utf8mode=true
gg.handler.kafkahandler.keyMappingTemplate=HH
gg.handler.kafkahandler.format.includePrimaryKeys=true
分享題目：從Oracle用goldengate抽取數(shù)據(jù)到kafka-創(chuàng)新互聯(lián)
鏈接地址：http://bm7419.com/article14/gjede.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、營銷型網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站、網(wǎng)站排名、網(wǎng)站內(nèi)鏈、品牌網(wǎng)站制作
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容
- 如何配置linux服務(wù)器-創(chuàng)新互聯(lián)
- 如何利用SpringMVC+MyBatis搭建一個Web開發(fā)框架-創(chuàng)新互聯(lián)
- 使用IDEA怎么模擬一個Servlet網(wǎng)絡(luò)請求-創(chuàng)新互聯(lián)
- Pycharm如何修改python路徑-創(chuàng)新互聯(lián)
- jenkins連接Kubernetes的方法-創(chuàng)新互聯(lián)
- Symfony模板中快捷變量怎么用-創(chuàng)新互聯(lián)
- windows下.bat程序開機(jī)自啟動的幾種方法-創(chuàng)新互聯(lián)
- Google搜索排名怎么提升? 2015-01-12
- 讓GOOGLE收錄你的網(wǎng)站？ 2016-06-15
- google搜索引擎優(yōu)化什么時間做效果最好？ 2015-01-12
- 百度與Google做SEO的方式不同，主要有兩大因素：算法和搜索結(jié)果頁。 2016-02-27
- 海外推廣：提升外貿(mào)網(wǎng)站google排名的4個方向 2016-04-01
- 如何有效提高Google自然搜索中網(wǎng)站關(guān)鍵詞的排名 2014-02-26
- 如何使用 Google Play 應(yīng)用內(nèi)購買結(jié)算功能銷售訂閱內(nèi)容 2015-02-06
- Google優(yōu)化是谷歌推廣的最佳選擇嗎？ 2015-01-12
- google海外推廣：精準(zhǔn)關(guān)鍵詞如何選擇 2016-03-10
- 分享幾個Google搜索優(yōu)化的基本技巧方法 2016-04-15
- 新版Google Fonts，多種字體供網(wǎng)站建設(shè)者免費使用 2019-09-26
- 外貿(mào)網(wǎng)站針對Google優(yōu)化的全過程分析 2016-03-26