pySpark ( MariaDB to Hadoop )

개발 서버에 스파크(pySpark)를 활용하여 위와 같은 파이프라인을 구성하였습니다.

 

Rdb의 테이블 데이터를 Hadoop에 append 형식으로 저장합니다. 

스케줄 코드를 입력하면 원하는 시간마다 데이터를 전송할 수 있습니다. 

 

MariaDB_to_Hadoop

from pyspark.sql import SparkSession
 
appName = "PySpark Example - MariaDB Example"
master = "local"
# Create Spark session
spark = SparkSession.builder \
    .appName(appName) \
    .master(master) \
    .getOrCreate()
spark.sparkContext.setLogLevel('ERROR')
 
# sql = "select * from test.post_spark"
 
# Create a data frame by reading data from Oracle via JDBC
df = spark.read.format("jdbc") \
    .option("header",True) \
    .option("url","jdbc:mariadb://10.65.41.140:3306/test") \
    .option("driver", "org.mariadb.jdbc.Driver") \
    .option("dbtable", "post_spark") \
    .option("user", "root") \
    .option("password", " ") \
    .load()
 
df.show()
 
df1 = df.write.format("csv") \
.option("truncate", "false") \
.mode("append") \
.option("checkpointLocation", "/check") \
.option("path", "/test/airtest") \
.save()

 

> 스파크를 통해 전송한 MariaDB 테이블 

 

> Hadoop에 append 속성을 통해 파일 형식으로 추가되는 데이터 

 

> Hadoop에 저장된 데이터 형식