spark如何寫入hive數(shù)據(jù)-創(chuàng)新互聯(lián)

這篇文章將為大家詳細(xì)講解有關(guān)spark如何寫入hive數(shù)據(jù)，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)建站于2013年成立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元平輿做網(wǎng)站,已為上家服務(wù),為平輿各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18980820575

package hgs.spark.hive
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.SaveMode
import org.apache.spark.sql.types.StructField
import org.apache.spark.sql.types.StructType
import org.apache.spark.sql.types.IntegerType
import org.apache.spark.sql.types.StringType
import org.apache.spark.sql.Row
object WriteDatatoHive {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("WriteDatatoHive").setMaster("local")
    val context = new SparkContext(conf)
    val rdd = context.parallelize(List(("wd",22),("cm",25)), 2).map(x=>Row(x._1,x._2))
    val builder = SparkSession.builder()
           .appName("hiveApp")
           .config("spark.sql.warehouse.dir","hdfs://bigdata00:9000/user/hive/warehouse/")
           .enableHiveSupport()
           .getOrCreate()
    //import builder.implicits._
    
    
    import builder.implicits._
    
   val personShcema = StructType(
    List(
        //下面為一個(gè)列的描述，分別為 列名，數(shù)據(jù)類型，是否為空
        StructField("name",StringType,true),
        StructField("age",IntegerType,true)
     )    
    )
    
    val personDF = builder.createDataFrame(rdd, personShcema)
    personDF.createOrReplaceTempView("personm")
    
    
    //這個(gè)可以存儲(chǔ)數(shù)據(jù)與hiveSQL兼容
    builder.table("personm").write.insertInto("test.person")
    
    //builder.sql("select * from personm").write.option("spark.sql.hive.convertMetastoreParquet", false)
     //.mode(SaveMode.Append).saveAsTable("test.person")
    
    context.stop()
        
  }
}
case class person(name:String,age:Int)

關(guān)于“spark如何寫入hive數(shù)據(jù)”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

新聞名稱：spark如何寫入hive數(shù)據(jù)-創(chuàng)新互聯(lián)
網(wǎng)頁URL：http://bm7419.com/article6/hchig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、靜態(tài)網(wǎng)站、定制網(wǎng)站、響應(yīng)式網(wǎng)站、網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)