Jak sprawdzić, czy tabela istnieje w Hive używając Spark’a?

Jak sprawdzić, czy tabela istnieje w Hive używając Spark’a?

Spark 2.0 lub wyższa wersja

// Utwórz obiekt SparkSession wraz ze wsparciem Hive'a (enableHiveSupport())
val spark = SparkSession
.builder()
.appName("Check table")
.enableHiveSupport()
.getOrCreate()
// Wybierz bazę, gdzie będziesz szukał tabeli
spark.sqlContext.sql("use bigdata_etl")
spark.sqlContext.tableNames.contains("schemas")
res4: Boolean = true

Od Spark 1.6 do 2.0

// Pobierz obiekt HiveContext na podstawie obiektu SparkContext
val sparkConf = new SparkConf().setAppName("Check table")
val sc = new SparkContext(sparkConf)
val hiveContext = new HiveContext(sc)
hiveContext.sql("use bigdata_etl")
hiveContext.tableNames.contains("schemas")

Jeśli szukana tabela istnieje w odpowiedzi otrzymasz “true”, w przeciwnym razie “false”.

Jeśli spodobał Ci się ten post to napisz proszę komentarz poniżej oraz udostępnij ten post na swoim Facebook’u, Twitter’ze, LinkedIn lub innej stronie z mediami społecznościowymi.
Z góry dzięki!

Please follow and like us:

Dodaj komentarz

Close Menu
Social media & sharing icons powered by UltimatelySocial

Enjoy this blog? Please spread the word :)