Konfiguracja Apache Spark oraz Scala i IntelliJ IDEA

Konfiguracja Apache Spark oraz Scala i IntelliJ IDEA

Cześć! Zakładam, że masz już zainstalowany u siebie program IntelliJ IDEA. Jeśli nie to proszę udaj się do oficjalnej strony i pobierz wersje community.

1. Insjalacja wtyczek SBT oraz Scala w IntelliJ

Aby zainstalować brakujące wtyczki przejdź do: Plugins–>Browse repositories i zainstaluj kolejno wtyczki SBT oraz Scala. Gdy już wszystkie wtyczki zostaną zainsalowane zrób restart IntelliJ.



2. Stwórz project Scala

Kliknij “Create new project” oraz wybierz moduł “Scala–>sbt”.


W następnym oknie ustaw nazwę projektu oraz wybierz poprawną wersje Scali. Dla Sparka w wersji 2.3.1 wersja Scali to 2.11.x. Ja wybrałem 2.11.8


3. Dodaj biblioteki Sparka do projektu

Otwórz plik build.sbt i dodaj następujące biblioteki. Upewnij się, że po dodaniu bibliotek zostały one pobrane. Domyślnie IntelliJ zapyta Cię przy pierwszym uruchomieniu, czy chcesz, aby import był automatyczny. Możesz wybrać tą opcję i przy kolejnym dodaniu bibliotek zostaną one pobrane automatycznie.

name := "FirstSparkScalaProject"
version := "0.1"
scalaVersion := "2.11.8"
libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.3.1",
  "org.apache.spark" %% "spark-sql" % "2.3.1"
)

4. Utwórz aplikacje Sparka

W tym momencie jesteśmy gotowi, aby utowrzyć aplikację Sparka. W tym celu stwórz nowy obiekt w Scali i jako nazwę podaj “FirstSparkApplication”. 

package com.bigdataetl

import org.apache.spark.sql.SparkSession

object FirstSparkApplication extends App {
  val spark = SparkSession.builder
    .master("local[*]")
    .appName("Word count")
    .getOrCreate()
  val data = spark.sparkContext.parallelize(
    Seq("I like Spark", "Spark is awesome", "My first Spark job is working now and is counting these words"))
  val wordCounts = data
    .flatMap(row =& gt;
  row.split(" ")
  )
  .map(word =& gt;
  (word, 1)
  )
  .reduceByKey(_ + _)
  wordCounts.foreach(println)
}

5. Uruchomienie aplikacji Sparka

Spark zostanie uruchomiony lokalnie na Twoim komputerze. Wynik działania programu powinien być taki jak poniżej.

(is,3)
(Spark,3)
(like,1)
(first,1)
(awesome,1)
(job,1)
(now,1)
(I,1)
(words,1)
(working,1)
(and,1)
(counting,1)
(these,1)
(My,1)

Jeśli spodobał Ci się ten post to napisz proszę komentarz poniżej oraz udostępnij ten post na swoim Facebook’u, Twitter’ze, LinkedIn lub innej stronie z mediami społecznościowymi.
Z góry dzięki!

Leave a Reply

avatar
  Subscribe  
Powiadom o
Close Menu