Apache Spark Scala IntelliJ: Konfiguracja Apache Spark oraz Scala i IntelliJ IDEA – 5 prostych kroków!

You are currently viewing Apache Spark Scala IntelliJ: Konfiguracja Apache Spark oraz Scala i IntelliJ IDEA – 5 prostych kroków!
Share This Post, Help Others, And Earn My Heartfelt Appreciation! :)
4.8
(134)

Apache Spark Scala IntelliJ: Cześć! Zakładam, że masz już zainstalowany u siebie program IntelliJ IDEA. Jeśli nie to proszę udaj się do oficjalnej strony i pobierz wersje community.

1. Instalacja wtyczek SBT oraz Scala w IntelliJ

Aby zainstalować brakujące wtyczki przejdź do: Plugins–>Browse repositories i zainstaluj kolejno wtyczki SBT oraz Scala. Gdy już wszystkie wtyczki zostaną zainsalowane zrób restart IntelliJ.

Apache Spark Scala IntelliJ: Konfiguracja Apache Spark oraz Scala i IntelliJ IDEA - 4 proste kroki!

Apache Spark Scala IntelliJ:

2. Stwórz project Scala

Kliknij „Create new project” oraz wybierz moduł „Scala–>sbt”.

Apache Spark Scala IntelliJ: Konfiguracja Apache Spark oraz Scala i IntelliJ IDEA - 4 proste kroki!

W następnym oknie ustaw nazwę projektu oraz wybierz poprawną wersje Scali. Dla Sparka w wersji 2.3.1 wersja Scali to 2.11.x. Ja wybrałem 2.11.8

Apache Spark Scala IntelliJ: Konfiguracja Apache Spark oraz Scala i IntelliJ IDEA - 4 proste kroki!

3. Dodaj biblioteki Sparka do projektu

Otwórz plik build.sbt i dodaj następujące biblioteki. Upewnij się, że po dodaniu bibliotek zostały one pobrane. Domyślnie IntelliJ zapyta Cię przy pierwszym uruchomieniu, czy chcesz, aby import był automatyczny. Możesz wybrać tą opcję i przy kolejnym dodaniu bibliotek zostaną one pobrane automatycznie.

name := "FirstSparkScalaProject"
version := "0.1"
scalaVersion := "2.11.8"
libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.3.1",
  "org.apache.spark" %% "spark-sql" % "2.3.1"
)
Apache Spark Scala IntelliJ: Konfiguracja Apache Spark oraz Scala i IntelliJ IDEA - 4 proste kroki!

4. Utwórz aplikacje Sparka

W tym momencie jesteśmy gotowi, aby utowrzyć aplikację Sparka. W tym celu stwórz nowy obiekt w Scali i jako nazwę podaj „FirstSparkApplication”. 

package com.bigdataetl

import org.apache.spark.sql.SparkSession

object AnalyzerWords extends App {

  val spark = SparkSession.builder
    .master("local[*]")
    .appName("Word count")
    .getOrCreate()
  val data = spark.sparkContext.parallelize(
    Seq("I like Spark", "Spark is awesome", "My first Spark job is working now and is counting these words"))
  val wordCounts = data
    .flatMap(row => row.split(" "))
    .map(word => (word, 1))
    .reduceByKey(_ + _)
  wordCounts.foreach(println)
}

5. Uruchomienie aplikacji -> Apache Spark Scala IntelliJ

Spark zostanie uruchomiony lokalnie na Twoim komputerze. Wynik działania programu powinien być taki jak poniżej.

(is,3)
(Spark,3)
(like,1)
(first,1)
(awesome,1)
(job,1)
(now,1)
(I,1)
(words,1)
(working,1)
(and,1)
(counting,1)
(these,1)
(My,1)

Jeśli spodobał Ci się ten post to zostaw proszę komentarz poniżej lub udostępnij ten post na swoim Facebook’u, Twitter’ze, LinkedIn lub innej stronie z mediami społecznościowymi.
Dzięki!

How useful was this post?

Click on a star to rate it!

Average rating 4.8 / 5. Vote count: 134

No votes so far! Be the first to rate this post.

Subscribe
Powiadom o
guest
0 Comments
Inline Feedbacks
View all comments