Podczas pracy z Apache Kafka może zdarzyć się sytuacja, gdy będziemy potrzebowali usunać dane z topic'u, bo np. podczas testów zostały wysłane śmieciowe dane, a nie mieliśmy jeszcze zaimplementowanej obsługi…
W dzisiejszym świecie bardzo często spotykamy się z wymaganiami dotyczącymi przetwarzania danych w czasie rzeczywistym. Na rynku istnieje dość sporo narzędzi, które nam to pozwalają osiągnąć. W czołówce możemy wyróżnić:…
W tym krótkim poście zademonstruję Ci jaki sposób możesz zmienić nazwę pliku/plików tworzonych przez Apache Spark na HDFS lub po prostu zmienić nazwę lub usunąć dowolny plik.
W tym poście pokażę Ci w jaki sposób uruchomić komendę shell programując w Scali oraz jak możesz to wykorzystać w Apache Spark.
Jeśli chce zapisać DataFrame jako plik na HDFS to może się pojawić problem, że zostanie on zapisany w postaci wielu plików. Jest to jak najbardziej poprawne zachowanie i wynika to ze zrównoleglania pracy w Apache Spark.
Wykorzystamy do tego klase FileSystem oraz Path z biblioteki org.apache.hadoop.fs.
Cloudera jest jednym z trzech głównych graczy na rynku obok Hortonworks i MapR, który dostarcza dystrybucję ogólnopojętego Hadoopa.
Dziś przedstawię Ci w jaki sposób możesz wykorzystać biblioteki uczenia maszynowego (ML - Machine Learning), które są dostępne w Spark'u jako biblioteka pod nazwą Spark MLib.
W tym samouczku pokażę ci, jak możesz łatwo zainstalować Apache Spark na systemie operacyjnym CentOs
Prosta krótka wskazówka, jak sprawdzić, czy tabela istnieje w Hive za pomocą Sparka
