Podczas pracy z Apache Kafka może zdarzyć się sytuacja, gdy będziemy potrzebowali usunać dane z topic'u, bo np. podczas testów zostały wysłane śmieciowe dane, a nie mieliśmy jeszcze zaimplementowanej obsługi…
W tym poście spórbuję przedstawić Ci główną różnice pomiędzy metodami ReduceByKey i GroupByKey i dlaczego powinieneś unikać tej drugiej. A dlaczego? Odpowiedź kryję się pod pojęciem "shuffe". Shuffle W środowisku…
W tym poście pokaże Ci jak w 5 minut stworzyć w pełni działające środowisko, w którego skład wejdą: Apache Airflow WebServerApache Airflow WorkerApache Airflow SchedulerFlower - internetowe narzędzie do monitorowania…
W dzisiejszym świecie bardzo często spotykamy się z wymaganiami dotyczącymi przetwarzania danych w czasie rzeczywistym. Na rynku istnieje dość sporo narzędzi, które nam to pozwalają osiągnąć. W czołówce możemy wyróżnić:…
W tym krótkim poście zademonstruję Ci jaki sposób możesz zmienić nazwę pliku/plików tworzonych przez Apache Spark na HDFS lub po prostu zmienić nazwę lub usunąć dowolny plik.
W tym poście pokażę Ci w jaki sposób uruchomić komendę shell programując w Scali oraz jak możesz to wykorzystać w Apache Spark.
Jeśli chce zapisać DataFrame jako plik na HDFS to może się pojawić problem, że zostanie on zapisany w postaci wielu plików. Jest to jak najbardziej poprawne zachowanie i wynika to ze zrównoleglania pracy w Apache Spark.
Wykorzystamy do tego klase FileSystem oraz Path z biblioteki org.apache.hadoop.fs.
Cloudera jest jednym z trzech głównych graczy na rynku obok Hortonworks i MapR, który dostarcza dystrybucję ogólnopojętego Hadoopa.
Dziś przedstawię Ci w jaki sposób możesz wykorzystać biblioteki uczenia maszynowego (ML - Machine Learning), które są dostępne w Spark'u jako biblioteka pod nazwą Spark MLib.
