Apache Airflow & CeleryExecutor, PostgreSQL & Redis: Uruchom środowisko przy użyciu Docker-Compose w 5 minut!
Photo by Drew Beamer on Unsplash

Apache Airflow & CeleryExecutor, PostgreSQL & Redis: Uruchom środowisko przy użyciu Docker-Compose w 5 minut!

W tym poście pokaże Ci jak w 5 minut stworzyć w pełni działające środowisko, w którego skład wejdą: Apache Airflow WebServerApache Airflow WorkerApache Airflow SchedulerFlower - internetowe narzędzie do monitorowania…

Czytaj dalej Apache Airflow & CeleryExecutor, PostgreSQL & Redis: Uruchom środowisko przy użyciu Docker-Compose w 5 minut!

Talend: Kafka i MongoDB – strumień danych

W dzisiejszym świecie bardzo często spotykamy się z wymaganiami dotyczącymi przetwarzania danych w czasie rzeczywistym. Na rynku istnieje dość sporo narzędzi, które nam to pozwalają osiągnąć. W czołówce możemy wyróżnić:…

Czytaj dalej Talend: Kafka i MongoDB – strumień danych

Apache Spark: Jak zapisać DataFrame w postaci jednego pliku na HDFS?

Jeśli chce zapisać DataFrame jako plik na HDFS to może się pojawić problem, że zostanie on zapisany w postaci wielu plików. Jest to jak najbardziej poprawne zachowanie i wynika to ze zrównoleglania pracy w Apache Spark.

Czytaj dalej Apache Spark: Jak zapisać DataFrame w postaci jednego pliku na HDFS?