W niniejszej części kursu [ Talend Wprowadzenie ] dowiesz się:
- Czym jest Talend i jakie narzędzia dostarcza
- Historia Talenda w skrócie
- Które narzędzia są bezpłatne
- Czym jest integracja danych
- Jakie korzyści daje nam Talend for Data Integration
Spis Treści
Talend wprowadzenie
Talend jest specjalistyczną grupą narzędzi zajmujących się przetwarzaniem i przygotowywaniem danym. Na rynku pojawił się w 2005 roku i jako pierwszy komercyjny dostawca przedstawił open-source’owe narzędzie do integracji danych. Od kilku lat Talend uważany jest za lidera w zakresie oprogramowania do integracji danych (Gartner Magic Quadrant). Niewątpliwie jest też jednym z najszybciej rozwijających się przedsiębiorstw dostarczających oprogramowanie w zakresie integracji danych, integracji danych Big Data oraz rozwiązaniach integracji w chmurze.
Kurs Talend
Wszystkie narzędzia możemy podzielić na dwie grupy: narzędzia dostępne z licencją Talend bądź bezpłatne narzędzia dostępne pod licencją Apache 2.0. Wszystkie bezpłatne narzędzia znane są jako Talend Open Studio (TOS). Jeśli natomiast chodzi o narzędzia licencjonowane przez Talend, mamy narzędzia do:
- integracji danych (Talend Data Integration),
- integracji dużych zbiorów danych (Talend Big Data Integration),
- zarządzania jakością danych (Talend Data Quality),
- przygotowywania danych (Talend Data Preparation),
- integracji w chmurze (Cloud Integration),
- szybkiego ładowania danych (Stitch Data Loader),
- zarządzania API (Cloud API Services).
W większości narzędzi Talend nie musisz pisać swojego kodu, większość niezbędnych operacji możesz wykonać używając gotowych komponentów typu Przeciągnij i Upuść (ang.Drag and Drop). Narzędzia podczas pracy automatycznie generują kod w języku Java, który jest dostępny dla wglądu użytkownika.
Historia Talend w skrócie
- 2005 – narodziny Talenda
F. Bonan i B. Diard zakładają przedsiębiorstwo Talend, które ma być odpowiedzią na ciągły przyrost danych oraz brak prostego narzędzia pozwalającego na integrację oraz zarządzanie danymi z jednego kokpitu.
- 2008 – pierwsza konferencja
3 lata od powstania firmy Talend zorganizował pierwszą konferencję, która zgromadziła wielu ekspertów oraz klientów, którzy mogli poznać narzędzia oraz wymienić się wiedzą oraz doświadczeniami.
- 2012 – Talend Big Data
Kilka lat później, Talend wprowadza narzędzie do gromadzenia, przetwarzania oraz zarządzania dużymi zbiorami danych (Talend Big Data). Narzędzie to jest zoptymalizowane pod kątem ustrukturyzowanych, nieustrukturyzowanych, częściowo ustrukturyzowanych i generowanych maszynowo danych.
- 2015 – Talend Coud
W 2015 roku Talend wprowadza kolejne rozwiązanie do integracji danych w chmurze. Rozwiązanie działa jako platforma iPaaS (ang. Integration Platform-as-a-Service) umożliwiając zarówno integrację hybrydową, jak i w chmurze.
- 2016 – giełda NASDAQ (TLND)
Rok później, Talend wchodzi na giełdę NASDAQ (TLND)
Talend Open Studio
Talend Open Studio, zgodnie z End User Software and Subscription Agreement, jest to grupa specjalistycznych, open -source narzędzi dostępnym pod licencją Apache 2.0. Do narzędzi TOS zaliczamy:
- Open Studio for Data Integration,
- Open Studio for Big Data,
- Data Preparation – Free Deskop,
- Open Studio for ESB,
- Open Studio for Data Quality,
- Stitch Data Loader.
Integracja danych
Ze względu, że niniejsze szkolenie dotyczy TOS for Data Integration, przybliżmy pojęcie integracji danych.
Integracja danych, najprościej mówiąc, pozwala przedsiębiorcom na zarządzanie danymi z różnych źródeł. Bardzo często pojęcie to utożsamiane jest z procesami ETL (ang. Extract-Transform-Load) bądź pojęciem samej hurtowni danych. Hurtownia danych jest jednak pojęciem znacznie obszerniejszym. Procesy integracji danych zaś bardzo często skupiają się na budowanie nowej bądź rozwoju istniejącej już hurtowni.
Integracja danych polega na łączenia danych z różnych źródeł w jeden, ujednolicony dla przedsiębiorstwa widok. Rozpoczyna się od procesu przetwarzania i obejmuje takie etapy, jak czyszczenie, mapowanie ETL, transformacje, a na końcu załadowanie właściwych danych do systemu docelowego. Integracja danych ostatecznie umożliwia narzędziom analitycznym tworzenie efektywnej, wykonalnej analizy biznesowej.
Celem integracji danych jest zapewnienie spójności w hurtowni danych, oczyszczenie danych, a czasem także uzupełnienie danych o dodatkową logikę biznesową. Czyszczenie danych polega na wyeliminowaniu duplikatów, wyrzuceniu tzw. “brudnych” rekordów, niepełnych bądź zawierających niepoprawne dane. Bardzo ważnym aspektem integracji danych jest eliminacja silosów informacyjnych w przedsiębiorstwie. Proces ten polega na ustaleniu wspólnego języka pojęciowego dotyczącego zarówno terminologii biznesowej jak i technicznej. Część techniczna skupia się na jak najlepszym dopasowaniu nazw obiektów tak, aby jak najlepiej odzwierciedlały procesy biznesowe.
Jakie korzyści daje nam Talend for Data Integration
TOS posiada szereg licznych gotowych komponentów umożliwiających pracę m.in. z bazami danych, chmurami obliczeniowymi oraz szeregiem różnorodnych serwisów sieciowych. Dzięki gotowej palecie komponentów, użytkownik może w prosty i szybki sposób budować procesy ETL. Narzędzie Talend for Data Integration umożliwia uruchamianie procesów integracyjnych bezpośrednio ze środowiska programistycznego oraz jako samodzielnie wykonywalny skrypt w języku Java.
Talend for Data Integration to przede wszystkim:
- Szybka i zwinna integracja – dzięki gotowym komponentom, przygotowanie i przeprowadzenie integracji staje się znacznie prostsze i szybsze z technicznego punktu widzenia.
- Współpraca całego zespołu – dzięki analizie wpływu oraz kontroli wersji możesz współpracować z całym zespołem bez obaw o swoje procesy.
- Łatwe zarządzanie – narzędzie oferuje zaawansowane funkcje planowania i monitorowani dzięki którym widzisz powstające problemy i możesz je szybko naprawić.
Podsumowanie
Przeszliśmy właśnie przez pierwszy temat jakim było: Talend Wprowadzanie. W następnym kroku tego szkolenia zainstalujemy Talend Open Studio. Zaczynajmy!
Super wprowadzenie w zagadnienie związane z Talend’em