Data málokdy přicházejí v podobě, ve které se dají rovnou použít. Datová pipeline je proces, který je provede několika kroky: sběr ze zdroje, kontrola a čištění, sjednocení formátu, výpočty a nakonec uložení do databáze, reportu nebo aplikace.
Každý krok běží automaticky a zapisuje, co udělal. Když něco selže, pipeline to oznámí a chybná data nepustí dál. Díky tomu se dá výstupům věřit.
Pipeline se hodí všude, kde se pravidelně zpracovává větší množství dat: měření ze senzorů, exporty z několika systémů nebo rozpisy z mnoha webů.
Jak to vypadá u nás
V ClearWay vede pipeline data ze senzorů na vozidle až na mapu stavu silnic, bez ručního zásahu.
ClearWay