Ne každý zdroj informací nabízí API. Ceny dodavatelů, rozpisy, veřejné registry nebo tabulky na webu jsou často jen ke čtení. Scraper je program, který takovou stránku pravidelně projde a potřebné údaje si vypíše do strukturované podoby.
Sběr dat musí být ohleduplný a v souladu s podmínkami zdroje: nezatěžovat cizí web, respektovat pravidla a nebrat osobní údaje, na které nemáme nárok. Kde je k dispozici API, dáváme mu přednost.
Weby se mění, a scraper proto potřebuje dohled. Hlídáme, jestli data chodí v očekávané podobě, a při změně zdroje ho upravíme.
Jak to vypadá u nás
GridTime sbírá rozpisy závodů ze scraperů a API jednotlivých sérií a sjednocuje je do jednoho kalendáře.
GridTime