JrUtil - software pro práci se zdroji dat ČR a SR

dvdkon

Momentálně neexistuje software, který by dokázal zpracovat všechny zdroje dat (např. jízdních řádů) v ČR (a na Slovensku) a sjednotit je do dále jednoduše zpracovatelného formátu. Tímto nástrojem by se měl stát JrUtil. Momentálně umí převádět formát JDF do standardnějšího GTFS a koverzi z formátu vlakových jízdních řádů z CIS JŘ FTP. V plánu mám například převod z formátu windowsí aplikace IDOS a vy(/zne)užití různých API, která veřejně či poloveřejně poskytují přístup k zajímavým datům. Koncovým cílem by mělo být vytvoření tak dobrých výstupů, že by se nad nimi dal zprovoznit vyhledávač spojení konkurující IDOSu 🙂

Zdrojový kód v jazyce F# je dostupný pod licencí GPLv3 na GitLabu. Měl by jít zkompilovat a spustit skoro na všem.

Periodické výstupy z JrUnify (části JrUtil), t.j. GTFS jízdní řády pro celou ČR, jsou dostupné na jrutil.konarici.cz.

Pokud máte jakékoliv dotazy nebo připomínky, tak mi je prosím sdělte. Potřebuji validaci, že to nezajímá jenom mě 😉

radek

Zdravím,
tohle zajímá určitě víc lidí. Sám si hraju s prográmkem na generování linkových jř z GTFS (zatím to moc ke zveřejnění není). Používám pražská data. Bude fajn, když vznikne GTFS soubor pro celou republiku.

radek

Jinak vím, že cca před 10 lety tu byl funkční projekt na vysypání winIDOSího formátu do txt. Teď ho nemůžu online najít, asi už není. Pohledám doma.

dvdkon

radek Díky za projevení zájmu. Znám člověka, který kdysi program na čtení IDOSích souborů napsal. Bohužel mi zatím neodpověděl na mail. Našel jsem ještě nějaký open-source pokus o dekódování, ale připadá mi to jako strašný bastl a navíc mi nefunguje, takže radši čekám na odpověď.

radek

dvdkon Možná víc raději po mailu...

dvdkon

Přidal jsem do JrUtil konverzi vlakových JŘ ve formátu CZPTTCISMessage (k nalezení na FTP CIS JŘ) a výrazně jsem zrychlil konverzi JDF do GTFS (nyní probíhá jedna konverze v průměru jen ~45ms). S takovouto rychlostí by měla konverze všech dostupných JDF souborů trvat cca 17 minut.

dvdkon

Jrutil teď už umí i spojovat GTFS feedy, které vytvoří! Funkce je sice zatím velmi jednoduchá (například neumí řešit více zastávek stejného jména nebo stejnou zastávku, která se v různých zdrojích různě jmenuje), ale umí relativně úspěšně sloučit data z JDF a CZPTT XML. Výsledkem je pak GTFS feed všech (snad) spojů v ČR.

stacho72

dvdkon Můžu se prosím zeptat, jak v JDF identifikujete jednoznačně zastávku ? V CIS/JŘ na ftp://ftp.cisjr.cz/JDF/ jsou jednotlivé dávky uložené v adresářích, ovšem v souborech "Zastavky" se Číslo zastávky opakuje. Jak tedy vzniká nějaká jednoznačnost ? Děkuji za odpoveď.

stacho72

Dobrý den, chtěl jsem se zeptat. Dají se někde získat zastávky i s GPS pozicemi ?

Děkuji

dvdkon

stacho72 Zastávky s GPS souřadnicemi poskytují některé dopravní podniky, bohužel nic globálního zřejmě neexistuje. Mám plán do budoucna v JrUtil provádět nějaký fuzzy matching s daty OpenStreetMap, ale to naráží už jenom na to, že OSM nemá všechny zastávky. Musel by to být větší vzájemný projekt i s přidáváním dat do OSM.

V JDF beru jako jednoznačný název zastávky. Pokud vím, tak to je "oficiální" způsob identifikace. Problémy pak dělají zastávky MHD, které nemají "plný název", jen jméno. Ty momentálně neřeším, protože chci počkat, než se mi podaří v rozumném čase vytvořit GTFS pro celou ČR.

stacho72

dvdkon Děkuji za reakci. Mám ještě jeden dotaz. Netušíte zda je nějaká logika v adresářích, ve kterých jsou uložené jednotilivé JDF soubory na ftp://ftp.cisjr.cz/JDF/ ?

dvdkon

stacho72 Bohužel žádné logické uspořádání jsem nenašel. Odhaduji, že CHAPS provozuje nějakou persistentní databázi všech datových sad a při periodickém exportu jsou vzaty sekvenčně všechny stále relevantní sady a až potom očíslovány.

stacho72

dvdkon No myslel jsem si to 🙂 Mimochodem máte nějaké už hotové GTFS, konkrétně nás zajímá Moravskoslezský kraj.

dvdkon

stacho72 Bohužel můj dosavadní přístup k slučování dávek se ukázal jako velmi náročný na CPU čas a paměť, takže poslední dobu jsem strávil upravováním slučovací funkce aby dokázala použít PostgreSQL server jako "úložný prostor" pro vytvářený GTFS feed. Dnes tento nový kód poprvé zkouším na všech dávkách a ukázal se jako výrazně šetrnější na RAM. Celkově je ale slučování stále pomalé, uvidím, jestli dostanu během několika hodin výsledek, nebo jestli bude nutné dále optimalizovat. Budu rád za jakýkoliv optimalizační nápad 🙂

dvdkon

Tak už mám první výsledky. Jen sloučení dávek jednotlivých datasetů (autobusy, MHD, vlaky) trvalo přes 7 hodin a na konečné slučování ani nedošlo kvůli chybě ve skriptu (stejně jsem zjistil, že nezvládá import velkých GTFS feedů). Mezivýsledky ale zatím vypadají alespoň částečně správně (například chybí z nějakého důvodu záznamy dopravců, ale namátková kontrola spojů a linek uspěla).

stacho72

dvdkon Skvělé, pokud to dokážete dát do nějakého komplexního formátu, vč. dopravců, rádi to to otestujem.

stacho72

dvdkon Dobrý den, rád bych s Vámi prodiskutoval možnou spolupráci. Můžete mi dát na sebe kontakt do emailu stacho72s@seznam.cz ? Pokud byste samozřejmě měl zájem. Dekuji

dvdkon

JrUtil (resp. JrUnify) je již v dostatečně dobrém stavu na to, aby pomocí něj šly periodicky vytvářet GTFS feedy. Nastavil jsem proto server na denní spouštění JrUnify. Výstupy jsou veřejně dostupné na jrutil.konarici.cz.

stastnypremysl

dvdkon Už týden je generování výstupů mimo provoz.

xaralis

Zdá se, že generování feedu nefunguje. Potřeboval bych místní (Pardubice) JDF překlopit do GTFS a bohužel se mi nedaří najít žádný existující software, který by reálně fungoval. Všude narážím na problémy.