Neděle, 22 prosince, 2024

Opendatasoft: Udělejme data přístupnější všem

Sdílet

Úvod

S příchodem internetu exponenciálně roste objem dostupných informací a pro jedince je obtížné se v takovém množství orientovat. Hlavním problémem je nedostatečná kontrola kvality a nekontrolovatelný tok příchozích informací. Proto mnoho lidí trpí informačním přetížením, což je stav, během kteraého jsme obklopeni obrovským objemem dat a konzumujeme větší objem informací, než dokážeme zpracovat. Takové přetížení způsobuje, že jsme v dané problematice jen více zmatení, brání nám v přemyšlení a rozhodování se.

V dnešní době existuje velké množství informačních zdrojů, které nám umožnují efektivnější práci s vyhledáváním a zpracováním informací. Tyto zdroje mohou být jak tuzemské, tak zahraniční. Pro účely této práce byl vybrán Opendatasoft, který spadá pod francouzskou společnost, sídlící v Paříži.

Opendatasoft patří mezi SaaS platformy (software as a service). Společnosti platformu používají k přístupu, opětovnému použití a sdílení dat pro firemní rozvoj a obchodní růst. Data jsou rovněž zpřístupňována prostřednictvím API. Nástroj nám umožňuje organizovat, sdílet a vizualizovat různé typy dat do tabulek, grafů či map. Software je používán jak soukromými společnostmi, tak veřejnými subjekty.

Hlavním cílem Opendatasoft je nabízet veřejná data ve formě otevřených dat. Otevřená data jsou data, ke kterým mají přístup všichni uživatelé a mohou být využívána pro vlastní i komerční účely. Dříve byli klíčovými uživateli platformy především orgány francouzské vlády a místní komunity. Nyní je služba zpřístupněna veřejným i soukromým firmám po celém světě. Uživatelé služby mohou svá data poskytovat veřejně ostatním společnostem, či jen s omezeným přístupem, členům organizace nebo partnerským společnostem.

Opendatasoft nabízí různé druhy řešení:

  • Private Data Solution
  • Data Product
  • Open Data
  • Smart City and IoT

Opendatasoft obsahuje sadu různých funkcí pro:

  • shromažďování datových sad z různých zdrojů a v různých formátech
  • transformaci datových sad pomocí funkcí k přípravě dat
  • publikaci datových sad jako API
  • prozkoumání katalogu, vizualizaci jednotlivých datových sad nebo vytvoření kombinací datových sad

Katalog datových sad

Katalog se skládá z volně přístupných dat, ke kterým mají přístup všichni uživatelé, a soukromých dat, které jsou k dispozici pouze autentizovaným uživatelům.

Obrázek 1: Katalog Opendatasoft (Opendatasoft.com)

Na levé straně se nachází počet aktuálně dostupných datových sad s různými možnostmi řazení podle abecedního pořadí, data úpravy, počtu záznamů, počtu stažení či popularity. Dle výchozího nastavení je seřazení od nejnovějšího data k nejstaršímu datu úpravy. Dále můžeme sady pro snadnější vyhledání konkrétních data setů různě filtrovat. Platforma nabízí filtrování pomocí textového vyhledávání, jazyka data setu, portálu, témat, vydavatele a dalších parametrů. Opendatasoft nabízí stažení katalogu v různých formátech jako jsou např. .xls, .csv, .xml a další.

Na straně druhé jsou zobrazeny všechny dostupné datové sady dle vyhledávání. Každý obdélník tzv. „katalogová karta“ představuje jednu datovou sadu. Na kartách jsou zobrazena metadata, týkající se datových sad spolu s nástroji pro rychlou vizualizaci dat (tabulka, graf či mapa) a odkazy ke sdílení nebo opětovnému použití datové sady (export, API). Katalogové karty si mohou uživatelé zcela přizpůsobit dle vlastních preferencí.

Vyhledávání datové sady

Dotazovací jazyk Opendatasoft umožňuje fulltextové dotazy. Pokud je slovo či slovní spojení napsané v uvozovkách, Opendatasoft vrátí pouze přesné shody daného slova.

  • photo vrací výsledky, které obsahují photo, photography, photograph, photographer…
  • „photo“ vrátí pouze datové sady, které obsahují přesnou shodu slova

Platforma podporuje dotazování pomocí booleovských operátorů AND, OR a NOT. Výrazy lze prostřednictvím závorky kombinovat mezi sebou.

Další z funkcí dotazovacího jazyka je filtrování výsledků na základě hodnoty konkrétního pole. Názvy polí odpovídají dostupným metadatům. Při vyhledávání datové sady uvedeme v dotazu název pole jako předponu.

Názvy polí jsou:

  • publisher – vydavatel datové sady
  • title – název datové sady
  • description – popis datové sady
  • license – licence k datové sadě
  • records_count – počet záznamů v datové sadě
  • modified – datum poslední úpravy
  • language – jazyk datové sady (iso kód)
  • theme – téma datové sady
  • references – odkazy na datovou sadu

Vyhledávání v datech

Dotazy se zadávají do vyhledávacího pole v sekci Filters. Zadáním pojmu či slovního spojení, které nás zajímá, se nám vrátí každý záznam obsahující klíčová slova v datech.

id_field:value – příkaz, který nám vrátí všechny záznamy obsahující určitou hodnotu v konkrétním sloupci

value1 AND value2 – příkaz nám vrátí záznamy, obsahující value1 a value2

value1 OR value2 – vrátí nám záznamy, obsahující alespoň jednu z definovaných hodnot

NOT value – vrátí každý záznam, který neobsahuje zadanou hodnotu

#exact(id_field,“value“) – definování přesné hodnoty, která má být obsažena ve sloupci id_field, například, #exact(host_name, „Alexa“) vrátí záznamy s jménem hostitele obsahujícím přesně „Alexa“ a nic jiného

#null(id_field) – vrátí všechny záznamy, které mají v definovaném sloupci prázdnou hodnotu

id_date_field>=YYYY/MM/DD – vrátí všechny záznamy, u kterých je datum poslední recenze rovno nebo větší než zadané datum

Ve vyhledávání lze za název pole umístit různé operátory:

  • :, =, ==: zobrazí výsledky, které se přesně shodují s hodnotou (hodnoty pole mohou být textového nebo číselného typu)
  • >, <,> =, <=: zobrazí výsledky s hodnotami pole, které jsou větší, menší, větší nebo rovno, menší nebo rovno jako hodnota, v případě, že se jedná o datum nebo číselnou hodnotu
  • [start_date TO end_date]: zobrazí záznamy mezi start_date a end_date

Práce v Opendatasoft

Publikace datové sady

Práce v platformě Opendatasoft bude demonstrována na příkladu datové sady o kriminalitě a bezpečnosti z policejního oddělení ve městě Cary za posledních 10 let. Nejprve je potřeba načíst datovou sadu kliknutím na tlačítko Create my first dataset. V náhledu je zobrazena možnost přejmenování datové sady, zvolíme jasný a výstižný název.

Obrázek 2: Datová sada – Police incidents (Opendatasoft.com)

Po úspěšném nahrání dat si na kartě Processing definujeme filtry, s jejichž pomocí budeme později vytvářet grafy. Ve sloupcích, u kterých chceme nastavit filtrování, klikneme na ikonku filtru. Opendatasoft nám dále umožňuje úpravu dat přímo v platformě. Na kartě Information k datové sadě přidáme popis dat, téma, klíčová slova a další metadata. Nakonec data uložíme a publikujeme.

Obrázek 3: Publikace datové sady (Opendatasoft.com)

Publikovaná data můžeme dále v programu vizualizovat a analyzovat z různých pohledů:

  • Table view – výchozí zobrazení dat
  • Map view – zobrazení mapy je možné jen v případě, kdy v datové sadě máme k dispozici zeměpisné souřadnice
  • Analyze view – slouží k tvorbě grafů (sloupcové, koláčové, pruhové, spojnicové a další)

V záložce Embed se nám vygeneruje URL link, pomocí kterého můžeme sdílet vytvořené vizualizace s ostatními členy týmu či partnery veřejně. V případě změny původních dat se pomocí API veškeré vizualizace vložené na web aktualizují podle nových dat v reálném čase.

Využití

Příklady využití lze nalézt v mnoha různých odvětvích např. v energetice, veřejných službách, místních komunitách, dopravě, vládě, bankovnictví, pojišťovnictví a dalších. Velkou hodnotu mohou veřejná data přinést lokálním společnostem, jelikož platforma obsahuje velké množností datových sad z Francie (13,299 z 21,213 datových sad). Dále platforma zahrnuje anglické, německé, španělské či holandské datové sady.

Závěr

Opendatasoft nám poskytuje velké množství otevřených dat, která můžete volně sdílet, šířit a využívat ve svých projektech i komerčně. Využití najdou převážně místní společnosti, jelikož se jedná o francouzskou platformu a hlavními poskytovateli dat jsou zejména města, dopravní podniky, vládní instituce a další veřejné subjekty. Města mohou data dále využívat při plánování strategií či vytváření různých projektů sloužících k občanskému využití. Kromě veřejně přístupných dat nám Opendatasoft nabízí užitečné funkce spojené s prací s daty. Nástroj nám umožňuje organizaci, transformaci, sdílení a vizualizace různých typů datových sad na jednom místě.

Použité zdroje

[1] Opendatasoft [online]. [cit. 2021-02-10]. Dostupné z: https://www.opendatasoft.com/

[2] Navigating the catalog. Help.opendatasoft [online]. 2021 [cit. 2021-02-10]. Dostupné z: https://help.opendatasoft.com/platform/en/exploring_catalog_and_datasets/01_navigating_the_catalog/catalog.html

[3] Searching in the data. Help.opendatasoft [online]. 2021 [cit. 2021-02-10]. Dostupné z: https://help.opendatasoft.com/platform/en/exploring_catalog_and_datasets/03_searching_the_data/search.html

Seznam obrázku

Obrázek 1: Katalog Opendatasoft (Opendatasoft.com)

Obrázek 2: Datová sada – Police incidents (Opendatasoft.com)

Obrázek 3: Publikace datové sady (Opendatasoft.com)

Číst více

Další články