Skip to main content
Shaping Europe’s digital future

Big Data Test Infrastructure - Resurssit

Big Data Test Infrastructure (BDTI) -resurssit sisältävät teknistä dokumentaatiota, käyttöönotto-oppaita, uudelleenkäytettäviä koodeja ja parhaita käytäntöjä, joilla tuetaan julkishallintoja ja organisaatioita.

Esitellyt resurssit

Tukeaksemme julkishallintoja ja organisaatioita massadatan ja analytiikan hyödyntämisessä olemme keränneet kaikki BDTI-resurssiterityiseenGitlab-tietokantaan.  Tämä sisältää teknisen dokumentaation, käyttöönotto-oppaat, uudelleenkäytettävän koodin ja parhaat käytännöt piloteistamme ja menestystarinoistamme. 

Johdatus geospatiaaliseen analytiikkaan

Tunnista tietomallit hyödyntämällä maantieteellisiä, spatiaalisia ja sijaintitietoja.

  • Opi paikkatietojärjestelmistä (GIS), niiden tärkeydestä ja siitä, miten ne auttavat nykyaikaisissa kansanterveyden, ilmastonmuutoksen, älykkään liikkuvuuden, kaupunkisuunnittelun ja muiden haasteiden kanssa
  • Tutustu kahteen yleisimpään paikkatietotyyppiin: Vektoritiedot ja rasteritiedot
  • Tutustu Geospatial Analytics Extension for KNIME (CGA Harvardin yhdessä kehittämä), jota voidaan käyttää GIS-tietojen käyttämiseen, muuntamiseen, manipulointiin ja käsittelyyn matalan koodin tavalla

Johdanto tilastoihin

Opi tilastojen perusteet ja sen tarpeellisuus tietojen analysointiin.

  • Tarkastellaan valikoitua yhteiskunnallista ilmiötä EU:ssa kuvaavia tilastoja, joissa keskitytään keskeisen suuntauksen, vaihtelun, muotojakauman, assosiaation ja koealojen mittauksiin.
  • Tutustu todennäköisyyden käsitteeseen, tutustu erilaisiin tapahtumatyyppeihin, todennäköisyyslaskelmiin ja edistyneempiin aiheisiin, kuten ehdolliseen todennäköisyyteen ja Bayesin lauseeseen.
  • Tutustu KNIME: n tilastolaajennuksiin, joita voidaan käyttää havaitsemaan poikkeavia havaintoja, saamaan korrelaatiomatriiseja, testaamaan hypoteeseja ja paljon muuta alhaisen koodin tavalla.

Johdatus graafiseen analytiikkaan

Analysoi monimutkaisia suhteita entiteettien välillä ja paljasta kuvioita datassa.

  • Opi teoreettisia peruskäsitteitä kaavioista, mukaan lukien terminologia
  • Tutustu sellaisten kaavioiden sovelluksiin, joissa keskitytään käyttötapauksiin, joihin liittyy matkojen suunnittelua Euroopan unioniin ja sen sisällä
  • Opi mallintamaan, käsittelemään, analysoimaan ja visualisoimaan kaavioita ilman koodausta KNIME Analytics Platformin avulla

Datan visualisoinnintulostaulut: Liikenneonnettomuuksia koskevien tietojen analysointi ja esittäminen

Muunna monimutkaiset tiedot selkeiksi, käytännöllisiksi oivalluksiksi, jotka parantavat kykyäsi kommunikoida tehokkaasti.

  • Hanki perusteellinen käsitys datan visualisointitekniikoista ja niiden sovelluksista kaupunkiturvallisuusanalyysissä
  • Hanki käytännön kokemusta staattisten tietoaineistojen hallinnasta ja visualisoinnista
  • Opi tietojen esikäsittelyn, tallennuksen ja integroinnin taitoja PostgreSQL: n avulla

Monimutkaistentietoaineistojen välittäminen: Reaaliaikaisten tietojen integrointi urbaaneja oivalluksia varten

Opi integroimaan ja visualisoimaan reaaliaikaista dataa.

  • Rakenna perustava ymmärrys datan visualisointitekniikoista ja -työkaluista
  • Hanki kokemusta reaaliaikaisen datan integroinnista ja visualisoinnista
  • Tutustu datan visualisoinnin käytännön sovelluksiin julkisen sektorin päätöksenteossa, erityisesti kaupunkisuunnittelussa ja ympäristönhoidossa

Ilmastotietojen hyödyntäminen: Matkailun luokittelu ja ennakoiva analytiikka

Tee tarkkoja ennusteita ja tietoon perustuvia päätöksiä paljastamalla historiallisten tietojen malleja ja suuntauksia.

  • Tiedon luokittelun ja ennakoivan analytiikan ymmärtäminen
  • Opi käyttämään Jupyter Notebooks tietojenkäsittelyyn ja MinIO tallentaa ja hallita tietoja turvallisesti
  • Kehitetään kokemusta koneoppimismallien soveltamisesta reaalimaailman dataan

Ennakoiva mallinnus ja reaaliaikainen analyysi: Reaaliaikainen polkupyörän käytön ennustaminen ja seuranta

Analysoi historiallisia tietoja mallien ja suhteiden paljastamiseksi tulevien tapahtumien ennustamiseksi ja trendien tunnistamiseksi.

  • Hanki vankka ymmärrys ennakoivasta mallintamisesta reaalimaailman tietojen avulla
  • Hanki kokemusta datatyökaluista, kuten R Studio ja MongoDB
  • Hanki käytännön taitoja automatisoitujen tietoputkien perustamiseen

Luonnollisen kielen käsittely & tietojen visualisointi: Kansalaisten osallistumisen lisääminen

Käytä dataan perustuvia tekniikoita, jotta voit ymmärtää kyselytutkimusten tuloksia paremmin ja löytää käyttökelpoisia oivalluksia.

  • Opi käyttämään NLP:tä tekstien kääntämisessä ja lauseiden analysoinnissa
  • Hanki kokemusta kyselyvastausten analysoinnista suurissa erissä
  • Rakenna taitoja tietojen tallennuksen ja käsittelyn hallintaan Apache Superset-, MongoDB- ja Jupyter-kannettavien avulla

Innovaatiopaneelikeskustelunesittely: EU:n julkishallintojen datavetoiset käyttötapaukset

Lue, miten avoimeen dataan perustuvat datavetoiset oivallukset voivat mullistaa julkiset palvelut kaikkialla Euroopassa ja muuttaa monimutkaiset haasteet hallittaviksi ratkaisuiksi.

BDTI Pilot Showcase -esittely: Datavetoisten ratkaisujen esittäminen käytännössä

Sellaisten projektipäälliköiden esitykset, jotka ovat hyödyntäneet BDTI:tä keskeisten haasteiden ratkaisemisessa ja vaikuttavien tulosten aikaansaamisessa.

Ilmainen kurssi, joka auttaa julkishallintoja tutustumaan BDTI:n tarjoamiin välineisiin käytännön käyttötapauksen avulla. Kurssi opastaa osallistujia tyypillisen dataprojektin työnkulun läpi kuvitteellisen käyttötapauksen jälkeen. Kurssin diat ja live-tallenteet löytyvät alla olevista linkeistä.

Kurssin tiedot

Käyttötapausten luettelo: Inspiraatiota ja malleja oman käyttötapauksen rakentamiseen.

Nämä tosielämän käyttötapaukset havainnollistavat, miten avoimeen dataan perustuvat datavetoiset näkemykset voivat antaa hallituksille mahdollisuuden vastata nopeasti haasteisiin, parantaa tehokkuutta, edistää avoimuutta ja luoda tehokkaampia toimintapolitiikkoja kansalaisten hyödyksi. Käyttötapausten tarkastelu voi innostaa julkishallintoja suunnittelemaan ja toteuttamaan omia datavetoisia lähestymistapojaan.

Käyttötapaukset

Tiedonkäyttötapausten mallipohjat

Näiden materiaalien tarkoituksena on tukea julkishallintoja datan käyttötapausten määrittelyssä ja suunnittelussa.

STT:n käytännön resurssit: Tässä asiakirjassa esitetään resursseja, kuten kyselylomakkeita, tarkistuslistoja, päätöksentekopuita ja -kehyksiä.

Hankkeen rajausmenetelmä: Tässä asiakirjassa annetaan ohjeita julkishallinnoille, jotka ovat kiinnostuneita kokeilemaan datahankkeita. Tämän asiakirjan tavoitteena on tarjota käyttäjille hyödyllisiä välineitä pilottikäyttötapauksen määrittelyyn ja suunnitteluun.

Käytä tapausmalleja

 

STT:n välitavoitteet

  • 2019

    BDTI käynnistyy ja ensimmäiset pilotit alkavat.

  • Maaliskuu 2019

    Hackathon-tiedonkeruu: BDTI otti käyttöön erityisen instanssin tukemaan mukautettua älypuhelintietojen keruusovellusta, joka kokosi noin 1,5 teratavua erittäin henkilökohtaisia tietoja kahden viikon aikana ja säilytti ne turvallisesti S3:ssa tiukalla yksityisyyden ja pääsyn valvonnalla.

     
  • Toukokuu 2019

    Avoimet työpaikat verkossa: Big data -alusta datalaboratoriolle, jonka avulla EU-maiden tilastotoimistot voivat tutkia ja käsitellä RLMI:n keräämiä tietoja reaaliaikaisten työmarkkinatietojen saamiseksi.

     

    Automaattinen tunnistusjärjestelmä: Pilottihankkeessa pyrittiin käyttämään massadataa alusten geopaikannuksesta luotujen automaattisten tunnistusjärjestelmien (AIS) avulla nykyisten meritilastojen laadun ja vertailukelpoisuuden parantamiseksi ja uusien tilastotuotteiden tuottamiseksi.

  • 2020

    Pilotteja jatketaan, ja BDTI-tiimi tekee yhteistyötä julkishallinnon ja tiedemaailman kanssa kaikkialla Euroopassa.

  • Helmikuu 2020

    Norja, Difi (julkishallinnon ja sähköisen hallinnon virasto): Perusti tietokannan, jossa käytetään PEPPOLin julkisia hankintoja koskevia tietoja ja joka mahdollistaa transaktiotietojen analysoinnin, jotta voidaan parantaa hankintojen tehokkuutta, havaita tehottomuuksia ja tarjota näkemyksiä lisäparannuksia varten.

  • Huhtikuu 2020

    Valenciankaupunki, Espanja: Pilottihanke, jossa kerätään tietoa, joka sisältyy suureen määrään olemassa olevia covid-19-tautia koskevia tieteellisiä todisteita ja sääntelyasiakirjoja, ja toimitetaan se lääkäreille ja johtajille hallittavissa olevalla tavalla kehittyneiden tietojen visualisointivälineiden avulla.

    Milanonkunta: Ennakoiva mallinnuskehys kansalaisten liikkuvuutta koskevien tietojen analysoimiseksi Milanossa covid-19-pandemian toisen vaiheen aikana, mikä mahdollistaa tietoon perustuvan päätöksenteon datavetoisten näkemysten avulla.

     
  • Heinäkuu 2020

    Firenzenkaupunki: Pilottihanke, jossa pyritään ymmärtämään covid-19:n vaikutusta liikkuvuuteen hyödyntämällä Smart City Control Roomin (SCCR) keräämää dataa, joka on keskeinen osa REPLICATE-nimistä laajempaa hanketta ja mahdollistaa sen. Näin varmistetaan, että sulkutoimet poistetaan vastuullisella ja hallitulla tavalla.

     

    Euroopan veriallianssi ja Euroopan komissio (terveyden ja elintarviketurvallisuuden pääosasto): Pilottihanke sellaisen EU:n laajuisen avoimen alustan luomiseksi ja hallinnoimiseksi, jolla kerätään tietoja covid-19-toipilasplasmahoitoa koskevan tutkimuksen tueksi.

     
  • Syyskuu 2020

    Italia, Portugali ja Norja: Pilottihankkeeseen osallistui Italian, Portugalin ja Norjan viranomaisia, ja siinä keskityttiin tarjoamaan skaalautuva virtuaaliympäristö ja analytiikkarutiinit hankintatietojen käsittelemiseksi ja sähköisten hankintojen data-avaruuden luomisen tukemiseksi.

     
  • Maaliskuu 2021

    Casola Valsenionkunta: Analysoidaan väestön jakautumista ja internetin saavutettavuutta Casola Valseniossa, jotta saadaan tietoa tulevia laajakaistainfrastruktuurin käyttöönotto- ja ympäristöseuranta-aloitteita koskevaa päätöksentekoa varten.

  • Toukokuu 2021

    Casola Miglierinankunta: Analysoida energiankulutusmalleja ja optimoida uusiutuvan energian tuotanto käyttämällä kehittyneitä data-analytiikkatekniikoita, mukaan lukien ennakoiva mallinnus ja aikasarja-analyysi.

  • 2022

    Tulokset alkavat osoittaa, miten BDTI auttaa julkishallintoja ja julkisen sektorin johtamia hankkeita parantamaan kansalaisten kokemuksia, tehostamaan hallintoa ja vauhdittamaan liiketoimintaa ja taloutta laajemmin massadatan avulla.

  • 2023

    Pilotteja jatketaan, ja tiedon jakamiseen liittyvät viestintätoimet aloitetaan.

  • Maaliskuu 2023

    Käynnistetään erityinen BDTI-verkkosivusto, jossa esitellään yksityiskohtaisesti BDTI-palvelutarjonta, jaetaan resursseja ja pilotoidaan menestystarinoita.

  • Toukokuu 2023

    BDTI-tiimi järjestää datataitoja käsitteleviä webinaareja ja työpajoja julkisen sektorin datalukutaidon edistämiseksi.

  • Lokakuu 2023

    Dun Laoghairen kunta, Dublin: Pilottihanke integroidun liikenne- ja tapahtumadatan hyödyntämiseksi strategisessa kaupunkisuunnittelussa ja käyttökelpoisten näkemysten tarjoamiseksi paikallisviranomaisille ja yhteisöille kestävän kaupunkiliikenteen aloitteiden tukemiseksi.

    BDTI-tiimi osallistuu Open and Agile Smart Cities Summit -huippukokoukseen ja Euroopan alueiden teemaviikkoon esittelemällä ratkaisuja ja isännöimällä käyttötapaustyöpajoja.

    BDTI Kitchen Newsletter lanseerataan, ja se toimittaa kuukausittain BDTI-uutisia, tapahtumia ja julkisen sektorin data-analytiikkatietoja. 

  • Tammikuu 2024

    GRNET ja Makedonian yliopisto, Kreikka: GRNET ja UoM käynnistävät pilottihankkeen, jossa MITOS, joka tarjoaa jäsenneltyjä kuvauksia yli 3 000 julkisesta palvelusta, muunnetaan linkitetyksi avoimeksi dataksi.

     

    BDTI-tiimi osallistuu ja esittelee OASC 2024: ssä.

     

    BDTI Essentials -verkkokurssi käynnistyy: ”Datatietoisen julkisen sektorin mahdollistaminen: BDTI Essentials -peruskurssi”, jolla edistetään datalukutaitoista ja innovatiivista julkista sektoria kaikkialla EU:ssa.

  • Helmikuu 2024

    BDTI Kitchen Newsletter lanseerataan, ja se toimittaa kuukausittain BDTI-uutisia, tapahtumia ja julkisen sektorin data-analytiikkatietoja.

  • Maaliskuu 2024

    BDTI-mainosmateriaalit käännetään kaikille 24 eurooppalaiselle kielelle.

  • Toukokuu 2024

    Bochuminkaupunki, Saksa: Pilotti, jossa rakennetaan koneoppimismalli, joka mullistaa puiden terveyden seurannan ja ennustamisen kaupunkialueilla.

     

    Turun kaupunki ja yliopisto: Yhteistyöpilotti, jolla valmistellaan liikennevirtojen analysointia julkisen liikenteen parantamiseksi yhdistämällä useita liikkumisen tietolähteitä paikkatietoon.

  • Heinäkuu 2024

    BDTI Skills Studio käynnistää työpajoja ja webinaareja, joissa käsitellään data-analytiikan eri aiheita, jolloin osallistujat voivat saada käytännön tietoa ja käytännön kokemusta.

     

    Napolinkaupunki, Italia: Pilottihanke, jolla tehostetaan kaupunkisuunnittelu- ja liikkuvuusstrategioita julkista tilaa ja liikkuvuuteen liittyvää dataa koskevan kehittyneen analytiikan avulla.

  • Lokakuu 2024

    BDTI-tiimi järjestää Berliinissä Smart Country Convention -tapahtumassa työpajan, jossa keskustellaan siitä, miten alueet ja kunnat voivat hyötyä julkisen sektorin tietojen uudelleenkäytöstä innovointiin.

     

    Arezzonkaupunki, Italia: Pilottihanke, jolla edistetään datavetoista päätöksentekoa, jotta voidaan vähentää herkästi kaupungin onnettomuuksia ja loukkaantuneita käyttämällä perusteellista ja kattavaa analyysia Arezzon kunnan vaarallisten teiden ja risteysten laajasta tietokannasta.

  • Marraskuu 2024

    BDTI-tiimi isännöi Brysselin FARI-konferenssissa työpajaa, jossa käsiteltiin datan uudelleenkäytön merkitystä kuntien ja alueiden tulevaisuuden kannalta.

  • Tammikuu 2025

    Pilottiosallistujat esittelevät tapaustutkimuksiaan BDTI Pilot Showcase -virtuaalitapahtumassa.