FME, osa 4: Tehosta paikkatiedon muuntamista

Paikkatiedon muuntaminen, mitä se on?

Edellä esittelin formaatti- ja koordinaattimuuntamista, mutta on vielä yksi paikkatiedon muunnostyyppi. Se on tietomallimuuntaminen. Tietomallimuuntaminen tarkoittaa datan rakenteen muunnosta, esimerkiksi geometriamuunnosta tai ominaisuustietojen muunnosta. Voit haluta pisteistä viivoja, tai viivoista alueita. Sinulla saattaa olla dataa, jonka tasoja haluaisit muuttaa: niiden nimiä, järjestystä, jaottelua, jne.

Selvä, nyt minulla on kuva tietomallimuuntamisesta, mutta miten voin tehostaa sitä?

Kerron esimerkin. Eräs paikkatietoaineistoja käsittelevällä työntekijällä oli ongelma. Kaikki paikkatietoaineistot, mitä hänelle tuli, piti tarkistaa ennen kuin ne laitettiin eteenpäin omiin järjestelmiin. Aineistoissa oli vaikka minkälaisia virheitä ja kummallisuuksia, jotka hänen piti käsin tai koodaten korjata. Virheitä löytyi ominaisuustietojen arvoista, esimerkiksi jollain ominaisuustiedolla ei ollut ollenkaan arvoa. Tämä aiheutti aineiston syötössä omiin järjestelmiin ongelmia. Ominaisuustietojen nimissäkin oli virheitä: nimet eivät aina vastanneet pyydettyä.

Tarpeeksi pähkäiltyään ja koodattuaan, hän löysi ohjelman nimeltä FME. Hän otti yhteyttä meihin, ja rakensimme yhdessä FMEhen säännöt, jotka tarkistavat aineistojen virheet. Lisäksi automatisoimme aineistojen tarkastukset, ja työntekijä on ajoittanut tarkastukset hiljaiseen aikaan iltaan ja yöhön.

Paikkatiedon muuntamisen tehostus tarkoittaa sitä, että sinun ei tarvitse muuttaa omia järjestelmiäsi muuntamisen takia. Lähtöaineistosi ja tulosaineistosi pysyvät samoina, mutta välissä oleva muunnoksia tekevä työkalu on oltava joustava. FME on joustava. Milloin FME joustaa:

  • Kun lähtöaineistosi muuttuu.
  • Kun tulosaineistosi muuttuu.
  • Kun vaihdat järjestelmäversiota.
  • Kun vaihdat järjestelmää.

Jousto on hyvä, mutta jotain varmasti tarvitsee määritellä, jotta voin ajaa kaikki aineistoni FMEn läpi.

Totta, ihan työttömäksi et suinkaan jää. FMEssä määrittelyt tehdään FME Desktop-tuotteen FME Workbench:issä. Kuten seuraavassa kuvassa, määrittelet lähtöaineiston vasemmalle, keskellä muunnoksen ja tulosaineiston oikealla. Kuvan esimerkissä FMEssä yhdistetään eri lähtöaineistoja (3DCAD, GIS, rasteri ja tietokanta), jonka jälkeen tehdään tietokanta-liitos, leikkaus, laadunvarmennus ja korjaus. Lopuksi samassa muunnostiedostossa viedään aineistot 3DCADiin, jossa on yhdistetty GIS- ja CAD-aineistot, tietokantoihin ja eri sovelluksiin.

Jäi vielä hieman epäselväksi, että miten se tehostus tapahtuikaan?

Lue alussa esitelty työntekijän ongelma aineistoista, joita piti korjata. Hän määritteli muunnokset, tallensi ne ja ajasti muunnokset. Minkä tahansa muunnoksen teet FMEssä, voit tehdä sen uudestaan ja uudestaan, niin monta kertaa kuin on tarvetta. Verrattuna perinteiseen GIS:iin, joudut tekemään muunnokset klikkaus klikkaukselta kohde kerrallaan. Pahimmassa tapauksessa joudut käpistelemään suoraan itse tiedostoja jossain editorissa, tai luoda koodinpätkiä jokaiselle aineistollesi erikseen. Kun aineistot ja järjestelmät muuttuvat, ja näin varmasti käy, skriptit täytyy käydä rivi riviltä uudelleen läpi.

FME on skeema- ja formaattiriippumaton. Jos aineistosi formaatti tai tietomalli muuttuu, FME-muunnoksesi voivat pysyä täsmälleen samoina. FME joustaa.

Säästä aikaa ja resursseja paikkatiedon muuntamisessa. FMEllä voit automatisoida muunnoksesi hiljaiseen aikaan, esimerkiksi yölle.

Mainokset

Haluatko menestyä?

Minä haluan. Haluan olla hyvä siinä, mitä teen. Kaikkihan tietävät ainakin jollain tietoisuuden tasolla, miten tähän päästään, mutta välillä on hyvä palautella mieliin, miten se taas nyt menikään. Lähdetään siitä, että mikä on menestyksen vastakohta. Se on epäonnistuminen. Kuvassa on aito epäonnistuminen. Kuka haluaisi joutua veturinkuskin tai vaihteiden ohjaajan saappaisiin? Ei varmasti kukaan.

Epäonnistumisia tulee väkisinkin vastaan. GIS-alalla asiantuntija saattaa tehdä aineistopäivityksessä rankankin virheen, jota ei välttämättä huomata kymmeneen vuoteen. Tämä saattaa johtaa karttoihin, jotka johtavat autoilijoita harhaan. Joitakin vuosia sitten tuli vastaan eräs tapaus, jossa autoilija oli luottanut navigaattoriinsa ja ajanut mereen. Hän teki itsekin virheen, mutta jossain vaiheessa kartantuotantoakin oli sattunut virhe. Kaikkea sattuu, mutta miten voimme pyrkiä välttämään epäonnistumisia?

Epäonnistumien välttäminen = Menestykseen tähtääminen

Väitän, että välttääkseen epäonnistumiset, on tähdättävä onnistumiseen, menestykseen. Katso seuraava video menestymisestä:

Se listaa useita tekijöitä menestykseen, joista tärkeimmät ovat kova työ ja innostus. Pidetäänpä mielessä!

GIS-alalla menestymiseen tarvitaan samoja aineksia kuin millä tahansa muulla alalla. Kun ihminen on innokas ja kova tekemään töitä, hänellä on hyvät lähtökohdat menestyä.

FME, osa 3: Koordinaattimuunnos FME:llä

En ole törmännyt muihin sovelluksiin, joissa omien koordinaatistojen luonti olisi yhtä kätevää. FMEn koordinaattituki koostuu

  • yli 5000 tuetusta koordinaatistosta, mm. KKJ ja EUREF-FIN
  • omien koordinaatistojen luonnista.

Katsotaan, miltä koordinaatistot näyttävät FMEssä:

Coordinate System Gallery

Gallery näyttää valmiiksi määritetyt sekä käyttäjän määrittelemät listassa, josta selviävät koordinaatiston nimi, kuvaus, ryhmä, datumi, ellipsoidi, projektio ja yksiköt.

Koordinaattimuuntaminen

FMEn koordinaatistotuki on tietenkin koordinaattimuuntamista varten. Koordinaattimuuntamista voit tehdä sekä vektori- että rasteriaineistoille.

Yksinkertaisen koordinaattimuunnoksen voit tehdä avaamalla FME Workbenchin Workspace Dialogin, ja asettamalla Readerin sekä Writerin parametrit mukaan lukien koordinaatistot. Tässä esimerkissä asetin vain muunnettavan koordinaatiston, EPSG:3067, koska FME lukee lähtöaineiston koordinaatiston automaattisesti, jos lähtöaineiston formaatti kuljettaa mukanaan tietoa koordinaatistosta.

Paina OK ja F5, ja aineisto on muunnettu toiseen koordinaatistoon.

Omat koordinaatistot

  1. Ota esille koordinaatiston parametrit.
  2. Etsi MyCoordSysDefs.fme FME-asennushakemiston Reproject-kansiosta.
  3. Editoi tiedostoa lisäämällä seuraavat tiedot. Hakasuluissa olevat eivät ole pakollisia:

COORDINATE_SYSTEM_DEF <koordinaatiston nimi>

PROJ <Projektio>

UNIT <Yksikkö>

( DT_NAME <Datumi> | EL_NAME <Ellipsoidi>)

[<Parametri> <Arvo>]+

[ DESC_NM <Kuvaava nimi>]

[GROUP <Ryhmä>]

[ QUAD <Kvadrantti>]

[ SOURCE <Lähde>]

[ZERO_X <Zero X>]

[ZERO_Y <Zero Y>]

Tallenna tiedosto, ja koordinaatisto löytyy tuettujen koordinaatistojen luettelosta.

Datumit

Koordinaatiston lisäksi voit lisätä omia datumeja ja niiden muunnoksia FMEhen. Esimerkiksi ETRF89-datumille voit lisätä erilaisia muunnoksia kuten 7-parametrinen, Bursa, Molodensky, jne.

Koordinaattimuunnin-pluginit

FMEssä voi integroida kolmannen osapuolen koordinaattimuuntimia FME APIn avulla. Käyttäjä linkitsee oman sovelluksensa FME APIn avulla FMEn toiminnallisuuteen.

Kysyttävää

Jos koordinaatistoista jäi jotain epäselväksi kysy.

FMEn tuettuja koordinaatistoja on yli 5000. Voit lisäksi luoda myös omia koordinaatistoja ja integroida omia koordinaattimuunnossovelluksia FME APIn avulla.

Mikä on OSM? Tiedätkö?

Tutustunpa nyt OSM:ään eli OpenStreetMapiin. Katsotaan, mitä käy.

auttaa

Kirjoittamalla OpenStreetMap, pääsen OSM:n sivuille. OpenStreetMap on vapaa karttatietojen luomiseen, tarjoamiseen ja ylläpitämiseen keskittynyt projekti, sivuilla kerrotaan tiivistetysti.

Painetaan näytä karttaa, ja etsitäänpä Helsinki. Zoomataan.

Selvä. Näyttää käyttökelpoiselta. Värit tosin ovat ehkä hieman hailut minun silmääni.

Katsotaanpa a uudestaan

Kirjoitetaan hakusanoiksi ”OpenStreetMap FME”. Valitsen uusimman kirjoituksen aiheesta. Tuloksena päädyn blogikirjoitukseen, joka tiivistää kaksi asiaa:

  • FMEllä voi lukea OpenStreetMapia.
  • FMEllä voi kirjoittaa OpenStreetMapiin.

Ei ollut hukkareissu. En tosin keksinyt vielä, miten hyötyisin OSM:stä. Kertokaa te, jos teillä on kokemuksia tai mielessä käyttökohteita.

OpenStreetMap on avoin projekti karttatietojen luomiselle, tarjoamiselle ja ylläpidolle. FMEllä voit sekä lukea että kirjoittaa OpenStreetMap-karttatietoja.

FME, osa 2: Miten muunnetaan formaatteja?

Jatketaan artikkelisarjan osaan 2. Jos luet sarjaa ensimmäistä kertaa, luethan myös ensimmäisen kirjoituksen. Otsikon mukaisesti tämä osa käsittelee formaattimuuntamista, eli pääosin FMEn formaattitukea, ja miten FMEllä formaattimuunnokset oikeastaan tehdään.

Formaattituki

Formaattituki kattaa yli 250 formaattia, joita ovat GIS-, CAD-, rasteri-, tietokanta-, webbi-, 3D- ja BIM-formaatit. Esimerkkejä tuetuista formaateista:

  • GIS: ESRI Shape, Mapinfo Tab, MIF/MID, GML, KML
  • CAD: AutoCAD DWG/DXF, Bentley Microstation Design

  • Rasteri: GeoTIFF, TIFF,  JPG, JPG2000, PNG, ERDAS IMG, ECW
  • Tietokanta: Oracle, Smallworld, ArcSDE, PostGIS,  PostGreSQL, Geomedia
  • Web: WFS, WMS

3DPDF, Dimitris Raster Studio, Safe Software

  • 3D ja BIM: IFC, KML, FDO / SDF3, DEM-formaatit, CityGML, DGN, DWG, Autodesk 3ds ja Map 3D

Miksi minun pitäisi innostua formaattituesta, kun tarvitsen vain muunnoksen kahden formaatin välille, esim. CAD-GIS-muunnos?

On totta, että alalla on muitakin sovelluksia, jotka hoitavat hyvin perusformaattimuunnokset. Ehkä et tarvitsekaan FMEn yli 250 formaattia. FMEn käytössä on kuitenkin etunsa:

  • FME tekee formaattimuunnokset nopeimmin. FMEn ei tarvitse käynnistää graafista käyttöliittymää. FME tarvitsee muunnokseen vain muunnosmoottorin käynnistyksen. Muistathan, kun puhuin aiemmin, että FMEn ykkösvaltti on automatisointi. Ajastat formaattimuunnoksen suurille määrille aineistoja, ja ajat muunnokset hiljaiseen aikaan.
  • Jos asiakkaasi päättääkin haluta sinulta jotain erikoisempaa formaattia, katso formaatti täältä, yllätyt.
  • On parempi keskittää formaattimuunnokset yhdelle ohjelmistolle kuin tehdä niitä viidellä eri ohjelmistolla.

Hmm, näytä miten se menee.

Selvä. Tässä askel kerrallaan:

Avaa workspace-dialog

Getting Started

Valitse Readerin formaatti ja aineisto sekä Writerin formaatti ja aineisto.

Workspace dialog

Paina OK ja F5

Siinä se. Lisää temppuja luvassa seuraavassa kirjoituksessa. Pysy kanavalla.

EDIT: Katso kommentit CAD-Shape-muunnoksesta, jos aineistosi sisältää arceja ja ellipsejä, kun Shape ei niitä tue.

FME tukee yli 250 formaatin muuntamista, joita ovat GIS-, CAD-, rasteri-, tietokanta-, webbi-, 3D- ja BIM-formaatit. Säästät aikaa ja sormilihaksia automatisoimalla formaattimuunnokset.

FME, osa 1: Mikä FME on? Lue.

Tämä lyhyiden artikkeleiden sarja esittelee FMEn perusteita, eli, mitä FME on. Pyrin pitämään artikkelisarjan muutamassa kirjoituksessa, ja jatkossa saatte lukea paikkatiedon muuntamisesta, juuri sitä, mitä olen työssäni tehnyt ja mitä asiakkaat FMEllä tekevät.

Aloitetaan kysymyksillä ja vastauksilla:

Mistä sanoista FME tulee?

FME

FME tulee sanoista Feature Manipulation Engine, joka vapaasti suomennettuna on kohteiden muokkausmoottori. Jokainen FME-asennus sisältää tällaisen moottorin, joka hoitaa käyttäjän määrittelemät kohteiden muunnokset.

Kenen softa FME on?

Kanadalaisen Safe Softwaren. He ovat olleet mukana paikkatiedon muuntamisessa 1990-luvun alkupuoliskosta lähtien.

Ketkä FMEtä käyttävät?

Valtion organisaatiot, kunnat ja yritykset, jotka toimittavat paikkatietoaineistoja. Yksi yritys pyöräyttää kaikki saamansa viiva-aineistot FMEn yleistystyökalun kautta, ja vähentää näin käytettävää datamäärää.

No mitä se FME sitten tekee?

Muuntaa paikkatietoaineistoja, eli tekee

  • formaattimuunnoksia
  • koordinaattimuunnoksia
  • tietomallimuunnoksia
  • lisäksi voit tehdä analyysejä.

Eipä ole uutta. Miksi sitten FME?

Tässä muutama perussyy:

  1. FME:n jokaisen ajon voi automatisoida. Esimerkki: Olet paikkatietoasiantuntija, ja sinulla on korjattavana vanhoja paikkatietoaineistoja ja muunnettava ne kaikki toiseen koordinaatistoon. Et halua tehdä tätä kaikkea käsin, koska sinulla on kädet täynnä töitä, ja muutenkin manuaalinen hiiren klikkailu vie aikaa. Päätät käyttää tähän FMEtä. Määrittelet FMEllä korjaukset ja koordinaattimuunnokset tiedostoon. Ajastat tiedoston aloittamaan ajon illalla kello 20.00. Tulet aamulla töihin, ja heti ensimmäisenä tarkastat lokitiedostot, ja aineistot on muunnettu! Tähän kaikkeen kului huomattavasti vähemmän aikaa kuin aineistojen käsin vääntämiseen.
  2. FME tukee yli 250 formaattia. Useat organisaatiot käyttävät FMEtä suurimmaksi osaksi formaattimuunnoksiin, jotta pystyvät tarjoamaan asiakkailleen paikkatietoaineistoja heidän haluamassaan formaatissa.
  3. Koordinaatistoja on tuhansia. FMEssä voit myös määritellä omia koordinaatistoja. Tarvitset siihen tietenkin koordinaatiston parametrit, mutta se riittää. Sinun ei tarvitse osata koodata sitä varten.
  4. Aineistojen analyysit. Saat rakennettua juuri haluamiasi analyysejä käyttäen FMEn workflow-mallinnusta. Eräs yritys rakensi FMEllä tulvamallinnusta ja -monitorointia. Yksi ilmailualan toimija teki FMEllä lentokentän reuna-alueiden analyysejä, mm. meluhaitat.

Mitä se maksaa?

Ehdottomasti halvempi kuin muut vastaavat työkalut. Ota yhteyttä.

Mistä saan lisätietoa?

Käy sivuillamme: www.spatialworld.fi. Voit myös seurata blogikirjoituksiani.

FMEtä käytetään paikkatietoalalla formaatti-, koordinaatti- ja tietomallimuunnoksiin sekä paikkatietoaineistojen laadunvarmennukseen, korjaamiseen ja analyyseihin. Automatisointi ja monipuolisuus ovat tämän ohjelmiston ehdottomia ykkösjuttuja!