Kelpo arviointitutkimus on helpommin sanottu kuin tehty elävässä elämässä ja moninaisten toimien vaikutuskentillä, usein pienillä tutkimusbudjeteilla. Oman kokemukseni mukaan ministeriöt arvostavat eri työmuotoja ja hankkeita koskevissa tutkimuksissa muutosten mittaamista, koetyyppisiä vertailuasetelmia ja niiden pohjalta tehtyä panostuotos-laskentaa, joka osoittaa hyväksi uskotun toiminnan vaikuttavuuden, mutta ei problematisoi sen kummemmin.
Tomas Hanell (2019) tiivistää, ettei yhteiskunnan hallinto kykene enää toimimaan ilman numeerisia mittareita ja osoittaa, että tunnistamattomana numeroiden objektiivisuusolettamus sekä pakko kvantifioida hallinnan kohteita tekevät päätöksenteosta haavoittuvaista. Mittaaminen on arvoperustainen, poliittinen valinta ja ennen pitkää valitut indikaattorit voivat itsessään luoda arvopohjaa eli yhteiskunnassa päädytään arvostamaan sitä, mitä pystytään mittaamaan. Silloin nuorten palvelujakin koskeva arviointitieto sekä itse palvelut voivat yksipuolistua tulosodotusten mukaisiksi, eivätkä ne pysty palvelemaan nuoria parhaalla mahdollisella tavalla muuttuvissa olosuhteissa ja tarpeissa.
Tunnistamattomana numeroiden objektiivisuusolettamus sekä pakko kvantifioida hallinnan kohteita tekevät päätöksenteosta haavoittuvaista. Yhteiskunnassa voidaan päätyä arvostamaan sitä, mitä pystytään mittaamaan.
Ohjaamojen tukihanke ja tutkimus
Toimin reilut viisi vuotta ESR-rahoitteisessa valtakunnallisesti Ohjaamojen toimintaa tukevassa ja kehittävässä Kohtaamo-hankkeessa (Vieraile ulkoisella sivustolla. Linkki avautuu uuteen välilehteen.)Keski-Suomen ELY-keskuksessa. Rahoitus tähän koordinoivaan hankkeeseen tuli pätkittäin ja työsuhteet olivat vuoden–kahden mittaisia. Hankkeen jatko oli vaakalaudalla vuosien 2019 ja 2020 vaihteessa, mutta hanketta saatiin jatkettua kuitenkin vuoden 2020 loppuun perustellen sujuvaa siirtymää vakituiseen koordinaatioon. Vuoden 2020 keväällä Ohjaamojen koordinaatiorakenne ei saanut tuulta alleen hallituksen budjettiriihessä, koska korona-aika edellytti muita päätöksiä. Siksi Kohtaamo-hanketta päätettiin jatkaa vuoden 2021 lopulle. Ja se tarkoitti jälleen uuden hankesuunnitelman väsäämistä.
Siinä vaiheessa työ- ja elinkeinoministeriössä laitettiin uutta vaihdetta silmään ja vaadittiin meiltä kohtaamolaisilta ministeriötä paremmin palvelevaa toimintaa ajatellen ministeriön tiedolla johtamisen tehtävää ja tulevaa koordinaatiorakennetta, ei niinkään Ohjaamojen työn tukemista ja tutkimista. Henkilökohtaisesti ”nyt ei aiempi työ enää riitä” -hokema harmitti eikä minulla ollut mistä ottaa, siksi koin hyväksi hypätä pois vankkureista.
Viisivuotiskausi Ohjaamojen tiedontuotannon parissa antoi ja opetti paljon. Kolmeen toimittamaani kirjaan on koottu vuosien oppeja (Määttä 2017, 2018; Määttä & Souto 2020), samoin moninaisiin raportteihin ja koonteihin, joita tein yksin ja yhdessä muiden kanssa. Lisäksi tein artikkeleita (esim. Määttä 2019), joista tuorein julkaistiin maaliskuussa osana Nuorisobarometria (Haikkola ym. 2021). Muutosta mittaavan artikkelin kirjoitin Jyrki Virran kanssa Tutkittu ja tulkittu -kirjaan (2020). Siinä tarkasteltiin keskeisten yhteistyötahojen näkemyksiä Ohjaamoista vuosien 2016 ja 2019 sidosryhmäkyselyaineistolla. Saatiin Ohjaamo-toimintaan Valtioneuvoston tutkimus- ja selvitystoiminnan rahoittama Monet-tutkimushankekin (Vieraile ulkoisella sivustolla. Linkki avautuu uuteen välilehteen.), jossa on hyödynnetty hyvinkin monenlaista tutkimusotetta (Valtakari ym. 2020). Se vahvisti kuvaa siitä, miksi Ohjaamo-toiminnan ja ylipäätänsä ohjauksellisen toiminnan vaikutusten arviointi on monella tapaa hankalaa, osaltaan mahdotontakin.
Juha Eskelinen ja Mikko Valtakari (2020) tarkastelevat työllisyyspalvelujen arvioinnin haasteita ja toteavat: ”Seurantajärjestelmät (sikäli kun niitä on) ovat pääasiassa rakentuneet tiettyjen työllistymistä edistävien yksittäisten palveluiden tai toimenpiteiden seurantaan. Tällöin arvioitu vaikuttavuus arvioidaan yleisesti kyseisen toimenpiteen vaikutukseksi, vaikka toimenpidettä olisi edeltänyt pitkä asiakkaan työelämävalmiuksia ja työllistymistä edistänyt prosessi. Olemassa olevat seurantajärjestelmät eivät tunnista asiakkaan monesti ketjuuntunutta palveluprosessia ja jättävät esimerkiksi tärkeän ohjauksellisen työn osuuden vaikutusten tunnistamisessa näkymättömäksi.” (Kursivointi kirjoittajan.)
Olemassa olevat seurantajärjestelmät eivät tunnista asiakkaan monesti ketjuuntunutta, työelämävalmiuksia ja työllistymistä edistänyttä palveluprosessia ja jättävät esimerkiksi tärkeän ohjauksellisen työn näkymättömäksi.
Tämä monialaisten seurantajärjestelmien puute vaikeuttaa Ohjaamo-toiminnan ja monen muunkin ohjauksellisen työn arviointia. Toinen selkeä arvioinnin haaste Ohjaamojen kohdalla on niiden moninainen käytännön toteutus eri kunnissa; ei ole yhtä mallia, jonka toimivuutta voisi arvioida.
Mitä opin
Tiesin aiemmista hankkeistani, että taloudellinen tarkastelu on isoissa kehittämishankkeissa oleellista, ja siksi esimerkiksi Ohjaamojen arviointikehikkoa oli alkuvaiheessa suunnittelemassa myös sosiaali- ja terveystaloustieteilijöitä. Jälkikäteen ajatellen hankekokonaisuuden taloudelliseen kirjanpitoon ja arviointiin olisi kannattanut panostaa enemmänkin, esimerkiksi ostamalla siihen liittyvää tutkimusta pidemmäksikin aikaa. Ilman taloustieteellistä osaamista luotettavaa taloustarkastelua on hankala toteuttaa.
Laajan valtakunnallisen ja monialaisen toimintamallin alkutaipaleen, kuten Ohjaamojen, tutkimuksessa olisi tarpeen yhdistää ainakin kolmenlaista tutkimusotetta, jotka – uskallan sanoa – harvoin ovat yhden tutkijan hallussa. Tarvitaan:
- Kyseistä toimintaa historialliseen ja poliittishallinnolliseen maisemaan sijoittavaa tulkinnallista otetta: mitä ollaan tekemässä, ketkä sitä tekevät ja tukevat, miksi sitä tehdään, millaisia ammatillisia tai poliittisia intressejä siinä nousee. Tulkinnallisen otteen lisäksi tarvitaan laajaa kentän ja hallinnon tarpeiden hahmottamista ja perustiedonkeruun suunnittelua, analyysiä ja raportointia.
- Koeasetelmatyyppistä tutkimusta tilastoja sekä puutteellisia, usein suurta käsityötä vaativia, rekistereitä hyödyntämällä. Tämäkin vaatii luovaa ongelmanratkaisukykyä tutkimusasetelman tekemisessä sekä laajaa ymmärrystä kentän toimista ja mahdollisista aineistoista sekä niiden rajoitteista.
- Edellisten kohtien perustalta ponnistavaa taloudellista arviointia: Saadaanko toimintaan laitetuilla resursseilla aikaan parempaa – asiakkaiden elämänlaatua ja hyvinvointia, elämässä etenemistä, työelämäosallistumista, yhteiskunnallista hyvää – kuin aiemmalla toiminnalla? Taloudellinen arviointi ei saisi yksinkertaistaa monimutkaista toimintakenttää. Siksikin yhteistyössä toteutettu tutkimusohjelma olisi hyödyllinen kaikkien tutkimusotteiden näkökulmasta.
Kaikissa näissä kohdissa tavoitteena on tarkastella hankkeen tai toiminnan erilaisia vaikutuksia, unohtamatta mahdollisia haittavaikutuksia.
Oma osaamiseni liittyy ensimmäiseen tutkimusotteeseen, lähelle arvioitavaa toimintaa. Pohdin esimerkiksi käytettyjen käsitteiden vaikutuksia asiakasryhmän, eli nuorten ja nuorten aikuisten, ja ammattilaistenkin kannalta. Kakkoskohtaa eli tilasto- ja rekisteripohjaista tutkimusta helpottaisi huomattavasti, mikäli jo hankkeiden suunnitteluvaiheessa panostetaan toimivan seurantatiedon saamiseen. Rahoitusjärjestelmänkin edellyttämässä tiedonkeruussa pitää huomioida tutkimus- ja arviointitarpeet, niin että kaikki oleellinen aineisto on hyödynnettävissä. Ohjaamo-toiminnassa esimerkiksi ESR-Ohjaamo-hankkeiden keräämien asiakastietojen käyttäminen ei ollut tutkimuksessa mahdollista juridisesti (lupaa ei kysytty lomakkeessa) eikä käytännön syistä (lomakkeiden tietoja ei tallennettu tutkimuksessa hyödynnettävässä muodossa).
Ehkäisevän työotteen, neuvonnan ja ohjauksen tuloksia ei ole helppoa osoittaa, ja varsinkin jos osa toiminnasta on myös anonyymiä, kuten Ohjaamoissa. Sitähän tavoiteltu matala kynnys osaltaan tarkoittaa, ainakin Ohjaamoissa. Monialaisessa työssä myös eri ammattien perimmäinen tavoite hahmotetaan eri tavoin, samoin asiakkaiden kohdalla tavoitteet asettuvat varmasti eri kohtiin. Taloudellista arviointia tehdessä palvelun koettu hyöty sekä asiakkaiden elämänlaadun ja hyvinvoinnin muutokset ovat myös oleellisia tuloksia, ei vain koulutukseen ja työelämään pääseminen ja siellä eteneminen.
Kirjoittaja
Mirja Määttä
Projektitutkija
Kohdennetun nuorisotyön osaamiskeskus, Juvenia, XAMK
Määtän kuva: Emmi Virtanen.
Lähteet
Eskelinen, Juha & Valtakari, Mikko (2020) Menetelmällisistä haasteista työllisyysvaikutusten arvioinnissa – kokemuksia viimeaikaisista arvioinneista. Työpoliittinen aikakauskirja 3/2020. https://julkaisut.valtioneuvosto.fi/bitstream/handle/10024/162481/31487753_TEM_tyopoliittinen_3_2020.pdf?sequence=1&isAllowed=y (Vieraile ulkoisella sivustolla. Linkki avautuu uuteen välilehteen.)
Haikkola, Lotta – Määttä, Mirja – Toiviainen, Sanna – Silja Uusikangas (2021) Työllistymistä edistävien palvelujen yhdenvertaisuus nuorten näkökulmasta. Teoksessa: Päivi Berg & Sami Myllyniemi (toim.) Nuorisobarometri 2020. Valtion nuorisoneuvosto & Nuorisotutkimusseura/Nuorisotutkimusverkosto, verkkojulkaisuja 157. https://tietoanuorista.fi/wp-content/uploads/2021/03/nuorisobarometri-2020-web-1.pdff (Vieraile ulkoisella sivustolla. Linkki avautuu uuteen välilehteen.)
Hanell, Tomas (2019) Hyvästä rengistä huonoksi isännäksi: kvantifikaatioimperatiivi yhdyskuntasuunnittelussa. Yhdyskuntasuunnittelu 57:3. https://journal.fi/yhdyskuntasuunnittelu/article/view/86009/44917 (Vieraile ulkoisella sivustolla. Linkki avautuu uuteen välilehteen.)
Määttä, Mirja (ed. 2018) One-Stop Guidance Center (Ohjaamo) – Ready to offer multi-agency services for the young. Kohtaamo. https://www.doria.fi/bitstream/handle/10024/162148/OneStopGuidance.pdf?sequence=5&isAllowed=y (Vieraile ulkoisella sivustolla. Linkki avautuu uuteen välilehteen.)
Määttä, Mirja (toim. 2017) Uutta auringon alla? Ohjaamot 2014–2017. Kohtaamo. https://www.doria.fi/bitstream/handle/10024/162149/Uutta_auringon_alla%20f.pdf?sequence=1&isAllowed=y (Vieraile ulkoisella sivustolla. Linkki avautuu uuteen välilehteen.)
Määttä, Mirja (2019) Reforming youth transition support with the multi-agency approach? – A case study of the Finnish One-Stop Guidance Centers. Sociologija – Journal for Sociology, Social Psychology and Social Anthropology.
Määttä, Mirja & Souto, Anne-Mari (2020, toim.). Tutkittu ja tulkittu Ohjaamo – Nuorten ohjaus ja palvelut integraatiopyörteessä. Nuorisotutkimusseura/Nuorisotutkimusverkosto, verkkojulkaisuja 154. https://nuorisotutkimus.fi/images/julkaisuja/tutkittu_ja_tulkittu_ohjaamo_web.pdf
Määttä, Mirja & Virta, Jyrki (2020) Ohjaamojen monialainen organisoituminen ja tavoitteiden saavuttaminen sidosryhmien näkökulmasta. Teoksessa: Määttä, Mirja & Souto, Anne-Mari (toim.). Tutkittu ja tulkittu Ohjaamo. Nuorisotutkimusseura/Nuorisotutkimusverkosto, verkkojulkaisuja 154. https://nuorisotutkimus.fi/images/julkaisuja/tutkittu_ja_tulkittu_ohjaamo_web.pdf
Valtakari, Mikko; Arnkil, Robert; Eskelinen, Juha; Mayer, Minna; Nyman, Juho; Sillanpää, Keimo; Spangar, Timo; Ålander, Tommi; Yli-Koski, Maria (2020): Ohjaamot – monialaista yhteistyötä, vaikuttavuutta ja uutta toimintakulttuuria: Monialaisen yhteistyön vaikuttavuus nuorten työllistymistä edistävissä palveluissa. Valtioneuvoston selvitys- ja tutkimustoiminnan julkaisusarja 2020:13. https://julkaisut.valtioneuvosto.fi/bitstream/handle/10024/162134/VNTEAS_2020_13.pdf?sequence=1&isAllowed=y (Vieraile ulkoisella sivustolla. Linkki avautuu uuteen välilehteen.)