Moninäkökulmainen vaikuttavuuden arviointi

Vaikuttavuuden arvioinnissa vanhemmat, lapsi ja ammattilaiset arvioivat päätetapahtumia ja asiakkaan ääni on keskiössä.

Vaikuttavuuden arvioinnissa tarkastellaan palvelutuotannolla aikaan saatua muutosta. Päätetapahtumaksi (outcome) kutsutaan asiaa tai ilmiötä, jota vaikuttavuuden arvioinnissa tarkastellaan – sosiaali- ja terveyspalveluissa usein mitataan muutosta asiakkaan terveydessä, toimintakyvyssä tai hyvinvoinnissa (Pitkänen et al., 2020). Vaikuttavuuden arvioinnin juuret ovat terveydenhuollossa, josta myös vaikuttavuuden arviointia koskevaa sanastoa on peräisin. Vaikuttavuuden arvioinnissa kaksi keskeistä ulottuvuutta ovat asiakkaan oma arvio tilanteestaan ja asiakkaan kokemus palvelusta. Käsite PROM (Patient Reported Outcome Measure) viittaa itsearvioinnin välineeseen, jonka avulla selvitetään asiakkaan oma arvio esimerkiksi terveydentilastaan, hyvinvoinnistaan tai elämänlaadustaan. Termi PREM (Patient Reported Experience Measure) tarkoittaa mittaria, jonka avulla tiedustellaan asiakkaan henkilökohtaista kokemusta palvelusta tai hoidosta, jota hän on saanut (Roe et al, 2022). Lisäksi vaikuttavuuden arvioinnissa voidaan käyttää ammattilaisten arvioita asiakkaan tilanteesta (Pitkänen et al., 2020).

Profiam tuottaa monimuotoisesti lasten sosiaalihuollon ja lastensuojelun avohuollon palveluita. Palveluiden vaikuttavuuden arvioinnin kehittämistyö alkoi vuonna 2020. Vaikuttavuuden arvioinnin kehittäminen on pitkäjänteinen työ, joka on ohjannut pohtimaan sitä, missä asioissa haluamme saada lastensuojelun palvelutuotannolla aikaan muutosta – mihin asioihin työmme tulisi vaikuttaa? Olemme päätyneet siihen, että työmme pitää näkyä lapsessa – suotusina muutoksina lapsen psykososiaalisessa tilanteessa. Vaikuttavuuden arvioinnissa käytämme yhtenä mittarina myös lastensuojelun palveluiden vaikuttavuuden arviointiin suositeltua Lapsen vahvuudet ja vaikeudet -lomaketta (SDQ, Strengths and Difficulties Questionnaire, https://www.sdqinfo.org) (Forrester, 2017; Flink & Aaltio, 2020).  Lomakkeesta on olemassa myös seurantaversio, joka mahdollistaa muutoksen tarkastelun. SDQ-mittarille on esitetty suomalaiseen aineistoon perustuva viitearvot, joiden on todettu varsin hyvin tunnistavan ne lapset, joiden psykososiaalisesta tilanteesta ja psyykkisestä terveydentilasta on perustellusti oltava huolissaan (Borg et al., 2014).

Jotta lapsi voisi kukoistaa, työmme pitää näkyä myös lapsen hoivassa ja vanhemmuudessa – lapsen hyvä hoiva on tärkein lapsen kehitystä edistävä tekijä (Britto et al., 2017). Hoivaavan huolenpidon viitekehys (Nurturing care) on Maailman terveysjärjestön, YK:n lastenrahaston, UNICEF:in ja Maailmanpankin luoma viitekehys varhaislapsuuden kehityksen edistämiseksi (World Health Organization, United Nations Children’s Fund, World Bank Group, 2018; Britto et al., 2017). Profiamilla palveluiden vaikuttavuuden arvioinnissa yhtenä päätetapahtumana on vanhemmuus –  lapsen hoivaavan huolenpidon keskeiset ulottuvuudet. Hoivaavan huolenpidon viitekehystä suomalaisiin lastensuojelun palveluihin soveltaen olemme kehittäneet OPAS-menetelmän, joka ohjaa tutkimaan vanhemmuutta ja lapsen hoivaa viiden keskeisen osa-alueen näkökulmasta; 1) perushoiva ja huolenpito, 2) kasvatuskäytännöt, 3) vuorovaikutus 4) vanhemman vointi ja voimavarat sekä 5) lapsen turvallisuus ja turvallisuuden tunne. Menetelmä avaa tutkimusmatkan vanhemmuuteen ja sitä ohjaa tuen tarjoamisen näkökulma. OPAS avaa ymmärrettävästi konkreettisiksi ilmiöiksi sitä, mitä lapsen hoiva ja vanhemmuus tarkoittavat, ja herättää vanhemman tutkimaan ja reflektoimaan lapsen kokemuksia, tarpeita ja hoivaympäristöä, omaa vanhemmuuttaan sekä vointiaan ja voimavarojaan vanhemmuudessa. OPAS-tutkimusmatkan osa-alueet muodostavat myös vaikuttavuuden arvioinnin päätetapahtuman; vaikuttavuuden arvioinnissa tarkastellaan vanhemmuutta ja lapsen hoivaavaa huolenpitoa sekä vanhemman itseraportoinnin että ammattilaisten raportoinnin avulla. OPAS-menetelmän ohjaama tutkimusmatka vanhemmuuteen mahdollistaa lapsen hoivaavan huolenpidon ja vanhemmuuden systemaattisen tutkimisen sekä dialogin vanhempien ja ammattilaisten välillä, mikä auttaa ohjaamaan tukea asioihin, joita vahvistamalla lapsen riittävän hyvä hoiva voisi toteutua mahdollisimman usein.

Vaikuttavuuden arvioinnissa tutkimme myös yhteistyösuhteen laatua asiakkaiden kokemuksena, koska hyvä yhteistyösuhde on se silta, jonka varassa voimme toteuttaa kotikäynteihin perustuvaa psykososiaalista tukea lapselle ja perheille. Tutkimusten mukaan parempi yhteistyösuhde liittyy myös psykososiaalisten palveluiden parempaan vaikuttavuuteen (Flückiger et al., 2018; Karver et al., 2018; Murphy & Hutton, 2018). ​ Olemme laatineet MATKA-kysymyssarjan, joka tutkii sekä lapsen että vanhemman kokemusta työskentelystä ja yhteistyösuhteesta; kysymykset mittaavat asiakkaan ja työntekijän suhdetta (bond) sekä asiakkaan kokemusta palvelusta ja siinä asetetuista tavoitteista ja niiden toteutumisesta (goals). MATKA pohjautuu kansainvälisesti käytössä olevissa yhteistyösuhteen mittareissa esitettyihin yhteistyösuhteen ulottuvuuksiin; taustalla vaikuttavat esimerkiksi professori Adam O. Horvathin kehittämä WAI-mittari (Working Alliance Inventory) ja Diane K. Yatchmenoffin lastensuojelun palveluita varten kehittämä asiakkaan sitoutumista tutkiva mittari (https://wai.profhorvath.com; Yatcmenoff, 2005; Forrester, 2017). 

Profiamilla vaikuttavuuden arviointi on moninäkökulmainen ja lapsikeskeinen prosessi - vaikuttavuuden arvioinnissa lapsi, vanhemmat ja ammattilaiset arvioivat päätetapahtumia. Lapsen ja hänen vanhempiensa arviot tilanteesta ja kokemukset palvelusta ovat keskiössä. Lapselta itseltään ja vanhemmilta kysymme lapsen hyvinvoinnista standardoidulla ja validoidulla SDQ-mittarilla. Pyydämme vanhempia arvioimaan omaa vanhemmuuttaan ja lapsen hoivaavan huolenpidon keskeisiä ulottuvuuksia sekä annamme niistä myös ammattilaisen arvion. Lisäksi haluamme tavoittaa asiakkaiden – sekä lasten että heistä huolehtivien aikuisten – kokemuksen palvelusta; kysymme lapselta ja vanhemmilta heidän kokemustaan yhteistyösuhteesta ja palvelusta systemaattisesti.

Vaikuttavuuden arvioinnin prosessista on hyötyä. PROM-mittareiden käyttö mahdollistaa asiakaskeskeisen – lapsi- ja perhekeskeisen – arvioinnin ja työn, toimintamme arvioinnin, laadun parantamisen, seulonnan eli tässä tapauksessa lasten psykososiaalisten vaikeuksien tunnistamisen, seurannan, vaikuttavuuden tarkastelun ja voimavarojen ohjaamisen oikeisiin asioihin tarkoituksenmukaisella tavalla (Nelson et al., 2015). Ammattilainen voi hyödyntää asiakkaan kokemusta palvelusta – asiakkaan kokemus palvelusta ja yhteistyösuhteesta on palaute, joka voi ohjata ammattilaisia tekemään työtään vaikuttavammalla tavalla (Tam & Ronan, 2017). Laadullinen tutkimus on osoittanut, että PROM-mittareiden käytöllä on hyötyjä; ne vahvistavat asiakkaan osallisuutta edistämällä tavoitteiden asettamista sekä sallimalla keskustelun myös herkistä aiheista, parantavat palveluiden ohjautumista asiakkaan tarpeiden mukaan, parantavat hoidon tai annetun tuen laatua mahdollistamalla räätälöidyn ja tarpeenmukaisen tuen sekä seurannan ja vahvistavat asiakkaan ja ammattilaisen välistä suhdetta (Campbell et al., 2021). 

Laajemmin lastensuojelun palveluiden vaikuttavuuden arvioimisen kehittäminen vaatisi laajapohjaista keskustelua, kansallista ohjausta, käytännön työhön sopivien menetelmien ja mittareiden kehittämistä sekä sellaisten digitaalisten järjestelmien rakentamista, joiden avulla tiedon kerääminen, tallentaminen ja analysointi olisi mahdollista. Joskus tulevaisuudessa saattaa olla myös mahdollista, että voimme toteuttaa vertailuanalyysia (benchmarking) eli tarkastella samoilla mittareilla eri palveluntuottajien tuottamien palveluiden vaikuttavuutta tai asiakkaiden kokemuksia palveluista. Profiamilla jo nyt voimme tehdä vertailuanalyysia siitä, miten eri puolella Suomea palveluidemme piiriin tulevat lapset ja vanhemmat arvioivat tilanteensa.

Vaikuttavuuden arviointi kaventaa kuilua lapsen/perheen ja ammattilaisten todellisuuden välillä. Vaikuttavuuden arvioimisen implementoiminen käytäntöön on uusi suunta, joka entistä vanhemmin ohjaa meitä ammattilaisia kuulemaan asiakkaiden – lasten ja heidän perheenjäseniensä – äänen. Emme voi olettaa tuntevamme asiakkaan ongelmaa tai tietävämme sitä, miten palvelumme vaikuttavat perheisiin tai lapset ja aikuiset kokevat palvelun. Meidän täytyy kysyä sitä heiltä itseltään. Tutkimusnäyttö viittaa siihen, että asiakkaiden omat arviot tilanteestaan – PROM-mittareiden systemaattinen käyttö –  johtavat parempaan kommunikaatioon ja jaettuun päätöksentekoon asiakkaiden ja ammattilaisten välillä sekä lisäävät asiakkaiden tyytyväisyyttä saamaansa tukeen (Nelson et al., 2015; Roe et al., 2022).

Vaikuttavuuden arvioinnin prosessin kehittäminen on osa palveluiden laadun kehittämistä. Arviomme mukaan vaikuttavuuden arvioinnin prosessi voi vahvistaa monitoimijaista lapsen elämäntilanteen ja tuen tarpeen lapsikeskeistä arviointia, asiakkaiden osallisuutta, työskentelyn läpinäkyvyyttä sekä dialogia lapsen, perheen ja ammattilaisten kesken. Kokemuksemme vaikuttavuuden arvioinnista tähän asti osoittavat, että vaikuttavuuden arvioinnin prosessi ohjaa työskentelyä lapsen kasvun, kehityksen ja turvallisuuden kannalta merkityksellisiin asioihin ja antaa systemaattista tietoa työskentelyn aikana tapahtuvista muutoksista. Tällä hetkellä seuranta-aineistomme on vielä kooltaan pieni, mutta vastaukset ovat lupaavia. Seurannassa lomakkeeseen vastanneista vanhemmista enemmistö kokee saaneensa apua työskentelystä ja arvioi lapsen tilanteen muuttuneen parempaan suuntaan.

Viitteet:

Borg AM, Kaukonen P, Joukamaa M, Tamminen T. Finnish norms for young children on the Strengths and Difficulties Questionnaire. Nord J Psychiatry. 2014 Oct;68(7):433-42. doi: 10.3109/08039488.2013.853833. Epub 2013 Nov 15. PMID: 24228779.

Britto PR, Lye SJ, Proulx K, Yousafzai AK, Matthews SG, Vaivada T, Perez-Escamilla R, Rao N, Ip P, Fernald LCH, MacMillan H, Hanson M, Wachs TD, Yao H, Yoshikawa H, Cerezo A, Leckman JF, Bhutta ZA; Early Childhood Development Interventions Review Group, for the Lancet Early Childhood Development Series Steering Committee. Nurturing care: promoting early childhood development. Lancet. 2017 Jan 7;389(10064):91-102. doi: 10.1016/S0140-6736(16)31390-3. Epub 2016 Oct 4. PMID: 27717615.​

Campbell R, Ju A, King MT, Rutherford C. Perceived benefits and limitations of using patient-reported outcome measures in clinical practice with individual patients: a systematic review of qualitative studies. Qual Life Res. 2022 Jun;31(6):1597-1620. doi: 10.1007/s11136-021-03003-z. Epub 2021 Sep 27. PMID: 34580822.

Flink, Niko & Aaltio, Elina. Hyvinvoinnin ja muutoksen mittarit systeemisessä lastensuojelussa. Katsaus mallin vaikuttavuuden arvioinnissa käytettyihin mittareihin ja menetelmiin. Työpaperi 11/2020. THL. Helsinki. https://www.julkari.fi/handle/10024/139299

Flückiger C, Del Re AC, Wampold BE, Horvath AO. The alliance in adult psychotherapy: A meta-analytic synthesis. Psychotherapy (Chic). 2018 Dec;55(4):316-340. doi: 10.1037/pst0000172. Epub 2018 May 24. PMID: 29792475.

Forrester, D. (2017). Outcomes in children’s social care. Journal of Children's Services.

Karver MS, De Nadai AS, Monahan M, Shirk SR. Meta-analysis of the prospective relation between alliance and outcome in child and adolescent psychotherapy. Psychotherapy (Chic). 2018 Dec;55(4):341-355. doi: 10.1037/pst0000176. PMID: 30335449.

Murphy R, Hutton P. Practitioner Review: Therapist variability, patient-reported therapeutic alliance, and clinical outcomes in adolescents undergoing mental health treatment - a systematic review and meta-analysis. J Child Psychol Psychiatry. 2018 Jan;59(1):5-19. doi: 10.1111/jcpp.12767. Epub 2017 Jul 6. PMID: 28681928.

Nelson EC, Eftimovska E, Lind C, Hager A, Wasson JH, Lindblad S. Patient reported outcome measures in practice. BMJ. 2015 Feb 10;350:g7818. doi: 10.1136/bmj.g7818. PMID: 25670183.

Pitkänen, Laura; Torkki, Paulus; Tolkki, Helena; Valtakari, Mikko; Leskelä, Riikka-Leena. Reittiopas vaikuttavuuteen: Vaikuttavuusperustainen ohjaus sote- ja työllisyyspalveluissa. Valtioneuvoston selvitys- ja tutkimustoiminnan julkaisusarja 2020:1. 

Roe D, Slade M, Jones N. The utility of patient-reported outcome measures in mental health. World Psychiatry. 2022 Feb;21(1):56-57. doi: 10.1002/wps.20924. PMID: 35015343; PMCID: PMC8751576.

Tam HE, Ronan K. The application of a feedback-informed approach in psychological service with youth: Systematic review and meta-analysis. Clin Psychol Rev. 2017 Jul;55:41-55. doi: 10.1016/j.cpr.2017.04.005. Epub 2017 Apr 22. PMID: 28501021.

Working Alliance Inventory (WAI). Retrieved from https://wai.profhorvath.com. September, 2020.

Yatchmenoff DK. Measuring Client Engagement from the Client’s Perspective in Nonvoluntary Child Protective Services. Research on Social Work Practice. 2005;15(2):84-96. doi:10.1177/1049731504271605