Stap 5: Outcome

Vijf typen indicatoren voor monitoring

Er zijn vijf typen indicatoren die gebruikt kunnen worden voor monitoren:

• Input: bereikbaarheid loketten, registratiegraad professionals
• Throughput: doorlooptijden, samenwerking
• Output: aantal cliënten, aantal trajecten
• Maatschappelijk resultaat: minder schooluitval
• Outcome: doelrealisatie, uitval en cliënttevredenheid

Directe impact = outcome

Hoe maken preventieve voorzieningen en jeugdhulpaanbieders de impact van hun inzet voor kinderen en hun opvoeders zichtbaar? De directe impact – de outcome - van de geleverde dienst of hulp biedt inzicht in de effecten en daarmee ook in de kwaliteit.

Monitoring op twee niveaus

In het Kwaliteitskompas vindt monitoring plaats op twee niveaus: op het niveau van de maatschappelijke resultaten (stap 2) en de outcome (stap 5).
De reden om naast de maatschappelijke effecten ook de directe outcome te monitoren, is dat bij het bereiken van het maatschappelijk resultaat veel factoren een rol spelen. Een aanbieder kan niet individueel verantwoordelijk worden gehouden voor het bereiken van een maatschappelijk resultaat.

Basisset outcome-indicatoren voor jeugdhulp

Als gemeente bent u verplicht om aan te geven welke outcome-indicatoren voor jeugdhulp u gebruikt. Gelukkig hoeft u het wiel niet opnieuw uit te vinden. Brancheorganisaties, de VNG en het Nederlands Jeugdinstituut hebben een geharmoniseerde basisset opgesteld. De drie outcome-indicatoren zijn: uitval, cliënttevredenheid en doelrealisatie.

Het voordeel van deze basisset is dat prestaties van jeugdhulpaanbieders op een vergelijkbare manier kunnen worden gemeten. Hierdoor kunt u sneller het gesprek voeren over het verhaal achter de cijfers in plaats van het gesprek over de totstandkoming van de cijfers.

Drie outcome-indicatoren voor de jeugdhulp:

1. Uitval (bereik bij preventie)

• Hoeveel cliënten haken tijdens een traject af? Wat is de mate van de 'no-shows' en wat is het bereik van vrij toegankelijk aanbod?
• Mate van bereik van de doelgroep (preventie)

2. Cliënttevredenheid

• Hoe tevreden zijn cliënten over het nut en de effecten van de ondersteuning of hulp?

3. Doelrealisatie van de hulp

Uitgesplitst naar:

• Mate waarin cliënten zonder dienst of hulp verder kunnen
• Mate waarin er na beëindiging geen nieuwe start ondersteuning of hulp plaatsvindt

In geval van individuele, niet vrij toegankelijke jeugdzorg ook:

• Mate waarin problemen verminderd zijn, of zelfredzaamheid of participatie is verhoogd
• Mate waarin overeengekomen doelen gerealiseerd zijn.

Outcome van vrij toegankelijke, preventieve voorzieningen

Ook bij activiteiten in het voorliggende, preventieve jeugdveld is het nuttig om de impact van de inzet in beeld te brengen. De basisset van outcome-indicatoren voor jeugdhulp is deels te gebruiken voor preventieve activiteiten.
Neem samen met de uitvoerende partners kleine stappen in het monitoren van hun activiteiten. Houd rekening met de beginsituatie van de voorziening. Het is niet realistisch op alle outcome-indicatoren te monitoren wanneer de voorziening hier nog weinig ervaring mee heeft. Zorg juist dat de partner leert werken met monitoring door in het klein te beginnen.
Begin bijvoorbeeld met het monitoren van één activiteit of interventie, zoals het opvoedspreekuur of korte ambulante ondersteuning. Wordt de doelgroep bereikt? Hoeveel ouders of jongeren vallen uit tijdens de preventieve activiteit? Dit levert informatie op om met elkaar te praten over wat beter kan. Dit is input om de kwaliteit te verbeteren.

Tips over monitoren

Het is aan uw partners om de outcome te meten. Als gemeente kunt u met hen in gesprek over de wijze waarop zij monitoren. Een paar tips en voorbeelden voor monitoren in de praktijk:

Bij het meten van cliënttevredenheid over het nut

Kijk niet alleen naar een gemiddeld rapportcijfer. Het levert juist nieuwe inzichten op als u ook kijkt naar de hoogste en laagste score. Ga ook eens met een aantal van deze kinderen en opvoeders in gesprek hierover.

Vraag bijvoorbeeld ook hoe de ondersteuning of hulp volgens kinderen en opvoeders heeft bijgedragen aan de 'oplossing'. En hoe blij is het kind of de opvoeder met de professional die heeft geholpen?

Bij het meten van uitval

Kijk niet alleen naar hoeveel kinderen of opvoeders het niet afmaken. Kijk ook naar welke mensen het wel afmaken. Een aantal interviews met kinderen en opvoeders die de hulp of ondersteuning afmaken en die eerder stoppen biedt inzicht in waarom zij eerder stoppen met de hulp of ondersteuning. Hierop kunnen verbeteracties worden uitgezet om die doelgroep beter te kunnen vasthouden.

Bij het meten van doelrealisatie

Vraag bijvoorbeeld aan kinderen en opvoeders aan het eind van de ondersteuning of hulp in hoeverre hun doelen zijn gehaald. En kijk met elkaar of bepaalde doelen vaker gehaald worden dan andere doelen. Bespreek hoe dat zou kunnen komen en of er verbeteringen wenselijk en mogelijk zijn.

Meet gericht en begin klein

Monitoring roept de associatie op dat voortdurend van alles gemeten wordt. Dat klopt niet. Periodiek of steekproefsgewijs meten kan ook. Ook bij preventief aanbod. Wat te meten, hoe vaak en onder hoeveel kinderen en opvoeders moet in verhouding staan tot de activiteit. Geef dit mee aan uw partners en jeugdhulpaanbieders. Bij een opvoedspreekuur is het logischer om een 'maand van het meten' te houden en opvoeders na hun gesprek te vragen of ze tevreden zijn. Dat werkt beter dan dit altijd na elk gesprek van tien minuten te doen. Begin klein, bijvoorbeeld op één locatie. Sluit aan bij de informatie die al wordt verzameld.

Vraag naar de spiegelrapportage van uw jeugdhulpaanbieder

In de beleidsinformatie Jeugd die jeugdhulpaanbieders twee keer per jaar bij het CBS aanleveren, staan de volgende indicatoren: uitval en nieuwe start, cliënttevredenheid en in hoeverre de cliënt zonder hulp verder kan. Jeugdhulpaanbieders kunnen via de CBS-route in één keer de gegevens leveren en vervolgens de spiegelrapportages delen met hun financiers. Als gemeente kunt u bij uw aanbieders vragen naar hun spiegelrapportage.

Combinatie van tellen en vertellen

Voor het interpreteren en begrijpen van outcome-indicatoren heb je vaak een combinatie nodig van cijfers en verhalen, van tellen en vertellen.

Implementatie kost tijd

Het opzetten en uitvoeren van monitoren van outcome kost tijd. Zo ook het benutten hiervan voor de verbetercyclus. Voor meer preventieve voorzieningen én voor jeugdhulpaanbieders.

Preventieve voorzieningen

De startsituatie zal voor elke voorziening anders zijn. Houd hier rekening mee. Stimuleer de partner om kleine stappen te nemen in het monitoren op outcome. Begin bijvoorbeeld bij het monitoren van één interventie, op één indicator. Ook dit geeft al input voor het gesprek en de lerende beweging.

Jeugdhulpaanbieders

Nog niet alle jeugdhulpaanbieders hebben de basisset in beeld. Het kost een jeugdhulpaanbieder tijd om dit in te voeren, en om dit een goede plek te geven in de interne kwaliteitscyclus. Als gemeente mag u eisen dat dit soort informatie verzameld wordt. Ga het gesprek aan met de jeugdhulpaanbieder. De jeugdhulpaanbieder geeft aan hoe en op welke termijn hij dat kan realiseren. Ook kunt u als gemeente de verbeterbeweging stimuleren en op gang houden door het gesprek met jeugdhulpaanbieders te voeren over cijfers die al wél beschikbaar zijn. Leg de gemaakte afspraken vast.

In gesprek over outcome

Bepaal wanneer en op basis waarvan het gesprek over de cijfers gevoerd wordt. Wie nodigt u hiervoor uit? Herkennen de deelnemers de uitkomsten? Wat vinden ze ervan? Hoe zijn de cijfers te verklaren? Zijn er verbeterstappen mogelijk of nodig? Houd daarbij altijd de maatschappelijke resultaten in het vizier. Dat is waar jullie het allemaal samen voor doen. Bedenk dat het gesprek over cijfers vooral bedoeld is voor het verbeteren van het primaire proces.

Outcome als verbeter- en relatietool

Presenteer het werken met outcome en het gesprek hierover als manier om het jeugdbeleid effectiever te maken. Monitoren als gereedschap om steeds beter te worden. Benut het leren werken met monitoring om de relatie met uw partners te onderhouden en te verbeteren.