Contact
Newsletter

„Lernerfolg und -transfer: Wie messen?“ von Gastautor Kuno Roth

Mathematische Werkzeuge, Messgeräte

Die B’VM freut sich, mit Kuno Roth einen ersten Gastblogger zu begrüssen. Als Co-Präsident einer NPO und selbständiger Berater teilt er hier seine Erfahrungen im Bereich des organisationalen Lernens mit Ihnen.


Wie war er? Was war gut, was weniger? Wie war die Kursleitung auf einer Skala von 1 bis 10? – und so weiter: Am Schluss eines Kurses folgt dessen Auswertung stets auf dem Fuss.

Solche Output-Messungen gehen von der Annahme aus, kommt ein Kurs gut an, dass er die gewünschte Wirkung in der Praxis entfalten wird. Ein Trugschluss. Meistens. Denn die Forschung (1) zeigt, dass es praktisch keine Korrelation gibt zwischen der unmittelbaren Beurteilung eines Kurses und seiner langfristigen Wirkung, also dem Transfer des Gelernten in die Praxis. Und forscht man in seinen eigenen Erfahrungen, weiss man: Was du nicht anwendest, vergisst du wieder – man hätte sich also den Kurs ersparen können. Denn auf die Wirkung danach in der Praxis kommt es an: In meiner letzten Kolumne «Lernen von Seinesgleichen» versuchte ich zu zeigen, dass diese Wirkung erheblich verstärkt werden kann. Indem sich zwei Abgänger:innen als Peer-Learning-Paar zusammentun, stützen sie sich gegenseitig und erhöhen so den Transfer in die Praxis. 

In dieser Kolumne folgt nun die Frage, wie man denn messen kann, ob und wie viel Transfer stattfindet. Unter Lerntransfer versteht man dabei, inwieweit neu Gelerntes wie eine Fähigkeit, ein Tool oder eine Technik in den beruflichen Alltag übertragen und angewendet werden kann. Doch wie misst man Lerneffekte und Wirkungen? Diese können ja nicht wie ein Gewicht oder eine Temperatur direkt und absolut gemessen werden; sondern sie drücken sich in nicht direkt messbarer Veränderung von Verhalten aus. 

Davon später; zuerst ein paar Worte zur Theorie: Die Forschung zur Wirkung betrieblicher Weiterbildung wurde wegweisend von Donald Kirkpatrick begründet (Wikipedia), der 1959 das nach ihm benannte Modell zur Wirkungsmessung von Ausbildungen und Kursen publizierte. Es ist vierstufig (visualisiert z.B. in dieser Grafik):

  • Auf Stufe 1 wird von den Teilnehmer:innen ein Feedback eingeholt: Die unmittelbare «Reaktion».
  • Auf Stufe 2 erfolgt eine Wissensabfrage nach dem Kurs z.B. als Test oder Quiz zu den «Lerninhalten». 
  • Stufe 3 beinhaltet besagten Lerntransfer in die Praxis: Gibt es Änderungen im «Verhalten»? 
  • Auf Stufe 4 geht es um die langfristigen «Resultate», also die Wirkungen in der Aussenwelt, wie z.B. mehr Umsatz für eine Firma oder gesellschaftliche Wirkung einer NGO. 

Unklare Zuständigkeit auf Stufe 3 ist Teil des Problems

Kirkpatrick’s Lehre gemäss sollten auf jeder Stufe Wirkungsmessungen erfolgen, doch in der Praxis geschieht dies meistens nur auf den Stufen 1 und 2 – also unmittelbar am Kursende. Das ist am einfachsten zu haben, nur sagt es eben nicht viel aus. Der Grund, warum auf der eigentlich relevanten Stufe 3 kaum gemessen wird, ist der höhere Aufwand und die Frage der Zuständigkeit, die von der Ausbildnerin zum Betrieb wechselt, wo oft nicht klar ist, wer zuständig ist. Dabei ist es eben dieser Transfer, woran sich letztlich die Wirksamkeit der Investitionen in Weiterbildung misst. Dieser ist Voraussetzung dafür, damit das eigentlich Gewünschte auf Stufe 4 geschehen kann: Eine Verbesserung des Ergebnisses einer Firma, eines Projektes oder einer Kampagne. Der «Return on Learning Investment», sozusagen.

Kirkpatrick’s Modell ist ein lineares Modell, das suggeriert, wenn Stufe 1 und 2 gute Ergebnisse bringen, ebensolches auf den weiteren Stufen geschehen werde, was aber wie gesagt nicht automatisch der Fall ist. Trotzdem ist es nützlich, um sich des ganzen Lernprozesses bewusst zu werden. Ausserdem haben es seine Kinder durch verstärkte Prozessorientierung verbessert. Es heisst nun New Kirkpatrick – mit u.a. folgenden Mehrwerten (siehe Graphik unten): 

  • Fragt man auf Stufe 2 nicht nur das gelernte Wissen ab, sondern auch, ob die Kursabgänger:innen zuversichtlich sind, das Gelernte übertragen zu können (‘Confidence’) und ob sie bereit sind, das Gelernte anzuwenden (‚Commitment‘), kann die Wahrscheinlichkeit eines Transfers eingeschätzt werden: «Je höher Zuversicht und Bereitschaft desto Transfer».
  • New Kirkpatrick nimmt die Stufe 4 zum Ausgangspunkt, Weiterbildungsmassnahmen festzulegen. Man zäumt also das Pferd von hinten auf und fragt sich, welche Kapazitäten, Fähigkeiten, Teamgeist oder welches Knowhow es braucht, um die gewünschten Betriebsresultate zu erreichen. Oder im Fall der NGOs: Welche gesellschaftliche Änderung wird angestrebt? Und was braucht es innerbetrieblich für Voraussetzungen dafür? Und folglich: Wie können Campaigner, Projektleiterinnen oder Teams die nötigen Kompetenzen erlangen und in der Praxis anwenden? 
  • Diese Lern- und Transferprozesse werden begleitet und überprüft; aber nicht als Kontrolle, sondern zusammen mit den Beteiligten, damit sie wahrscheinlicher erreichen, was sie selber wollen. 
  • Unterstützungen wie Ermutigung (encourage, z.B. Zeit zum Ausprobieren), Belohnung (reward; z.B. Anerkennung im Team) und Verstärkung (reinforcement; z.B. Peer-Support oder Mentoring) verstärken den Lerntransfer erheblich. Und werden Weiterbildungsmassnahmen zusammen abgemacht, können solche Transferangebote von Anfang an in den Prozess miteinbezogen werden (siehe «Toolkit for Learning Transfer»). 

Und wie misst man nun? 

Normalerweise mit einem Fragebogen, mit dem man nach verschiedenen Zeiten – 3, 6, 9, und/oder 12 Monate – erhebt, wie die Kursabgänger:innen in der Selbstbeurteilung und im Urteil ihres Umfeldes, welche Teile des Gelernten umsetzen und wo sie scheitern. Das ist sehr aufwändig (siehe Fussnote (1B)). Weniger aufwändig sind Fokusgruppen oder Interviews, also die Erhebung qualitativer Daten, mit welchen man zwar nicht misst, aber ein gutes Gefühl und ein Bild davon bekommt, was funktioniert und was nicht. Fragebögen und Ratings gibt es sowieso eher zu viele.

Fazit: Ein Bewusstsein für Lernmethoden zu entwickeln, ist für Kampagnenarbeit von grosser Relevanz. Zumal ja Kampagnen gesellschaftliche Lerninterventionen sind, denn jeder (gewünschten) Änderung unterliegt ein Lernprozess. Doch auch bei Kampagnen erfolgt die Messung von ihren Wirkungen oft nur bis Stufe 2, indem man z.B. unmittelbar nach einer Aktivität oder Publikation die Medienresonanz auswertet oder Rückmeldungen einholt. Das ist gut, genügt aber nicht. Für den eigentlichen Transfer und die Wirkungsmessung sind oft die Ressourcen nicht eingeplant.


PS: Im Zuge der Digitalisierung findet betriebliche Weiterbildung zunehmend online statt, wofür sogenannte Learning Management Systems (LMS) eingesetzt werden. Dies birgt zwei Gefahren: 

  • Dass man sich nun durch viele, viele Lerninhalte klickt. In der Meinung, das sei effizient, gibt man so der Quantität gegenüber der Qualität Vorrang. Aber «zeitsparend-effizient» lernen geht nicht. Lernen verkommt zum Surfen; doch haften bleibt nur, was man anwendet.
  • Auf Stufe 3 verstärkt sich online die Problematik des mangelnden Transfers, namentlich beim interpersonalen Lernen wie Teambildung, Feedbackgeben, Projektleitung oder Leadership. Solche Lerninhalte brauchen Hybrid-Angebote, on- und offline. Denn Knowhow und Kompetenz können nicht theoretisch erworben werden.

Und die Chancen sind: LMS haben unschlagbare Vorteile, wie etwa die Individualisierung von Inhalten und Lerntempi, videobasierte Tutorials oder die einfache Erfassung des Lernerfolgs auf Kirkpatrick Stufe 1 und 2.  Und wird Lernen als Lernreise (learning journey) konzipiert und der Praxistransfer im LMS eingefädelt, kann der Trend zum selbstorganisierten Lernen genutzt werden.

(1) z.B.: A) «Der Mythos Wirkungskette in der Weiterbildung – empirische Prüfung der Wirkungsannahmen im Four Levels Evaluation Model von Donald Kirkpatrick»;  Zeitschrift für Berufs- und Wirtschaftspädagogik (2011) B) «Wie Weiterbildung messbar wird», Gesellschaft für angewandte Berufsbildungsforschung (2018)


Holen Sie sich Expertenwissen!

7 praxiserprobte Kooperationsformen
für Ihre Organisation

Jetzt PDF herunterladen:
Über neue Zusammenarbeitsformen erfahren
und von fundierten Erkenntnissen profitieren.

Weitere Beiträge

Mann jongliert konzentriert Bälle vor einem Bürogebäude
Vom Umgang mit Spannungsfeldern in Wirtschafts-, Branchen- und Berufsverbänden

Die Welt dreht sich immer schneller. Wer das Tempo nicht mitgeht, droht abgehängt zu werden. Das trifft vor allem auch auf die Wirtschaft zu – und fordert deren Verbände heraus.

Menschen erarbeiten gemeinsam eine Lösung
Weiterbildung für Delegierte eines Berufsverbands

Eine Statutenänderung? Die Genehmigung des Budgets? Die Wahl der Präsidentin? Diese und andere wiederkehrende Geschäfte stellen die Verbandsführung und die Delegiertenversammlung – als oberstes Verbandsorgan – oft vor die Frage: Welches Gremium ist für was verantwortlich?

Holzklötze mit schwarz aufgedrucktem Profil von Personen
Das Verbandsprofil strategisch am Mehrwert für Mitglieder ausrichten

In Zeiten des Umbruchs sind Mitgliederbefragungen ein sehr nützliches Instrument, das Verbandsprofil zu schärfen und am größtmöglichen Mehrwert für Mitglieder auszurichten. Ein Praxisbeispiel.

Bild mit zwei einander gegenüber sitzenden Personen. Eine davon ist am Schreiben.
Mentoring – Schlüssel zum beruflichen Gedeihen (1/2). Von Gastautor Kuno Roth

Unser Gastautor Kuno Roth über Mentoring und die feine Abgrenzung zu Beratung und Coaching. Was kann Mentoring, Was sind seine Ziele und wie wirkt es?

Regula Kaufmann
Neues Gesicht bei der B’VM

Wir haben das Vergnügen, ein neues Teammitglied bei der B'VM zu begrüssen. Wer Sie ist und was Sie tut - hier stellen wir Ihnen unsere Kollegin gerne vor.

Menschen sitzen in einem Saal. Sie nehmen teil am Netzwerkanlass von B'VM und VMI
Unternehmerische Führung und Kultur in NPO

Neue Ideen und Verbesserungsvorschläge werden bei uns gleich aufgegriffen und nach Möglichkeit umgesetzt! Oder doch nicht? Am Netzwerkanlass von VMI und B'VM haben die Teilnehmenden ihre Organisation zum Thema "Unternehmerische Führung und Kultur" gleich selbst eingeschätzt. Was dabei herauskam, erfahren Sie in diesem Artikel.

Adrian Derungs Direktor IHZ
„Nachhaltigkeit und Digitalisierung sind für uns zwei Querschnittsthemen, die wir als branchenübergreifender Verband begleiten.“

Im Interview mit Adrian Derungs, Direktor der Industrie- und Handelskammer Zentralschweiz IHZ, unterhalten wir uns über die Rolle von Wirtschafts-, Berufs- und Branchenverbänden im Bereich der Nachhaltigkeit.

bunte Raupe kriecht auf grünem Blatt, von KI erzeugt von vecstock auf Freepik
KI – Möglichkeiten und Grenzen für Verbände 

Metamorphose der KI - von der Raupe zum Schmetterling? Kann man jetzt schon sagen, wie KI den Verbandsalltag verändern wird? Branchenunabhängig bewegt das Thema KI alle Verbände. Lesen Sie Erkenntnisse, welche aus dem 15. B´VM Fachgespräch in Berlin gewonnen werden konnten.

attraktiver Arbeitgeber
Wie Verbände zum attraktiven Arbeitgeber werden (können)

Auch wenn es nicht immer leicht ist, geeignete Fach- und Führungskräfte für den Verband zu gewinnen, unmöglich ist es nicht. Erfahren Sie hier welche Kriterien sie bei Ihrer Auswahl von potenziellen Arbeitgebern zugrunde legen und mit welchen 7 – ganz praxisorientierten – Schritten, Verbände zu einem attraktiven Arbeitgeber werden können.

Bild mit zwei einander gegenüber sitzenden Personen. Eine davon ist am Schreiben.
Mentoring Praxis: Eine Triple-Win-Situation (2/2) Von Gastautor Kuno Roth

Mentoring ist eine Lernmethode zur beruflichen Entwicklung, die auf Erfahrungsweitergabe und Reflexion in einem sicheren Raum beruht. Teil 2 des Gastblogs von Kuno Roth.

Nous sommes à votre disposition

Utilisez le formulaire de contact, écrivez-nous un e-mail ou appelez-nous tout simplement.

Suisse

Allemagne

Autriche

Formulaire de contact

Newsletter