Scharlau, I. (2019) Sich verständigen. Überlegungen zur Frage der Evidenzbasierung. In Hochschulbildungsforschung (pp. 105-124). Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-658-20309-2_8
Some quotes from the chapter and some paraphrasing for which I used blackout poetry to help me translate. The rest of translation was done though Google. Hope it makes as much sense as the German…
Maybe a note is that didactic in German is very different from the English speaking use. I am usually using the German spelling to differentiate. Didaktik, as this is a subdiscipline of education, even with further subdisciplines to its name, such as higher education Didaktik. Didaktik is the science and praxis of learning and teaching methods.
“Lern- und bildungsbezogene Ergebnisse haben stets eine Fülle von verschiedenen Ursachen bzw. Moderatoren. Die potentiellen Wirkfaktoren sind untereinander korreliert (man denke etwa an Wechselwirkungen zwischen Schreibkompetenzen, Fachwissen, Intelligenz, Selbststeuerung, Unterstützung durch Lehrende…). Anders formuliert: Für ermittelte Kausalzusammenhänge beeinflussen (und selbst oft in Mehrebenenstrukturen verschachtelt sind, was sowohl statistisch als auch inhaltlich relevant ist). Solche Inter korrelierten Ursachen lassen sich durch reine Empirie nicht voneinander trennen; Voraussetzung für ihre Aufklärung sind Theorien oder Modelle, die ein einigermaßen vollständiges Bild aller Prädikatoren und Moderatoren und ihrer Beziehungen untereinander geben. Zu einem solchen Modell zählen auch (p.110) nicht nur inhaltliche Konzepte, sondern auch Theorien über Messinstrumente bzw. perationalisierungen. […] Noch fehlen auch die theoretischen Voraussetzungen für ein solches, einigermaßen vollständiges Bild von hochschulischen Lern- und Lehrprozessen. Und schließlich können nur Moderatoren untersucht werden [in Metaanalysen], die überhaupt berichtet werden. [Sie (sic)] können daher keine Blinden Flecken in der Forschung kompensieren” (Scharlau, 2019, p.111)
Learning and education-related results always have an abundance of different causes or moderators. The potential impact factors are correlated with each other (think, for example, of the interactions between writing skills, specialist knowledge, intelligence, self-control, support from teachers ...). In other words: influence for determined causal relationships (and are themselves often nested in multilevel structures, which is both statistically and content-wise relevant). Such inter-correlated causes cannot be separated from one another by pure empiricism; A prerequisite for their elucidation are theories or models that give a fairly complete picture of all predicators and moderators and their relationships with one another. Such a model also includes (p.110) not only content-related concepts, but also theories about measuring instruments and perationalizations. [...] The theoretical prerequisites for such a, fairly complete picture of university learning and teaching processes are still missing. Finally, only moderators can be examined [in meta-analyzes] who are reported at all. Therefore, [Sie (sic)] cannot compensate for blind spots in research (p.111)
Translation Poem
- bildungsbezogene Ergebnisse
- eine Fülle von verschiedenen Ursachen
- Wirkfaktoren sind untereinander korreliert
- ermittelte Kausalzusammenhänge
- Beeinflusst von Moderatoren,
- interkorrelierten Ursachen
- Empirie nicht voneinander trennen;
- Aufklärung sind Theorien oder Modelle,
- Bild aller Prädikatoren und Moderatoren
- Beziehungen geben.
- inhaltliche Konzepte,
- Theorien über ihre Messinstrumente fehlen
- theoretischen Voraussetzungen
- einigermaßen vollständiges Bild von hochschulischen Lern- und Lehrprozessen.
- Metaanalysen keine Blinden Flecken in der Forschung kompensieren
In English
- Results of learning
- A plethora of causes
- Correlating influences
- Ascertained causalities
- Influenced by moderators
- Empiricism can’t
- Disentangle
- The complexities
- Of intercorrelated causes
- Enter theories
- All-embracing conceptualisation
- Stepping back far enough
- To see the bigger picture
- Explore what we know and how
- Yet they are still missing
- The theoretical conditions
- For a painting complete
- Of learning and teaching in higher education
And Final Translation
Scharlau 2019) argues that learning which is achieved in higher education, has a complex multitude of influencing factors and moderators of learning. Although Scharlau doesn’t specify their understanding of moderator in more detail. The author argues—similar to Kidd (2015) that any data collected to evaluate learning and teaching is only a snapshot in time, and what can be measured is influenced by who chose to attend the learning situation and who moderates it. Scharlau suggests that theories (or models) are necessary to underpin SoTL and help towards a more comprehensive understanding of interrelated factors influencing learning outcomes.
Continue in Chapter
“Die Ansprüche an empirische Studien, die einen what-works-Nachweis führen, sind von hochschuldidaktischen Projekten, wie sie heute existieren, kaum zu erfüllen. Sie übersteigen die Ressourcen sowohl einzelner Lehrende als auch hochschuldidaktischer Zentren. Um nur die anschaulichsten Grenzen anzuführen: Hochschuldidaktische Forschung—ich meine damit primär Forschung zum Lernen bzw. Lehren an der Hochschule—ist in der Regel auf Gelegenheiststichproben angewiesen, d.h. diejenigen Personen, die sich für bestimmte Workshops oder auch nur für bestimmte Veranstaltungen oder –zeitpunkte entscheiden. Das schränkt Tide Generalisierbarkeit der Ergebnisse wie auch die Vergleichbarkeit von Experimental- und Kontrollgruppe, d.h. die interne Validität der Untersuchung, ein.” ( Scharlau, 2019, p.115)
The demands on empirical studies that provide evidence of what works can hardly be met by university didactic projects as they exist today. They exceed the resources of both individual lecturers and university didactic centers. To cite only the clearest limits: University didactic research - I mean primarily research on learning or teaching at the university - is usually dependent on opportunity samples, ie those people who are interested in certain workshops or only for certain events or times decide. This limits the Tide generalizability of the results as well as the comparability of the experimental and control group, i.e. the internal validity of the study Note: In UK we would probably understand the 'university didactic centres' as academic development, faculty development centres, and university didactic research as a field or category of the Scholarship of Teaching Learning
“Evidenzbasierte Praxis versteht in einer einfachen und zugänglichen Logik professionelles Handeln primär als Intervention (Biesta, 2011b, S. 100). In der hochschuldidaktischen Praxis geht es jedoch um symbolische oder symbolisch vermittelte Interaktion; die Handlungen der Lehrenden sind nicht primär kausal wirkende Faktoren, sondern lassen sich besser verstehen als Gelegenheiten für die Studierenden, zu reagieren und „durch ihre Antwort etwas aus ihnen zu lernen“ (Biesta, 2011b, S.102). Pädagogische Situationen sind nicht nur offen und rekursiv und durch Reaktivität gekennzeichnet, sondern Wirkungen sind in ihnen nur in Randfällen kausal nach dem Modell von Ursache und Effekt verfasst, sondern über Bedeutung vermittelt.” ( Scharlau, 2019, p.116)
Evidence-based practice uses a simple and accessible logic to understand professional action primarily as an intervention (Biesta, 2011b, p. 100). In university didactic practice, however, it is about symbolic or symbolically mediated interaction; the actions of the teachers are not primarily causal factors, but can be better understood as opportunities for the students to react and “to learn something from them through their response” (Biesta, 2011b, p.102). Pedagogical situations are not only open and recursive and characterized by reactivity, but only in marginal cases effects are causally composed according to the model of cause and effect, but are conveyed through meaning.
Sich verständigen heißt also im Kern, dass hochschuldidaktische Diskurse nicht neben den fachlichen herlaufen. Die dafür notwendige Zusammenarbeit ist ein Fall von inter– oder transdisziplinärem Austausch. ( Scharlau, 2019, p.119)
Communicating basically means that university didactic discourses do not run alongside technical ones. The cooperation required for this is a case of interdisciplinary or transdisciplinary exchange.