pjt222/review-research

Forschung reviewen

Fuehrt ein strukturiertes Peer-Review von Forschungsarbeiten durch und bewertet Methodik, statistische Entscheidungen, Reproduzierbarkeit und wissenschaftliche Stringenz insgesamt.

Wann verwenden

• Begutachtung eines Manuskripts, Preprints oder internen Forschungsberichts
• Bewertung eines Forschungsvorschlags oder Studienprotokolls
• Einschaetzung der Beweisqualitaet hinter einer Behauptung oder Empfehlung
• Rueckmeldung zum Forschungsdesign eines Kollegen vor der Datenerhebung
• Review eines Dissertationskapitels oder Dissertationsabschnitts

Eingaben

• Erforderlich: Forschungsdokument (Manuskript, Bericht, Vorschlag oder Protokoll)
• Erforderlich: Fachlicher Kontext (beeinflusst Methodenstandards)
• Optional: Richtlinien des Journals oder der Veranstaltung (bei Begutachtung zur Publikation)
• Optional: Ergaenzende Materialien (Daten, Code, Anhaenge)
• Optional: Frueherer Gutachterkommentare (bei Begutachtung einer Revision)

Vorgehensweise

Schritt 1: Erster Durchgang — Umfang und Struktur

Das gesamte Dokument einmal lesen, um Folgendes zu verstehen:

1. Forschungsfrage: Ist sie klar formuliert und spezifisch?
2. Beitragsanspruch: Was ist neu oder originell?
3. Gesamtstruktur: Folgt es dem erwarteten Format (IMRaD oder veranstaltungsspezifisch)?
4. Thematische Passung: Ist die Arbeit fuer die Zielgruppe/das Zielmedium geeignet?

## Bewertung des ersten Durchgangs
- **Forschungsfrage**: [Klar / Unscharf / Fehlend]
- **Neuheitsanspruch**: [Formuliert und begruendet / Uebertrieben / Unklar]
- **Struktur**: [Vollstaendig / Fehlende Abschnitte: ___]
- **Thematische Passung**: [Angemessen / Grenzwertig / Nicht angemessen]
- **Empfehlung nach erstem Durchgang**: [Review fortsetzen / Schwerwiegende Bedenken fruehzeitig markieren]

Erwartet: Klares Verstaendnis der Behauptungen und des Beitrags der Arbeit. Bei Fehler: Wenn die Forschungsfrage nach vollstaendiger Lektuere unklar bleibt, dies als schwerwiegendes Problem vermerken und fortfahren.

Schritt 2: Methodik bewerten

Das Forschungsdesign anhand der Fachstandards beurteilen:

Quantitative Forschung

• [ ] Studiendesign angemessen fuer die Forschungsfrage (experimentell, quasi-experimentell, beobachtend, Umfrage)
• [ ] Stichprobengroe begruendet (Poweranalyse oder praktische Begruendung)
• [ ] Stichprobenmethode beschrieben und angemessen (zufaellig, geschichtet, opportunistisch)
• [ ] Variablen klar definiert (unabhaengig, abhaengig, Kontroll-, Stoervariablen)
• [ ] Messinstrumente validiert und Reliabilitaet berichtet
• [ ] Datenerhebungsverfahren aus der Beschreibung reproduzierbar
• [ ] Ethische Aspekte beruecksichtigt (IRB/Ethikgenehmigung, Einwilligung)

Qualitative Forschung

• [ ] Methodik explizit (Grounded Theory, Phaenomenologie, Fallstudie, Ethnographie)
• [ ] Auswahlkriterien der Teilnehmer und Datensaettigung diskutiert
• [ ] Datenerhebungsmethoden beschrieben (Interviews, Beobachtungen, Dokumente)
• [ ] Positionierung des Forschenden anerkannt
• [ ] Vertrauenswuerdigkeitsstrategien berichtet (Triangulation, Member-Checking, Pruefpfad)
• [ ] Ethische Aspekte beruecksichtigt

Mixed-Methods

• [ ] Begruendung fuer das Mixed-Design erlaeutert
• [ ] Integrationsstrategie beschrieben (konvergent, erklaerend-sequenziell, explorativ-sequenziell)
• [ ] Beide Komponenten (quantitativ und qualitativ) erfullen ihre jeweiligen Standards

Erwartet: Methodik-Checkliste mit spezifischen Beobachtungen zu jedem Punkt abgeschlossen. Bei Fehler: Wenn kritische Methodikinformationen fehlen, als schwerwiegendes Problem markieren statt anzunehmen.

Schritt 3: Statistische und analytische Entscheidungen bewerten

• [ ] Statistische Methoden angemessen fuer den Datentyp und die Forschungsfrage
• [ ] Voraussetzungen statistischer Tests geprueft und berichtet (Normalverteilung, Homoskedastizitaet, Unabhaengigkeit)
• [ ] Effektgroessen neben p-Werten berichtet
• [ ] Konfidenzintervalle wo angemessen angegeben
• [ ] Korrekturen fuer multiples Testen angewendet (Bonferroni, FDR usw.)
• [ ] Umgang mit fehlenden Daten beschrieben und angemessen
• [ ] Sensitivitaetsanalysen fuer wichtige Annahmen durchgefuehrt
• [ ] Ergebnisinterpretation konsistent mit der Analyse (keine Uebertreibung der Befunde)

Haeufige statistische Warnsignale:

• p-Hacking-Indikatoren (viele Vergleiche, selektive Berichterstattung, "marginally significant")
• Unangemessene Tests (t-Test bei nicht-normalen Daten ohne Begruendung, parametrische Tests bei Ordinaldaten)
• Verwechslung von statistischer und praktischer Signifikanz
• Keine Angabe von Effektgroessen
• Post-hoc-Hypothesen als a-priori-Hypothesen prasentiert

Erwartet: Statistische Entscheidungen bewertet mit dokumentierten spezifischen Bedenken. Bei Fehler: Wenn Fachkenntnisse zu einer bestimmten Methode fehlen, dies eingestehen und einen spezialisierten Gutachter empfehlen.

Schritt 4: Reproduzierbarkeit bewerten

• [ ] Datenverfuegbarkeit angegeben (offene Daten, Repository-Link, auf Anfrage verfuegbar)
• [ ] Verfuegbarkeit des Analysecodes angegeben
• [ ] Softwareversionen und Umgebungen dokumentiert
• [ ] Zufallsseeds oder Reproduzierbarkeitsmechanismen beschrieben
• [ ] Wichtige Parameter und Hyperparameter berichtet
• [ ] Rechenumgebung beschrieben (Hardware, Betriebssystem, Abhaengigkeiten)

Reproduzierbarkeitsstufen: | Stufe | Beschreibung | Nachweis | |-------|-------------|---------| | Gold | Vollstaendig reproduzierbar | Offene Daten + offener Code + containerisierte Umgebung | | Silber | Weitgehend reproduzierbar | Daten verfuegbar, Analyse detailliert beschrieben | | Bronze | Potenziell reproduzierbar | Methoden beschrieben, aber kein Daten-/Code-Sharing | | Undurchsichtig | Nicht reproduzierbar | Unzureichende Methodendetails oder proprietaere Daten |

Erwartet: Reproduzierbarkeitsstufe mit Begruendung vergeben. Bei Fehler: Wenn Daten nicht geteilt werden koennen (Datenschutz, proprietaer), sind synthetische Daten oder detaillierter Pseudocode ein akzeptables Alternativ — vermerken, ob dies bereitgestellt wird.

Schritt 5: Moegliche Verzerrungen identifizieren

• [ ] Selektionsverzerrung: Waren die Teilnehmer repraesentativ fuer die Zielpopulation?
• [ ] Messverzerrung: Konnte der Messprozess die Ergebnisse systematisch verzerren?
• [ ] Berichtsverzerrung: Werden alle Ergebnisse berichtet, einschliesslich nicht-signifikanter?
• [ ] Bestatigungsverzerrung: Suchten die Autoren nur nach Belegen, die ihre Hypothese stuetzen?
• [ ] Survivorship Bias: Wurden Abbrecher, ausgeschlossene Daten oder fehlgeschlagene Experimente beruecksichtigt?
• [ ] Finanzierungsverzerrung: Ist die Finanzierungsquelle offengelegt und koennte sie die Befunde beeinflussen?
• [ ] Publikationsverzerrung: Ist dies ein vollstaendiges Bild, oder koennten negative Ergebnisse fehlen?

Erwartet: Moegliche Verzerrungen mit spezifischen Beispielen aus dem Manuskript identifiziert. Bei Fehler: Wenn Verzerrungen anhand der verfuegbaren Informationen nicht beurteilt werden koennen, empfehlen, dass die Autoren dies explizit thematisieren.

Schritt 6: Das Review verfassen

Review konstruktiv strukturieren:

## Zusammenfassung
[2-3 Saetze, die den Beitrag des Artikels und die Gesamtbewertung zusammenfassen]

## Schwerwiegende Bedenken
[Probleme, die behoben werden muessen, bevor die Arbeit als solide gelten kann]

1. **[Titel des Bedenkenbereichs]**: [Spezifische Beschreibung mit Verweis auf Abschnitt/Seite/Abbildung]
   - *Vorschlag*: [Wie die Autoren dies behoben koennten]

2. ...

## Geringfuegige Bedenken
[Probleme, die die Qualitaet verbessern, aber nicht grundlegend sind]

1. **[Titel des Bedenkenbereichs]**: [Spezifische Beschreibung]
   - *Vorschlag*: [Empfohlene Aenderung]

## Fragen an die Autoren
[Klaerungsbedarfe zur Vervollstaendigung der Bewertung]

1. ...

## Positive Beobachtungen
[Spezifische Staerken, die es wert sind, anerkannt zu werden]

1. ...

## Empfehlung
[Annehmen / Geringfuegige Revision / Wesentliche Revision / Ablehnen]
[Kurze Begruendung der Empfehlung]

Erwartet: Das Review ist spezifisch, konstruktiv und verweist auf genaue Stellen im Manuskript. Bei Fehler: Wenn das Review zu lang wird, schwerwiegende Bedenken priorisieren und geringfuegige Probleme in einer Zusammenfassungsliste vermerken.

Validierung

• [ ] Jedes schwerwiegende Bedenken verweist auf einen spezifischen Abschnitt, eine Abbildung oder Behauptung
• [ ] Rueckmeldungen sind konstruktiv — Probleme werden mit Vorschlaegen gepaart
• [ ] Positive Aspekte werden neben Bedenken anerkannt
• [ ] Statistische Bewertung passt zu den verwendeten Analysemethoden
• [ ] Reproduzierbarkeit wird explizit bewertet
• [ ] Die Empfehlung ist konsistent mit dem Ernst der geaeusserten Bedenken
• [ ] Der Ton ist professionell, respektvoll und kollegial

Haeufige Stolperfallen

• Vage Kritik: "Die Methodik ist schwach" ist nicht hilfreich. Spezifizieren, was schwach ist und warum.
• Forderung nach einer anderen Studie: Die durchgefuehrte Forschung reviewen, nicht die Forschung, die man selbst gemacht haette.
• Kontext ignorieren: An eine Konferenzarbeit werden andere Erwartungen gestellt als an einen Zeitschriftenartikel.
• Ad hominem: Die Arbeit reviewen, nicht die Autoren. Niemals auf die Identitaet der Autoren eingehen.
• Perfektionismus: Keine Studie ist perfekt. Auf Bedenken konzentrieren, die die Schlussfolgerungen veraendern wuerden.

Verwandte Skills

• review-data-analysis — tieferer Fokus auf Datenqualitaet und Modellvalidierung
• format-apa-report — APA-Formatierungsstandards fuer Forschungsberichte
• generate-statistical-tables — publikationsreife statistische Tabellen
• validate-statistical-output — Verifikation statistischer Ausgaben