Questionable research practices Confronteert met hoe we wetenschap bedrijven 1. Verification bias & missing replications 2. Incomplete or incorrect information.

Presentatie over: "Questionable research practices Confronteert met hoe we wetenschap bedrijven 1. Verification bias & missing replications 2. Incomplete or incorrect information."— Transcript van de presentatie:

1 Questionable research practices Confronteert met hoe we wetenschap bedrijven 1. Verification bias & missing replications 2. Incomplete or incorrect information about the research procedure 3. Statistical flaws

2 1. Verification bias & missing replications * Simmons nelson simmonsohn (researchers degrees of freedom) - weglaten van outliners - niet alle variabelen melden - niet alle manipulaties melden - role of journals/reviewers - techniek die de meeste wenselijke resultaten laat zien - onderzoeken waarom datasets niet de verwachte resultaten opleveren en waarom ze wel de verwachte resultaten opleveren - wat betekenen hele kleine en hele grote uitkomsten (methode checken) -Voorbeeld: SEM (structural equation modelling) Interpretatie van een modelfit zegt niets. Toetsen in de empirie nodig. Aanbeveling: plausibel rival hypothisis, wetenschappelijke beloningsstructuur aanpassen op langere termijn en idee, transparantie, max 1 artikel per jaar, werkmethode vastleggen

3 2. Incomplete or incorrect information about the research procedure Voorbeelden: Verzoek om artikel in te korten; wat laat je weg? Meetmethode? Aantal proefpersonen niet duidelijk (meld afwijkingen). Aanbevelingen: - Cultuur waarin het normaal is om huidige zaken te bespreken (critical friends), aandacht voor ongewenste concurrentie, open cultuur, reviewer is NOT always right, zelf het goede voorbeeld geven - onderwijs aanpakken; studenten beter opleiden; geen druk om te resultaten te vinden - Idee en kwaliteit van onderzoek prevaleren; minder beoordelen op output. - belang peer reviewers op de eigen gang versterken. - beschermen van de wissleblower - beschermen autonomie van de jonge onderzoeker - wetenschappers moeten kunnen groeien

4 3. Statistical flaws Voorbeelden: -Afronden - Groot % fouten in publicaties Aanbevelingen: -Basis statistics rapporteren -Simpele methode kiezen -Opleiden van (nieuwe) wetenschappers op het juiste moment in de opleiding -Juiste specialisten in huis; goed organiseren; inbedden. -Rehabilitatie van het vak voor allen