קרדיט: Stuart Kinlough/Ikon Images/Corbis
היכולת לחזור על מחקר ולמצוא את אותן תוצאות פעמיים היא תנאי מוקדם לבניית ידע מדעי. שכפול מאפשר לנו להבטיח שהממצאים האמפיריים יהיו אמינים ומחדד את ההבנה שלנו לגבי מתי מתרחש ממצא. אולי יפתיע אותך ללמוד, אם כן, שמדענים לא מרבים לבצע - ופחות לפרסם - ניסיונות לשכפול של מחקרים קיימים.
כתבי עת מעדיפים לפרסם מחקר חדשני ומתקדם. וההתקדמות המקצועית נקבעת על ידי גילוי תגליות חדשות, ולא אישור קפדני של טענות שכבר נמצאות בספרים. כפי שניסח זאת לאחרונה אחד מעמיתינו, "הרצת שכפולים היא בסדר עבור אנשים אחרים, אבל יש לי דרכים טובות יותר לבלות את זמני היקר."
ברגע שמאמר מופיע בכתב עת בעל ביקורת עמיתים, הוא מקבל סוג של סמכות קסומה ובלתי ניתנת לערעור. כלי חדשות, ולפעמים אפילו מדענים עצמם, יציטו את הממצאים הללו ללא שמץ של ספקנות. אמון בלתי מעורער כזה במחקרים חדשים הוא כנראה לא ראוי, או לפחות מוקדם מדי.
קבוצה קטנה אך קולנית של חוקרים - העוסקת בתחומים החל מפִיסִיקָהאֶלתרופהאֶלכַּלְכָּלָה- טען שרבים,אולי הרוב, מחקרים שפורסמו שגויים. אבל כמה חמורה הבעיה הזו, בדיוק? ואילו תכונות גורמות למחקר יותר או פחות להתברר כנכון?
אנחנו שניים מתוך 270 החוקרים שביחד יש להם רקפורסם בכתב העת Scienceהמאמץ הראשון אי פעם בקנה מידה גדול שמנסה לענות על שאלות אלו על ידי ניסיון לשחזר 100 ממצאים מדעיים פסיכולוגיים שפורסמו בעבר.
ניסיון למצוא מחדש ממצאי פסיכולוגיה
פרסום ביחד בתור המסגרת מדע פתוחהובתיאום הפסיכולוג החברתי בריאן נוסק מה-מרכז למדע פתוח, צוותי מחקר מרחבי העולם הריצו כל אחד שכפול של מחקר שפורסם בשלושה כתבי עת מובילים בתחום הפסיכולוגיה - Psychological Science; כתב עת לאישיות ופסיכולוגיה חברתית; ו-Journal of Experimental Psychology: למידה, זיכרון וקוגניציה. כדי להבטיח שהשכפול היה מדויק ככל האפשר, צוותי מחקר השיגו חומרי לימוד מהמחברים המקוריים, ועבדו בשיתוף פעולה הדוק עם המחברים הללו בכל עת שיכולתם.
כמעט לכל המחקרים המקוריים שפורסמו (97%) היו תוצאות מובהקות סטטיסטית. זה כפי שהיית מצפה - בעוד שניסויים רבים לא מצליחים לחשוף תוצאות משמעותיות, מדענים נוטים לפרסם רק את אלו שכן.
מה שמצאנו הוא שכאשר 100 המחקרים הללו נוהלו על ידי חוקרים אחרים, לעומת זאת, רק 36% הגיעו למובהקות סטטיסטית. המספר הזה נמוך להחריד. במילים אחרות, רק כשליש מהמחקרים החוזרים יצאו עם אותן תוצאות שנמצאו בפעם הראשונה. שיעור זה נמוך במיוחד כאשר לוקחים בחשבון שלאחר פרסום הממצאים נוטים להחשיב כבשורה.
החדשות הרעות לא מסתיימות בזה. גם כאשר המחקר החדש מצא ראיות לקיומו של הממצא המקורי, גודל ההשפעה היה קטן בהרבה - חצי מהגודל המקורי, בממוצע.
אזהרה אחת: זה שמשהו לא מצליח להשתכפל לא אומר שהוא לא נכון. חלק מהכישלונות הללו יכולים לנבוע ממזל, או ביצוע לקוי, או הבנה לא מלאה של הנסיבות הדרושות כדי להראות את ההשפעה (מדענים מכנים אותם "מנחים" או "תנאי גבול"). לדוגמה, אם מישהו יתרגל משימה שוב ושוב, עשוי לשפר את הזיכרון שלו, אבל רק אם הוא לא ידע היטב את המשימה מלכתחילה. במובן מסוים, מה שהשכפולים הללו (והשכפולים הכושלים) משמשים לעשות הוא להדגיש את חוסר הוודאות המובנה של כל מחקר בודד - מקורי או חדש.
ממצאים חזקים יותר ניתנים לשכפול
בהתחשב בכמה נמוכים המספרים הללו, האם יש משהו שאנחנו יכולים לעשות כדי לחזות את המחקרים שישתכפלו ואלו שלא? התוצאות מכךפרויקט לשחזורלהציע כמה רמזים.
ישנן שתי דרכים עיקריות שבהן חוקרים מכמתים את אופי התוצאות שלהם. הראשון הוא ערך p, המעריך את ההסתברות שהתוצאה התקבלה במקרה בלבד והוא חיובי שגוי. (טכנית, ערך ה-p הוא הסיכוי שהתוצאה, או תוצאה חזקה יותר, הייתה מתרחשת גם כאשר לא הייתה השפעה אמיתית.) ככלל, אם בדיקה סטטיסטית מראה שערך ה-p נמוך מ-5%, תוצאות המחקר נחשבות "משמעותיות" - ככל הנראה בשל השפעות ממשיות.
דרך נוספת לכמת תוצאה היא באמצעות גודל אפקט - לא עד כמה ההבדל אמין, אלא עד כמה הוא גדול. נניח שאתה מגלה שאנשים מוציאים יותר כסף במצב רוח עצוב. ובכן, כמה כסף עוד הם מוציאים? זהו גודל האפקט.
מצאנו שככל שערך ה-p של המחקר המקורי קטן יותר וגודל ההשפעה שלו גדול יותר, כך גדל הסיכוי שהוא ישכפל. ראיות סטטיסטיות ראשוניות חזקות היו סמן טוב לשחזור הממצא.
מחקרים שדורגו כמאתגרים יותר לביצוע נטו פחות לשכפל, וכך גם ממצאים שנחשבו מפתיעים. לדוגמה, אם מחקר מראה שקריאה מורידה מנת משכל, או אם היא משתמשת במתודולוגיה מאוד לא ברורה ולא מוכרת, כדאי שנהיה סקפטיים לגבי נתונים כאלה. לעתים קרובות מתוגמלים מדענים על מתן תוצאות שמסנוורות ומתנגדות לציפיות, אך טענות יוצאות דופן דורשות ראיות יוצאות דופן.
למרות שמאמץ השכפול שלנו חדש בהיקפו וברמת השקיפות שלו - השיטות והנתונים עבור כל המחקרים המשוכפלים הםזמין באינטרנט- הם תואמים לעבודות קודמות מתחומים אחרים. ביולוגים סרטן, למשל, דיווחו על שיעורי שכפול נמוך כמו11%-25%.
יש לנו בעיה. מה הפתרון?
כמה מסקנות נראות מוצדקות כאן.
עלינו להפסיק להתייחס למחקרים בודדים כאל סמכות אמת בלתי ניתנת לערעור. עד שתגלית נבדקה ביסודיות ונצפה שוב ושוב, עלינו להתייחס אליה במידת הספקנות שדורשת חשיבה מדעית. אחרי הכל, הלך הרוח המדעי באמת הוא קריטי, לא אמין. יש מקום לממצאים פורצי דרך ותיאוריות חדשניות, אבל יש גם יתרון בבדיקה ובחידוד האיטיים והשיטתיים של אותם ממצאים ותיאוריות.
כמובן, אימוץ גישה סקפטית ייקח אותנו רק עד כה. אנחנו צריכים גם לספק תמריצים למדע שניתן לשחזר על ידי תגמול לאלה שעורכים שכפולים ומבצעים עבודה ניתנת לשחזור. לדוגמה, לפחות כתב עת מוביל אחד התחיל לתת מיוחד "תגים" למאמרים שהופכים את הנתונים והחומרים שלהם לזמינים, ויוזמת ברקלי לשקיפות במדעי החברההקים פרסעל עיסוק במדעי החברה שקוף יותר.
שיטות מחקר טובות יותר עשויות גם להבטיח שיעורי שכפול גבוהים יותר. יש כבר עדויות לכךנקיטת צעדים קונקרטיים מסוימים- כמו הבהרות של השערות לפני ניתוח נתונים, שיתוף בגלוי של חומרים ונתונים, ומעקב אחר תקני דיווח שקופים - מפחית את שיעורי החיובים השגויים במחקרים שפורסמו. כמה ארגוני מימון כבר דורשיםרישום השערותושיתוף נתונים.
למרות ששכפול מושלם במאמרים שפורסמו הוא יעד לא מציאותי, שיעורי השכפול הנוכחיים נמוכים באופן בלתי מתקבל על הדעת. הצעד הראשון, כמו שאומרים, הוא להודות שיש לך בעיה. מה בוחרים כעת מדענים והציבור לעשות עם המידע הזה נותר לראות, אבל התגובה הקולקטיבית שלנו תנחה את מהלך ההתקדמות המדעית העתידית.
ניוזלטרים אלה עשויים להכיל פרסומות, עסקאות או קישורי שותפים. בלחיצה על הירשם, אתה מאשר שאתה בן 16+ ומסכים לנותנאי שימושומדיניות פרטיות.
