שיעורים 12-11 בעיות אתיות בפרסום מדעי ופתרונות

השיעור מרחיב את נקודת המבט ממבנה המאמר הבודד, למערכת הפרסום המדעי: כיצד מעריכים חוקרים וכתבי עת, אילו תמריצים נוצרים מהמדדים האלה, כיצד הם יכולים להשפיע על איסוף הנתונים ועל הדיווח, ואילו פתרונות פותחו בעקבות משבר השחזור.

מדידה לפי פרסומים וציטוטים
        ↓
לחץ לפרסם הרבה ובכתבי עת מדורגים
        ↓
העדפה לתוצאות ברורות וחיוביות
        ↓
דיווח סלקטיבי וחיפוש אחר מובהקות
        ↓
ממצאים שקשה לשחזר

כיצד מודדים חוקרים?

חוקרים נמדדים במידה רבה לפי פרסומיהם: מספר המאמרים, כתבי העת שבהם פורסמו ומספר הציטוטים שקיבלו. אפשר לראות את הנתונים האלו בפרופילים של חוקרים ב־Google Scholar.

לדוגמה, h-index של 17 מציין שלחוקר יש 17 מאמרים שקיבלו לפחות 17 ציטוטים כל אחד. ככל שהמדדים גבוהים יותר, החוקר נתפס כבעל השפעה רחבה יותר.

גורמים נוספים שמשפיעים על מספר הציטוטים

מספר הציטוטים מושפע גם מנראות החוקר ומקשריו המקצועיים. כנסים מאפשרים לחוקרים להכיר זה את זה ואת העבודות החדשות בתחום; היכרות כזאת יכולה להוביל בהמשך לציטוטים. גם פעילות ברשתות חברתיות מגדילה את החשיפה למחקר.

Self-citations (ציטוטים עצמיים) נספרים במספר הציטוטים הכולל, ואפשר להציג מדדים שמפחיתים אותם. שיעור גבוה של ציטוטים עצמיים יכול להשפיע על האופן שבו מתרשמים מפרופיל של חוקר.

הוזכרה גם הטיה מגדרית בציטוטים: מאמרים של נשים מצוטטים פחות, ובפרט, מאמרים שבהם גם המחברת הראשונה וגם המחברת האחרונה הן נשים. עצם זיהוי ומדידת ההטיה מאפשרים לקהילה לפעול לשינוי שלה.

המוסד וההיכרות עם החוקר

גם שיוך מוסדי והיכרות מוקדמת עם חוקרים יכולים להשפיע על היחס למאמר. עורכים ושופטים פועלים בתוך מערכת אנושית שיש בה הטיות; כך מאמר שמגיע ממוסד יוקרתי כמו MIT, נתפס מראש באופן חיובי יותר.

תמריצי מערכת הפרסום

כאשר חוקרים נמדדים לפי פרסומים וציטוטים, נוצר תמריץ לפרסם:

• כמה שיותר מאמרים
• כמה שיותר מהר
• בכתבי עת המדורגים גבוה
• תוצאות שקל להציג כממצא ברור ומשמעותי

כתבי העת מחולקים לרבעונים. הרבעון הראשון והשני הם החצי העליון של הדירוג, ובהם חוקרים שואפים לפרסם. גם כתבי העת עצמם נמדדים ורוצים לקבל מאמרים שימשכו עניין וציטוטים.

התמריצים הללו יכולים להשפיע על ההחלטות חוקרים גם בלי כוונת מרמה. כאשר תוצאה חיובית וברורה מקדמת פרסום טוב יותר, קל יותר להשקיע בה ולתת לה מקום מרכזי.

דיווח חלקי או מגמתי

דיווח מגמתי נוצר כאשר המסקנה המוצגת רחבה מן הממצא שהתקבל. לדוגמה, תוצאה שנמצאה רק אצל אנשים מעל גיל 75. הצגת התוצאה כאילו היא מתאימה לכלל האוכלוסייה מסתירה את העובדה שהאפקט הופיע בקבוצה מסוימת, שבה יכולים להיות משתנים מתערבים הקשורים לגיל ולמצב הבריאותי.

תוצאות שליליות והטיית פרסום

מחקר יכול לבדוק שאלה חשובה ולקבל תשובה שלפיה הטיפול שנבדק לא היה יעיל. תוצאה כזאת מושכת פחות עניין מתוצאה שמראה שטיפול עובד, ולכן לחוקר ולכתב העת יש פחות תמריץ להשקיע בפרסומה.

כך יכולה להיווצר ספרות שמציגה בעיקר תוצאות חיוביות. סטודנטית שעורכת סקירת ספרות על תרופה עשויה למצוא מאמר אחד שמראה יעילות, בלי לדעת שתשעה מחקרים שלא מצאו יעילות נשארו מחוץ לספרות שפורסמה.

ביקורת עמיתים ובחירת שופטים

בעת הגשת מאמר אפשר לעיתים להציע שמות של שופטים. כתב העת יכול לבחור שופטים אחרים, ולעיתים נעזר ברשימה כאשר קשה למצוא שופטים מתאימים.

אפשר גם לבקש שאדם מסוים לא ישפוט את המאמר, למשל כאשר קיים סכסוך אישי או מקצועי. כתבי העת נוטים לכבד בקשות כאלה, כדי שהשיפוט יתמקד במחקר.

החשיבות לרופאים ולחוקרים

חוקרים צריכים להכיר את התמריצים האלה כדי להבין כיצד הם עלולים להשפיע על העבודה שלהם.

רופאים פוגשים את אותה בעיה, כאשר מטופלים מגיעים עם טענה שקראו בעיתון, או ראו ברשת חברתית על טיפול חדש, תוסף או המלצה רפואית. היכולת לבדוק את המחקר ואת דרך הצגתו מאפשרת להעריך עד כמה אפשר לסמוך על הטענה.

דוגמת מחקר השוקולד

מדובר בניסוי שנבנה בכוונה כדי להדגים כמה קל לייצר תוצאה שנשמעת משכנעת ולהפיץ אותה בתקשורת.

במחקר השתתפו 15 אנשים, שחולקו לשלוש קבוצות:

המחקר נמשך שלושה שבועות. החוקרים לקחו בדיקות לפני ואחרי ההתערבות ומדדו 18 מדדים, ובהם משקל, BMI, כולסטרול ומדדים נוספים בדם.

מדוע היה צפוי למצוא תוצאה?

בכל קבוצה היו חמישה אנשים בלבד. השונות בין בני אדם גדולה, ולכן קשה להסיק מסקנה יציבה מהשוואה בין קבוצות קטנות כל כך.

בנוסף, נבדקו 18 מדדים. כאשר בודקים הרבה מדדים, עולה הסיכוי שאחד מהם יצא מובהק במקרה. לפי החישוב שהוצג בשיעור, במקרה הזה היה סיכוי של כ־60% למצוא הבדל מובהק באחד מהמדדים.

ההבדל שנמצא היה בירידה במשקל: קבוצת השוקולד ירדה יותר במשקל. החוקרים התמקדו בממצא הזה, ופרסמו אותו כטענה שלפיה אכילת שוקולד מסייעת לירידה במשקל.

כיצד המחקר הופץ?

המחקר פורסם בכתב עת שלא ביצע ביקורת עמיתים אמיתית. החוקרים הקימו מוסד פיקטיבי ואתר אינטרנט שנראה כמו אתר של מכון מחקר. הכותרת זכתה לסיקור בעיתונים ובתוכניות טלוויזיה במדינות שונות, משום שהמסר היה פשוט ומושך: אכילת שוקולד וירידה במשקל.

הממצא הסטטיסטי התקבל בתוך הנתונים שנאספו, אך דרך תכנון המחקר והדיווח עליו לא תמכה במסקנה שהוצגה לציבור.

P-hacking וריבוי השוואות

P-hacking הוא כהטיה נפוצה במחקר. המטרה של ניתוחים רבים היא להגיע ל־p < 0.05, והשאיפה הזאת יכולה להשפיע על דרך הטיפול בנתונים.

דרכים שבהן P-hacking יכול להתרחש

• הרצת ניתוחים רבים עד שמתקבלת תוצאה מובהקת;
• הסרת נבדק שמחליש את הקשר הסטטיסטי;
• הגדרת נבדק כ־outlier לאחר צפייה בתוצאה;
• חלוקת המדגם לתת־קבוצות רבות;
• דיווח על הקבוצה שבה נמצא אפקט בלי להציג את הקבוצות שבהן הוא לא נמצא;
• הצגת ניתוח שנבחר לאחר צפייה בנתונים כאילו תוכנן מראש.

לדוגמה, כאשר בודקים בנפרד נשים וגברים, כבר בוצעו שתי השוואות. אם בודקים גם קבוצות גיל וקבוצות נוספות, מספר ההשוואות ממשיך לעלות.

תיקון להשוואות מרובות

כאשר מבצעים מספר השוואות, סף המובהקות צריך להיות מחמיר יותר.

Correction for multiple comparisons מקטין את ערך ה־p הנדרש ככל שמספר ההשוואות גדל.

התיקון מקשה על קבלת מובהקות, בהתאם לעלייה בסיכוי למצוא תוצאה מקרית.

ממצא אקספלורטורי

אפשר לבדוק תתי-קבוצות או קשרים נוספים שלא הוגדרו מראש. כאשר ממצא עלה מתוך חיפוש בנתונים, יש לדווח עליו כ־Exploratory.

לדוגמה, מחקר שתוכנן לבחון את כלל האוכלוסייה יכול למצוא אפקט רק אצל נשים בגיל הפוריות. החוקרים יכולים:

1. לדווח שהממצא עלה באנליזה אקספלורטורית;
2. לציין שבקבוצות האחרות האפקט לא נמצא;
3. לבדוק במחקר נוסף או בדאטה סט אחר רק את הקבוצה ואת המדד שהתגלו;
4. לבדוק אם האפקט משתחזר.

שחזור של הממצא בנתונים נוספים הופך אותו לממצא חזק יותר שאפשר לבנות עליו.

משבר השחזור

משבר השחזור התפתח כאשר חוקרים ניסו לבנות על ממצאים שפורסמו, וגילו שהם אינם מצליחים לקבל שוב את האפקט המקורי.

המשבר התחיל לקבל תשומת לב רחבה בפסיכולוגיה. ממצאים משנות ה־70 וה־80 נלמדו כחלק מהידע על התנהגות אנושית, ובהמשך התברר שחלקם אינם חוזרים במחקרים חדשים.

בפרויקט שחזור שפורסם בכתב העת “Science”, הצליחו לשחזר 35 מתוך 97 מחקרים - כ־36% בלבד. הבעיה הופיעה גם בביולוגיה של הסרטן, במדעי המוח ובמחקר קליני.

גורמים למשבר שחזור

• מדגמים קטנים
• דיווח רק על תוצאה מובהקת
• ביצוע אנליזות רבות
• טיפול גמיש בנתונים
• העדפה לפרסום תוצאות חיוביות
• הבדלים בין אוכלוסיות, מעבדות ותנאי ניסוי

גם מחקר שמוצא אפקט אמיתי יכול לקבל תוצאה שונה במחקר נוסף, משום שהאנשים, בעלי החיים, תנאי החדר או הטיפול בנתונים אינם זהים. לכן חשוב להשתמש במדגמים מתאימים ולבדוק ממצאים שוב בתנאים נוספים.

מדע פתוח ורישום מראש

התגובה למשבר כללה הקמה של מוסדות ויוזמות לקידום Open Science. חוקרים נדרשים להראות כיצד הם פועלים בשקיפות, ובבקשות למענקים ובמאמרים יכולים לבקש מהם לציין:

• האם הנתונים יהיו זמינים
• היכן יופקדו הנתונים
• האם קוד הניתוח יהיה זמין
• כיצד יהיה אפשר לשחזר את הניתוח
• האם ההשערות ותוכנית המחקר נרשמו מראש

שיתוף נתונים וקוד מאפשר לחוקרים אחרים לבדוק כיצד התקבלו התוצאות ולנסות לשחזר את המחקר.

Preregistration

ברישום מראש, החוקרים מפקידים במאגר את תוכנית המחקר לפני ביצוע האנליזות.

הרישום כולל:

כך החוקרים מתחייבים מראש לכללים שיחולו גם כאשר נבדק מסוים פוגע במובהקות, או כאשר אנליזה אחרת נראית מושכת יותר בדיעבד.

זמן הרישום וחותמת הזמן

אפשר לבצע רישום לפני איסוף הנתונים, או לאחר שהנתונים נאספו ולפני שנערכו האנליזות. במאמר מדווחים על מועד הרישום ועל מועד איסוף הנתונים.

הרישום מקבל חותמת זמן דיגיטלית. לאחר הפקדתו אי אפשר לערוך אותו. טעות או שינוי מתועדים במסמך נוסף, ולכן נשמרת היסטוריה של התכנון ושל התיקונים.

OSF, ‏AsPredicted ו־ClinicalTrials.gov הוזכרו כמקומות שבהם אפשר לבצע רישום מראש.

Hypothesis-driven ו־Data-driven

רישום מראש מפריד בין שני חלקים במחקר:

• Hypothesis-driven - ההשערות והאנליזות שהוגדרו מראש;
• Data-driven - שאלות שעלו מתוך הנתונים, לאחר תחילת המחקר.

אפשר להמשיך לחקור את הנתונים ולמצוא קשרים חדשים. סימון הממצא כאקספלורטורי מאפשר לקוראים להבין כיצד התגלה, וכמה משקל לתת לו.

הרישום גם מחייב את החוקרים לחשוב מראש על שאלת המחקר, המדגם והניתוח, וכך משפר את תכנון הניסוי.

תיקונים, רמאות ו־Retraction Watch

אפשר לנסות לרמות גם מערכת שיש בה רישום מראש ושיתוף נתונים. יש להבחין בין הטיות שנוצרות מתוך התמריצים של המערכת, לבין פעולה מכוונת של זיוף או הסתרה.

Retraction Watch הוצג כיוזמה שבוחנת מאמרים ומצביעה על ממצאים חשודים, כגון ג’ל שנראה חתוך או תמונה שנראית ערוכה. כאשר כתב עת מגלה בעיה חמורה, הוא יכול לבצע Retraction ולמשוך מאמר שכבר פורסם. במאגרי המאמרים מופיע סימון ברור שהמאמר נמשך.

Registered Reports

ב־Registered Reports כתב העת נכנס לתהליך עוד לפני הרצת המחקר.

החוקרים מגישים כתב יד שכולל:

• מבוא
• שאלת המחקר והחשיבות שלה
• שיטות
• תוכנית הניתוח
• התייחסות קצרה למשמעות האפשרית של תשובה חיובית או שלילית

כתב היד עובר ביקורת עמיתים. השופטים בוחנים את חשיבות השאלה ואת היכולת של השיטות לענות עליה. כאשר ההצעה מתקבלת, כתב העת מתחייב לפרסם את המחקר לפי התוכנית שאושרה, גם כאשר התוצאה שמתקבלת שלילית.

לאחר ביצוע המחקר מוסיפים את התוצאות ומשלימים את הדיון. המאמר עובר ביקורת נוספת כדי לבדוק שהמחקר בוצע כפי שתוכנן ושהתוצאות הוצגו כראוי.

מה המנגנון משנה?

החלטת הפרסום מתקבלת לפי שאלת המחקר והשיטות, לפני שהתוצאה ידועה. כך יורד הלחץ לייצר תוצאה חיובית שתעניין את כתב העת.

המסלול מתאים לשאלות מחקר שבהן גם תשובה שלילית היא חשובה ומעניינת. קשה למצוא שאלות כאלה, ומבחינה סטטיסטית קשה יותר לבסס שאין אפקט מאשר להראות שקיים אפקט.

גם במסלול הזה נשארות הטיות, והמחקר עדיין נדרש לעבור ביקורת עמיתים ולהתבצע לפי התוכנית.

שחזורים ושיתופי פעולה בין מעבדות

בעקבות משבר השחזור נוצרו פרויקטים שמטרתם לחזור על ממצאים חשובים במעבדות שונות ובתנאים שונים.

הוזכרו Many Labs, שבה מעבדות רבות מבצעות את אותו מחקר ובודקות אם מתקבלות תוצאות דומות. בפרט, צויינו יוזמות כאלה במחקרים עם תינוקות, בתחום ההזדקנות ובמחקרים עם פרימטים.

שיתוף פעולה בין כמה מעבדות מאפשר לבדוק אם ממצא נשמר מעבר למעבדה אחת ולתנאים שבהם התגלה לראשונה.