שיעור 6 שיטות וחומרים במאמר מדעי

פרק השיטות והחומרים מתאר כיצד המחקר בוצע. הוא מאפשר לחוקרים אחרים לשחזר את העבודה, ולקוראים להעריך עד כמה אפשר לסמוך על התוצאות ולהשתמש בהן במחקר או בקליניקה.

מדוע פרק השיטות והחומרים חשוב?

לפרק השיטות והחומרים יש שתי מטרות מרכזיות:

1. לספק מתכון לשחזור המחקר.
2. לאפשר הערכה של תקפות התוצאות.

שחזור והמשך המחקר

מחקר יחיד הוא נקודה אחת בתוך גוף ידע גדול. חוקרים רוצים לחזור על המחקר כדי לבדוק אם אותה תוצאה מתקבלת שוב, ולהמשיך ממנו למחקרים נוספים.

אפשר לשחזר מחקר:

• בצוות מחקר אחר
• באוכלוסייה אחרת
• בסביבה אחרת
• במין אחר או במודל אחר
• בעזרת אמצעים או שיטות ניתוח חדשות
• כחלק ממחקר המשך שמרחיב את שאלת המחקר

השחזור עוזר לבדוק אם הממצא חוזר על עצמו, ואם הוא נשמר כאשר משנים חלק מהתנאים.

הערכת תקפות התוצאות

פרק השיטות מאפשר להחליט עד כמה התוצאה יציבה ורלוונטית, והאם ראוי להתבסס עליה בהחלטה מחקרית או קלינית.

פרסום המאמר וביקורת העמיתים עדיין משאירים מקום לטעויות אנוש; טעויות בנתונים או בטבלאות; רמאות או שינוי מכוון של תוצאות; אינטרסים מסחריים; או פרשנות לא מדויקת של הנתונים.

קיים גם retraction: הליך שבו מאמר נמשך לאחר פרסום בעקבות בעיה שהתגלתה בו. המאמר נשאר ברשת עם סימון מתאים, ולעיתים ממשיך לצבור ציטוטים, כולל ציטוטים שמסבירים מדוע הוא שגוי.

לכן קריאת פרק השיטות משמשת שכבת בדיקה נוספת, טרם אימוץ מסקנות המאמר.

כמה מידע צריך להציג?

פרק השיטות צריך להכיל מספיק מידע כדי לשחזר את המחקר ולהעריך אותו, תוך שמירה על קריאות ומיקוד.

פירוט ארוך יכול להפוך את הפרק ל״מתכון״ של עמודים רבים, שבו קשה למצוא את הפעולות החשובות. תיאור קצר מדי עלול להשאיר בחוץ ריכוזים, תנאים, קריטריונים או פעולות שהשפיעו על התוצאה.

הפניה למקורות

אחת הדרכים לשמור על האיזון היא הפניה למאמרים קודמים.

כאשר מערכת, פרוטוקול או מודל סטטיסטי כבר תוארו ופורסמו, אפשר לתת בפרק הנוכחי הסבר קצר שמאפשר להבין מה נעשה; ולהפנות למקור שבו מופיע הפירוט המלא. כך הקורא מבין את המחקר הנוכחי, וחוקר שמעוניין לשחזר אותו יכול להגיע לפרוטוקול המפורט.

הפניה למקור יכולה לשמש עבור:

• מערכת ניסויית מוכרת
• פרוטוקול שכבר פורסם
• טווחי ערכים וריכוזים
• מדד שעבר תיקוף בעבר
• מודל סטטיסטי או אנליטי

מבנה פרק השיטות והחומרים

למרות ההבדלים בין תחומי המחקר, לפרק השיטות יש מבנה כללי שמור. המבנה עוזר לקורא להתמצא ולמצוא במהירות את החלק הדרוש לו.

תיאור המדגם או המודל

החלק הראשון מתאר את מושא המחקר: בני אדם; בעלי חיים; תאים בתרבית; או מודל מחקרי אחר. לדוגמה, במחקר בבני אדם יכולים להופיע גיל, מצב רפואי, מחלות רקע ומאפיינים נוספים של המשתתפים.

הניסוי או ההתערבות

החלק הבא מתאר את רצף הפעולות שבוצעו: איזה טיפול או תנאי קיבלה כל קבוצה; כמה זמן נמשך המחקר; מתי בוצעו המדידות; כמה פעמים המשתתפים הגיעו; או מה היה סדר הפעולות.

ניתוח הנתונים

החלק הסטטיסטי מתאר את המבחנים, המודלים וההשוואות שנעשו. גם ניתוח שכיח, כמו השוואה בין שתי קבוצות, אמור להופיע בפרק. המטרה היא שקיפות לגבי הדרך שבה הנתונים הגולמיים הפכו לתוצאות שמוצגות במאמר.

התייחסות לשיטות בפרק התקציר

בתקצירי מאמרים קליניים, מופיעה לעיתים חלוקה ל־Background, ‏Methods, ‏Results ו־Conclusions. חלק ה־Methods בתקציר מציג תיאור קצר מאוד של המחקר, ואילו פרק השיטות המלא מכיל את הפרטים הדרושים להערכה ולשחזור.

ארבע שאלות לקריאה ביקורתית

הוצעו ארבע שאלות שאפשר לשאול בכל קריאה של פרק שיטות:

1. מי נחקר?
2. מה בדיוק נעשה?
3. מה נמדד?
4. כיצד נותחו הנתונים?

1. מי נחקר?

יש לבדוק עד כמה המדגם דומה לאוכלוסייה שעליה רוצים ליישם את התוצאה. למשל, מחקר על טיפול בדיכאון, יכול להתבסס על סטודנטים בריאים שדיווחו בעצמם על תסמינים בשאלון. מדגם כזה שונה מחולים שאובחנו בדיכאון במסגרת קלינית.

גיוס המשתתפים

דרך הגיוס משפיעה על הקבוצה שנכנסה למחקר ועל האפשרות להכליל את הממצאים. על כן, יש לברר: מאיפה המשתתפים הגיעו; כיצד גויסו; האם נבחרו באופן אקראי; האם מדובר במדגם נוחות, כגון סטודנטים, חברים או בני משפחה.

קבוצת ביקורת

יש לבדוק אם הייתה קבוצת ביקורת אמיתית, שנאספה באותו מחקר ובאותם תנאים. לדוגמה, השוואה לנתונים שפורסמו לפני שנים, שונה מהשוואה בין שתי קבוצות שגויסו יחד, עברו את אותו תהליך ונמדדו באותו זמן.

קריטריונים להכללה ולהוצאה

Inclusion criteria ו־Exclusion criteria קובעים מי נכלל בניתוח הסופי.

אם גויסו מאה משתתפים, ובתוצאות מופיעים רק שישים, צריך לברר מה קרה לארבעים האחרים.

סיבות אפשריות להוצאה כוללות: נשירה מהמחקר; נתונים שלא נרשמו כראוי; תקלה טכנית; עמידה בקריטריון שהוגדר להוצאה; וזיהוי outliers.

אפשר להוציא משתתפים או נתונים מהניתוח, תוך שקיפות לגבי: מספר המשתתפים שהוצאו; הסיבה להוצאה; הדרך שבה זוהו; והקריטריון הכמותי ששימש לכך.

קריטריון מוגדר מאפשר להבין אם ההוצאה נבעה מהשיטה, או מהחלטה שהתקבלה לאחר שהחוקרים ראו את התוצאות.

2. מה בדיוק נעשה?

יש לבדוק אם תיאור הפעולות מאפשר להבין ולשחזר את המחקר.

הקצאה לקבוצות

יש לברר אם המשתתפים חולקו לתנאים באמצעות רנדומיזציה, או שהחוקרים קבעו מי ייכנס לכל קבוצה.

חשיפה לתנאי הניסוי

כאשר הרופא או הנסיין יודעים מי מקבל את הטיפול ומי בקבוצת הביקורת, הידע הזה יכול להשפיע על אופן הטיפול, המדידה או האינטראקציה עם המשתתף. על כן, יש לבדוק מי ידע לאיזו קבוצה שייך כל משתתף.

משתנים מתערבים

יש לחפש הבדלים נוספים בין הקבוצות שיכולים להסביר את התוצאה. לדוגמה, קבוצה אחת יכולה לעבור הערכה של עשר דקות, בעוד שקבוצת הטיפול פוגשת את הצוות במשך שלושה שבועות ומקבלת מעקב נרחב. עצם הקשר הממושך עם הצוות יכול להשפיע על התגובה, לצד השפעת הטיפול שנבדק.

3. מה נמדד?

יש לזהות את ה־outcome, כלומר המדד שעליו מבוססת התוצאה.

המדד צריך להתאים לשאלת המחקר ולהיות רלוונטי לשימוש הקליני או המחקרי.

יש לשאול: האם המדד עבר תיקוף; האם הוא יציב; האם הוא משקף את התופעה שמעניינת אותנו; והאם הוא קשור לתוצאה הקלינית המרכזית.

לדוגמה, טיפול יכול לגרום לשינוי מובהק בביומרקר. כאשר הביומרקר אינו קשור לשיפור בתסמינים או במהלך המחלה, השינוי בו לא בהכרח עונה על השאלה הקלינית המרכזית.

4. כיצד נותחו הנתונים?

יש לבדוק אילו ניתוחים בוצעו, וכיצד הם מתאימים למבנה הנתונים.

ריבוי ניתוחים

קבוצת מחקר יכולה לבצע מבחנים סטטיסטיים רבים ולדווח רק על המבחן שבו התקבלה תוצאה מובהקת.

ככל שמבצעים יותר בדיקות, עולה הסיכוי למצוא במקרה תוצאה עם p-value נמוך. לכן חשוב לדעת:

• כמה מדדים נבדקו
• כמה מבחנים סטטיסטיים בוצעו
• אילו תוצאות התקבלו בשאר הניתוחים
• האם נעשה תיקון למספר המבחנים

לדוגמה, כאשר בוצעו עשרה מבחנים, סף המובהקות צריך להיות מחמיר פי עשרה. תוצאה כמו p = 0.042 יכולה לעמוד בסף הרגיל, אך לא בסף המתוקן לאחר מספר גדול של ניתוחים.

התאמה למבנה הנתונים

הניתוח צריך לקחת בחשבון קשרים בין המדידות.

לדוגמה, כאשר לוקחים בדיקת דם מאותו מטופל בכל שבוע, המדידות שייכות לאותו אדם וקשורות זו לזו. ניתוח שמתייחס לכל מדידה כאילו הגיעה ממשתתף נפרד יוצר תמונה מטעה לגבי גודל המדגם.

יש לבדוק גם אם שיטת הניתוח מתאימה ל:

• קבוצות בגדלים שונים
• מדידות חוזרות
• משתתפים שתורמים כמה תצפיות
• סוג המשתנה שנמדד

דוגמה: התערבות דיגיטלית לדיכאון

הוצגה טענה על התערבות דיגיטלית חדשה שהפחיתה תסמיני דיכאון ב־40% בהשוואה לטיפול הרגיל.

קריאת פרק השיטות העלתה כמה שאלות.

מה הייתה קבוצת ההשוואה?

הכותרת תיארה השוואה ל־usual care, אך קבוצת טיפול רגיל לא בהכרח גויסה ונבדקה במקביל.

ייתכן שהחוקרים השוו את תוצאות ההתערבות לנתונים היסטוריים על השיפור המקובל בטיפול בדיכאון. במקרה כזה הקבוצות הגיעו מתקופות, תנאים ושיטות גיוס שונים.

באיזה מדד השתמשו?

המחקר השתמש בשאלון חדש שלא עבר תיקוף. תוצאה המבוססת על מדד חדש, דורשת בדיקה של הדרך שבה המדד פותח ושל הקשר שלו לתסמיני דיכאון.

כמה תוצאות נבדקו?

החוקרים בדקו מדדים רבים. רובם לא היו מובהקים, ומדד אחד יצא מובהק וקיבל את מרכז המאמר.

הצגה מלאה של כלל המדדים חשובה משתי סיבות:

1. היא מאפשרת להבין את ההשפעה הכוללת של הטיפול, כולל תחומים שבהם לא נמצא שיפור, או שבהם הייתה השפעה שלילית.
2. היא מאפשרת להעריך את המובהקות, תוך התחשבות במספר הבדיקות שבוצעו.

דוגמה למחקר משכנע יותר

בדוגמה השנייה שהוצגה בשיעור היו:

• יותר משתתפים
• קבוצת ביקורת שנכללה במחקר
• חלוקה אקראית בין הקבוצות
• מעקב לאחר יום ולאחר חודש
• מדד מוכר
• רישום מראש של התוצאות המתוכננות
• דיווח על התוצאות שנרשמו מראש, גם כאשר לא היו מובהקות

Pre-registration מאפשרת לפרסם מראש את תוכנית המחקר ואת המדדים שייבדקו. כך אפשר לראות מה תוכנן לפני איסוף הנתונים, ומה דווח לאחר מכן.

מגבלות ורמת הוודאות

פרק השיטות יכול להישאר חלקי מכמה סיבות שהוזכרו בשיעור:

• מגבלה של כתב העת על מספר המקורות
• מגבלת מקום
• פרטים שמוגנים בפטנט
• מידע בעל משמעות מסחרית
• חוסר ודאות של החוקרים לגבי חלקים בשיטה
• חשש מחשיפה של מגבלות המחקר

קריאה טובה של פרק השיטות מעלה את רמת הוודאות במחקר. היא מאפשרת לזהות מדגם לא מתאים, קבוצת ביקורת חלשה, מדד לא רלוונטי או ניתוח שאינו מתאים לנתונים.

שחזור על ידי צוות אחר, מחקרים נוספים באוכלוסיות אחרות ותוצאות עקביות לאורך זמן מוסיפים שכבות נוספות של ביטחון. עד אז, ארבע השאלות מספקות דרך שיטתית להעריך את המחקר הקיים.