פתיחה ומנהלות

היום נלמד את הנושא האחרון בקורס שמכיל חומר חדש: רגרסיות. בשבוע הבא נערוך חזרה, תרגולים ומשחקים לקראת המבחן. החומר של שבוע הבא לא יהיה במבחן, אך יעזור לכם להבנה סטטיסטית ולהיות רופאים טובים יותר.

הודעות:

  • נפתחה ההרשמה לקבוצות למטלה השנייה, שהיא מטלת מגן (הציון בה יכול רק לשפר).
  • היום נתמקד ברגרסיה מרובה. ייתכן שלא נספיק להגיע לרגרסיה לוגיסטית.

חזרה: רגרסיה לינארית פשוטה

המשתנה המסביר (X) והמשתנה המוסבר (Y)

ברגרסיה לינארית פשוטה, אנחנו מנסים לחזות את התוצאה של משתנה $Y$ (התגובה, response) בהתאם למשתנה $X$ שאנחנו יודעים או שולטים בו.

  • $X$ (המשתנה המסביר): נקרא גם משתנה בלתי תלוי, חשיפה (exposure), או covariate. דוגמאות: שעות שינה, גובה האב.
  • $Y$ (המשתנה המוסבר): נקרא גם משתנה תלוי, תוצאה (outcome), או response.

הקשר הלינארי

ההנחה המרכזית היא שהקשר בין $X$ ל-$Y$ הוא לינארי (בקירוב). המשמעות היא ששינוי ביחידה אחת ב-$X$ גורם לשינוי קבוע בממוצע של $Y$.

לדוגמה, אם ננתח את הקשר בין גובה האב לגובה הבן, שינוי של 5 אינצ’ים בגובה האב יגרום לאותו שינוי ממוצע בגובה הבן, בין אם השינוי נמדד מאבות בגובה 65-60 אינץ’ או 75-70 אינץ’.

דוגמה: גובה אב וגובה בן

בניתוח רגרסיה על נתוני גובה, קיבלנו את הנוסחה:

\[\text{son height} = 0.5 \times \text{father height} + 34\]
  • פירוש: כל אינץ’ נוסף בגובה האב מוסיף, בממוצע, חצי אינץ’ לגובה הבן.
  • ניבוי: עבור אב בגובה 72 אינץ’, הניבוי לגובה הבן הוא: $0.5 \times 72 + 34 = 70$ אינץ’.
  • נסיגה לממוצע (Regression to the mean): זו התופעה שעל שמה נקראת הרגרסיה. בנים לאבות גבוהים מהממוצע נוטים להיות גבוהים, אך קרובים יותר לממוצע מאבותיהם.

פירוק השונות של Y

השונות הכוללת של $Y$ מתפרקת לשני מרכיבים:

  1. שונות מוסברת (Explained Variance): החלק בשונות של $Y$ שקו הרגרסיה מצליח להסביר.
  2. שונות לא מוסברת (Unexplained Variance) / שונות השאריות (Residual Variance): החלק בשונות שנותר לאחר התאמת המודל. זוהי השונות של המרחקים האנכיים בין נקודות הנתונים לקו הרגרסיה.
\[\text{Var}(Y) = \text{Var}_{\text{explained}} + \text{Var}_{\text{residuals}}\]

ככל ששונות השאריות קטנה יותר, כך המודל מתאים טוב יותר לנתונים.

מקדם ההסבר ($R^2$)

כדי להשוות בין מודלים שונים עם יחידות שונות, אנחנו משתמשים במדד יחסי שנקרא מקדם ההסבר, או $R^2$ (R-squared).

\[R^2 = \frac{\text{Explained Variance}}{\text{Total Variance of } Y} = 1 - \frac{\text{Residual Variance}}{\text{Total Variance of } Y}\]
  • $R^2$ הוא מספר בין 0 ל-1 (או 0% ל-100%).
  • הוא מייצג את אחוז השונות במשתנה המוסבר ($Y$) שהמודל מצליח להסביר.
  • ככל ש-$R^2$ קרוב יותר ל-1, כך המודל מספק התאמה טובה יותר לנתונים.

מניתוח חד-משתני לרגרסיה מרובה

  • ניתוח חד-משתני: עוסק במשתנה בודד (למשל, רווח סמך לתוחלת).
  • ניתוח דו-משתני: עוסק בקשר בין שני משתנים (למשל, מבחן חי-בריבוע, רגרסיה לינארית פשוטה).
  • ניתוח רב-משתני: עוסק בקשר בין מספר משתנים. הכלי המרכזי שנלמד הוא רגרסיה מרובה.

רגרסיה לינארית מרובה

רגרסיה מרובה מנסה להסביר משתנה תלוי רציף ($Y$) באמצעות מספר משתנים מסבירים ($X_1, X_2, …, X_k$).

המודל המתמטי

ההנחה היא שהקשר האמיתי הוא לינארי:

\[Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \dots + \beta_k X_k + \epsilon\]

כאשר:

  • $Y$ הוא המשתנה התלוי.
  • $X_1, \dots, X_k$ הם המשתנים המסבירים.
  • $\beta_0$ הוא החותך (intercept).
  • $\beta_1, \dots, \beta_k$ הם מקדמי הרגרסיה.
  • $\epsilon$ הוא רכיב הרעש (השגיאה).

מציאת המקדמים: שיטת הריבועים הפחותים (OLS)

בדומה לרגרסיה פשוטה, המטרה היא למצוא את המקדמים ($\beta_0, \dots, \beta_k$) שמביאים למינימום את סכום ריבועי השאריות (Sum of Squared Errors - SSE).

\[\text{SSE} = \sum (Y_i - \hat{Y}_i)^2\]

כאשר $\hat{Y}_i$ הוא הערך המנובא על ידי המודל עבור התצפית ה-$i$. המחשב (למשל, Python) מוצא את הפתרון האופטימלי עבורנו.

פירוש המקדמים

  • $\beta_0$ (החותך): הערך המנובא של $Y$ כאשר כל המשתנים המסבירים שווים לאפס. לעיתים קרובות, זהו ערך תיאורטי ללא משמעות מעשית (למשל, גובה של אדם בגיל 0).
  • $\beta_i$ (מקדם של משתנה $X_i$): מייצג את השינוי הממוצע ב-$Y$ עבור עלייה של יחידה אחת ב-$X_i$, כאשר כל שאר המשתנים המסבירים מוחזקים קבועים. זהו האפקט “נטו” של המשתנה. רעיון זה דומה לנגזרת חלקית במתמטיקה.

דוגמה מעשית: ניבוי רמת גלוקוז בדם

נבנה מודל שמנבא רמת גלוקוז בדם אצל חולי סוכרת.

  • משתנה מוסבר ($Y$): glucose (רמת גלוקוז בדם).
  • משתנים מסבירים ($X_i$):
    • age (גיל בשנים).
    • insulin (רמת אינסולין בדם).
    • gender (מין, מקודד: 0=גבר, 1=אישה).

טעינת ובניית מודל ב-Python

ראשית, נטען את הנתונים וניצור את המודל באמצעות ספריית statsmodels.

import pandas as pd
import statsmodels.formula.api as smf
import pandas as pd
from io import StringIO


data = """
Patient ID,glucose,age,insulin,gender,heart_rate,resp_rate,body_temp,systolic_bp,diastolic_bp,oxygen_sat,hdl,wbc_count,platelets,creatinine,hemoglobin,c_peptide
0,56.3,58,19.2,1,77.4,18.1,36.9,142.2,83.0,96.1,62.0,8.2,216.0,1.2,14.9,19.2
1,78.6,48,5.4,0,71.7,17.9,36.6,112.2,82.6,98.0,81.3,5.2,261.6,1.4,12.7,5.5
2,48.8,34,24.4,1,68.8,14.3,36.9,107.9,80.1,98.1,43.1,7.3,264.7,1.0,12.4,24.4
3,57.3,62,21.6,1,67.0,15.4,37.3,112.5,77.7,100.5,48.2,9.0,214.3,0.8,14.7,21.7
4,65.8,27,9.2,0,55.2,16.7,36.8,133.7,65.8,97.8,56.2,4.6,343.3,0.8,13.7,9.3
5,85.3,40,8.6,1,62.8,18.0,37.3,124.9,75.8,98.3,49.0,7.3,273.7,0.8,15.1,8.5
6,72.7,58,8.7,0,65.4,15.0,36.0,112.1,76.6,98.0,36.4,7.4,190.4,1.0,14.7,8.7
7,66.9,38,11.1,1,80.6,15.6,37.0,127.7,72.0,96.8,55.8,8.2,282.8,1.1,13.9,11.2
8,65.1,42,15.5,0,73.4,13.8,36.8,121.5,78.4,99.1,42.3,5.1,201.3,1.1,12.7,15.6
9,61.4,30,13.6,1,52.4,13.6,36.7,134.5,84.0,98.8,60.7,5.0,289.4,1.2,11.7,13.8
10,72.8,30,10.8,1,73.2,17.6,36.8,109.5,98.9,98.8,44.0,7.8,307.9,1.0,13.3,10.7
11,48.6,43,17.2,0,66.1,18.7,36.2,115.1,81.7,97.1,73.6,7.4,209.0,1.3,15.3,17.2
12,67.2,55,7.8,0,63.2,15.9,36.7,114.1,82.6,99.4,45.6,7.4,298.2,0.9,14.3,7.9
13,70.6,59,10.8,0,76.1,18.0,36.9,98.0,79.3,96.6,51.1,7.5,270.6,1.5,12.1,10.9
"""

df = pd.read_csv(StringIO(data.strip()))

# הגדרת המודל
# הנוסחה: הסבר את 'glucose' באמצעות 'age', 'insulin' ו-'gender'
model_formula = 'glucose ~ age + insulin + gender'

# בניית מודל OLS (Ordinary Least Squares)
model = smf.ols(formula=model_formula, data=df).fit()

# הצגת סיכום המודל
print(model.summary())

הסימן ~ מפריד בין המשתנה המוסבר (משמאל) למשתנים המסבירים (מימין).

פירוש פלט הרגרסיה

                            OLS Regression Results
==============================================================================
Dep. Variable:                glucose   R-squared:                       0.804
Model:                            OLS   Adj. R-squared:                  0.746
Method:                 Least Squares   F-statistic:                     13.70
Date:                Wed, 02 Jul 2025   Prob (F-statistic):           0.000711
Time:                        11:35:37   Log-Likelihood:                -40.846
No. Observations:                  14   AIC:                             89.69
Df Residuals:                      10   BIC:                             92.25
Df Model:                           3
Covariance Type:            nonrobust
==============================================================================
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
Intercept     80.4470      6.559     12.266      0.000      65.834      95.060
age            0.1377      0.127      1.081      0.305      -0.146       0.422
insulin       -1.8801      0.297     -6.330      0.000      -2.542      -1.218
gender         7.2786      3.336      2.182      0.054      -0.155      14.713
==============================================================================
Omnibus:                        0.564   Durbin-Watson:                   2.521
Prob(Omnibus):                  0.754   Jarque-Bera (JB):                0.609
Skew:                           0.335   Prob(JB):                        0.737
Kurtosis:                       2.228   Cond. No.                         224.
==============================================================================

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.

הפלט של model.summary() מכיל מידע רב. נתמקד בטבלת המקדמים.

  coef std err t P> t   [0.025 0.975]
Intercept $79.1370$ $ 11.083$ $7.140 $ $0.000 $ $57.118 $ $101.156$    
age $0.0492$ $0.201 $ $0.245 $ $0.807 $ $-0.350 $ $0.448 $    
insulin $-2.0605$ $ 0.582 $ $-3.541$ $ 0.001$ $ -3.216$ $ -0.905$    
gender $18.4400$ $ 6.300 $ $2.927 $ $0.005 $ $5.931 $ $30.949 $    

(הערה: הערכים בפלט שלכם עשויים להיות מעט שונים עקב גרסה אחרת של קובץ הנתונים, אך העקרונות זהים).

נוסחת הרגרסיה

לפי עמודת coef (מקדמים), נוסחת הרגרסיה היא:

\[\hat{Y}_{\text{glucose}} = 79.14 + 0.049 \times \text{age} - 2.06 \times \text{insulin} + 18.44 \times \text{gender}\]

פירוש החותך (Intercept)

  • ערך: $79.14$
  • פירוש: רמת הגלוקוז המנובאת עבור אדם שגילו 0, רמת האינסולין שלו 0, והוא גבר (gender=0). זהו ערך אקסטרפולציה ללא משמעות קלינית ריאלית, אך הוא חיוני למבנה המתמטי של המודל.

פירוש מקדם רציף (אינסולין)

  • ערך: $-2.06$
  • פירוש: עלייה של יחידה אחת ברמת האינסולין בדם, תוך החזקת הגיל והמין קבועים, קשורה לירידה ממוצעת של 2.06 יחידות ברמת הגלוקוז.

הערכת מובהקות סטטיסטית של משתנה (גיל)

האם גיל הוא מנבא מובהק סטטיסטית לרמת הגלוקוז במודל זה? יש שלוש דרכים לבדוק זאת מהפלט:

דרך 1: רווח הסמך

  • רווח הסמך למקדם של age הוא [-0.350, 0.448].
  • הכלל: אם רווח הסמך ברמת מובהקות 95% מכיל את הערך 0, המקדם אינו מובהק סטטיסטית ברמה של $\alpha=0.05$.
  • מסקנה: מכיוון ש-0 נמצא בתוך הטווח, המשתנה age אינו מובהק.

דרך 2: יחס המקדם לשגיאת התקן

  • המקדם (coef) של age הוא 0.0492.
  • שגיאת התקן (std err) שלו היא 0.201.
  • אינטואיציה: שגיאת התקן מייצגת את “סרגל הרעש” של המקדם. כאן, המקדם קטן בהרבה משגיאת התקן שלו. זה מרמז שהערך שקיבלנו יכול בקלות להיות תוצאה של רעש סטטיסטי סביב ערך אמיתי של 0.
  • מסקנה: המקדם אינו מובהק.

דרך 3: ערך ה-p (P-value)

  • עמודת P>|t| מציגה את ערך ה-p עבור השערת האפס שהמקדם שווה ל-0.
  • ערך ה-p עבור age הוא 0.807.
  • הכלל: אם $p > 0.05$, לא דוחים את השערת האפס.
  • מסקנה: ערך ה-p גבוה מאוד, ולכן המקדם של age אינו מובהק סטטיסטית.

סיכום שלוש הדרכים: כולן מובילות לאותה מסקנה - במודל הנוכחי, לאחר שלוקחים בחשבון את רמת האינסולין והמין, לגיל אין השפעה מובהקת סטטיסטית על רמת הגלוקוז.

פירוש מקדם קטגורי (מין)

  • ערך: $18.44$
  • פירוש: המשתנה gender מקודד כ-0 (גבר) ו-1 (אישה). המקדם מייצג את ההבדל הממוצע ברמת הגלוקוז בין אישה (gender=1) לגבר (gender=0), תוך החזקת הגיל ורמת האינסולין קבועים. במקרה זה, רמת הגלוקוז המנובאת עבור אישה גבוהה בממוצע ב-18.44 יחידות מזו של גבר.
  • מובהקות: עם p-value של 0.005 (קטן מ-0.05) ורווח סמך [5.931, 30.949] (שאינו מכיל 0), המשתנה gender הוא מנבא מובהק סטטיסטית במודל.

הערכת טיב המודל הכולל

בנוסף לבחינת כל מקדם בנפרד, אנחנו רוצים להעריך את ביצועי המודל כולו.

מקדם ההסבר ($R^2$)

  • ערך: בפלט המודל (לא מוצג בטבלה זו) מופיע ערך $R^2$. בדוגמה שלנו, הוא 0.7.
  • פירוש: המודל שלנו (הכולל גיל, אינסולין ומין) מצליח להסביר כ-70% מהשונות ברמת הגלוקוז בדם. זהו נתון יפה שמצביע על מודל עם כוח הסברי טוב.

מבחן F למובהקות המודל

  • שאלה: האם המודל הלינארי שבנינו בכלל עדיף על מודל שלא מסביר כלום (כלומר, מנבא רק את הממוצע)?

  • השערת האפס ($H_0$): כל מקדמי הרגרסיה (פרט לחותך) שווים לאפס. כלומר, אין קשר לינארי בין אף אחד מהמשתנים המסבירים למשתנה המוסבר.

    \[H_0: \beta_1 = \beta_2 = \dots = \beta_k = 0\]

  • השערה אלטרנטיבית ($H_A$): לפחות אחד מהמקדמים שונה מאפס.

    \[H_A: \text{at least one } \beta_i \neq 0\]
  • הסטטיסטי: Prob (F-statistic) בפלט הוא ה-p-value של מבחן זה.
  • מסקנה: אם ה-p-value קטן מ-0.05, אנחנו דוחים את השערת האפס ומסיקים שהמודל שלנו כמכלול הוא מובהק סטטיסטית. כלומר, יש לפחות משתנה אחד במודל שתורם באופן מובהק לניבוי $Y$.

סכנות במודלים מרובי משתנים: Overfitting

כאשר מוסיפים עוד ועוד משתנים למודל, ה-$R^2$ תמיד ישתפר או יישאר זהה, אך זה לא בהכרח אומר שהמודל טוב יותר. הוספת יותר מדי משתנים, במיוחד כאלה שאינם רלוונטיים, עלולה להוביל למצב שנקרא Overfitting (התאמת יתר).

  • Overfitting: המודל “לומד” את הרעש הספציפי בנתוני האימון במקום את הקשר האמיתי. כתוצאה מכך, הוא יתפקד מצוין על הנתונים שעליהם הוא אומן, אך ייכשל בניבוי על נתונים חדשים.
  • הכלל: יש לשאוף למודל פשוט ככל האפשר (פרסימוני) שמסביר את הנתונים היטב, ולהימנע מהוספת משתנים מיותרים.

סיכום וצעדים הבאים

  • שיעור הבא: מפגש חזרה אינטראקטיבי בכיתה, בו נשחק עם נתונים ונראה כיצד הם יכולים לתעתע. המטרה היא לפתח הבנה אינטואיטיבית של עבודה עם דאטה, מיומנות חשובה לקריירה הרפואית.
  • מטלה: יש להתחלק לקבוצות ולהירשם למטלה השנייה.
דור פסקל
חזור לשיעור הקודם
המשך לשיעור הבא