שיפור מודלים חיזויים של שירותי בריאות עם AI גנרטיבי
מחקר מקרה על איתור דלקת ריאות ואימת סרטן
סקירת הפרויקט
בתחום המתקדם במהירות של שירותי הבריאות, שימוש בינה מלאכותית גנרית, במיוחד מודלים של שפה גדולה (LLMs), לחיזוי מצבי מחלה מדיווחים קליניים מהווה קפיצת מדרגה משמעותית. הלקוח, פורץ דרך בניתוחי בריאות, יצא למשימה לחדד את מודל חיזוי מצב המחלה שלו. על ידי מינוף מסד הנתונים של הקוד הפתוח MIMIC CXR ושילוב תחזיות בינה מלאכותיות לניתוח ראשוני, ולאחר מכן אימות ידני עם Label Studio, המטרה הייתה להגביר את דיוק המודל ומהימנות עבור ניתוחי דוחות קליניים, במיוחד דוחות רדיולוגיה.
אתגרים
שילוב תחזיות בינה מלאכותית גנרטיביות בזרימות עבודה בתחום הבריאות הציג אתגרים רבים:
גישה ואבטחה לנתונים
הבטחת גישה למערכי נתונים רפואיים באיכות גבוהה בקוד פתוח כמו MIMIC-CXR דרשה תהליך אישור קפדני, המבטיח עמידה בסטנדרטים של פרטיות ואתיים.
דיוק חיזוי
פלטים ראשוניים מדגמי AI גנרטיביים הראו מדי פעם אי דיוקים בתחזיות מצב המחלה, מה שחייב בדיקות ידניות לשיפור הדיוק.
זיהוי מצב מחלה מורכבת
סיווג מדויק של מצבי מחלה מתוך השפה הניואנסית של דיווחים קליניים, במיוחד בעת שימוש בבינה מלאכותית גנרטיבית, היווה מכשול משמעותי.
איכות הערות
הבטחת הערות איכותיות ומדויקות בכלי Label Studio דרשה ידע מיוחד והבנה של מצבי מחלה רפואית.
פתרון
שייפ השתמש באסטרטגיה מקיפה כדי להתמודד עם אתגרים אלה:
- אישורים יעילים: הצוות ניווט במהירות את תהליך ההסמכה לגישה ל-MIMIC-CXR, והפגין יעילות ומחויבות לשיטות מחקר אתיות.
- פיתוח קווים מנחים: פיתח קווים מנחים בעלי תובנות עבור מאמתים ידניים כדי להבטיח עקביות ואיכות בביאור תחזיות LLM.
- הערות מומחים על תחזיות בינה מלאכותית: עסק באימות ידני קפדני ותיקון של תחזיות LLM באמצעות Label Studio, מגובה במומחיות רפואית.
- מדדי ביצועים: באמצעות ניתוח מפורט, שייפ חישב את מדדי הביצועים של LLM כגון קונקורדנציה, דיוק, ריקול וציון F1, מה שמאפשר שיפור מתמיד.
תוֹצָאָה
- דיוק משופר בניבוי מצבי מחלה מדיווחי רדיולוגיה.
- פיתוח של אמת קרקע איכותית מערך נתונים לפיתוח מוצר עתידי והערכה של תחזיות בינה מלאכותית.
- הבנה משופרת של זיהוי מצב מחלה, המאפשר תחזיות אמינות יותר.
מקרה שימוש 1: אימות מודל למידת מכונה
תרחיש: שיפור דיוק חיזוי דלקת ריאות עם בינה מלאכותית גנרית במקרה זה, מודל בינה מלאכותית גנרית סיננה בדיווחי רנטגן בחזה כדי לזהות סימנים של דלקת ריאות. דו"ח שציין "אטימות מוגברת באונה התחתונה הימנית, המעיד על תהליך זיהומי" עורר סיווג ראשוני "לא ודאי" על ידי ה-AI עקב הניסוח המעורפל של הדו"ח.
תהליך אימות:
- מומחה רפואי בחן את הדו"ח ב-Label Studio, והתרכז בטקסט המודגש על ידי ה-AI.
- על ידי הערכת ההקשר הקליני ויישום ידע רדיולוגי, המומחה סיווג מחדש את הדו"ח כ"חיובי" מובהק לדלקת ריאות.
- תיקון מומחה זה שולב בחזרה במודל הבינה המלאכותית, מה שמקל על הלמידה והחידוד המתמשכים שלו.
תוצאות:
- דיוק דגם משופר
- שיפור הדיוק והזכירה של מדדי ביצועים
מקרה שימוש 2: יצירת ערכת נתונים של אמת קרקע
תרחיש: יצירת מערך נתונים בנצ'מארק ל-Cancer TNM Staging עם AI גנרטיבי
מתוך מטרה לקדם פיתוח מוצר התקדמות סרטן, הלקוח ביקש להרכיב מערך נתונים מקיף של אמת. מערך נתונים זה יבחן את ההכשרה וההערכה של מודלים חדשים של בינה מלאכותית לחיזוי מדויק של שלב ה-TNM של סרטן מתוך נרטיבים קליניים.
תהליך יצירת מערכי נתונים:
- נאסף קשת רחבה של דיווחים הקשורים לסרטן, כולל ממצאים פתולוגיים וסקירות אבחנתיות.
- מודל הבינה המלאכותית הגנרטיבי סיפק תחזיות TNM ראשוניות עבור כל דוח, תוך מינוף הדפוסים והידע שלו.
- אנשי מקצוע רפואיים בחנו את התחזיות שנוצרו בינה מלאכותית על דיוק, תיקון שגיאות והשלמת מידע במקרים של תחזיות AI לא שלמות או שגויות.
תוצאות:
- יצירת מערך נתונים של אמת קרקע איכותית.
- הקרן למוצרים עתידיים לשכלול מודלים מהדור הבא בנושא אבחון סרטן ובימוי.
העבודה עם שייפ חוללה מהפכה בגישה שלנו לחיזוי מחלות. הדיוק והאמינות של הדגמים שלנו השתפרו משמעותית עם הערות שבוצעו על ידי מומחי התחום של שייפ. הודות לתהליך האימות המדוקדק שלהם.
