דיווחים אחרונים לפיהם מטה השהתה את העבודה עם מרקור לאחר שמרקור חשפה תקרית אבטחה הקשורה לפרויקט הקוד הפתוח LiteLLM, שמו זרקור על חלק במערך הבינה המלאכותית שארגונים רבים עדיין מזלזלים בו: שכבת הנתונים וזרימת העבודה שמאחורי אימון והערכה של מודלים.
עבור צוותי בינה מלאכותית ארגונית, הלקח האמיתי גדול יותר מסטארט-אפ אחד או פרצה אחת. זוהי תזכורת לכך שתוכניות בינה מלאכותית עמידות רק כמו הספקים, הכלים, צינורות הנתונים ובקרות הממשל העומדות מאחוריהן. כאשר ארגונים מסתמכים על שותפים חיצוניים לאיסוף נתונים, ביאור, הערכה או זרימות עבודה של מומחים, סיכון הספק הופך במהרה לסיכון מודל. מסגרת רחבה יותר זו רלוונטית במיוחד כעת משום שמרקור מסרה שהיא אחת מאלפי חברות שנפגעו מתקפת שרשרת אספקה הקשורה ל-LiteLLM וכי היא פתחה בחקירה מגובה בזיהוי פלילי.
מדוע סיכון ספקי בינה מלאכותית קרוב יותר כעת לסיכון המודל
שרשרת האספקה המודרנית של בינה מלאכותית היא לעתים רחוקות פשוטה. זרימת עבודה אחת עשויה לכלול ספקי נתונים חיצוניים, צוותי ביאורים, רשתות קבלנים, ממשקי API, תוכנות ביניים בקוד פתוח, צינורות ביצועים וסביבות כוונון עדין או הערכה פנימיות. אם שכבה אחת נכשלת, ההשפעה אינה מוגבלת לזמן פעולה בלבד. היא יכולה להשפיע על הנחיות קנייניות, מטא-נתונים של זרימת עבודה, לוגיקת ביצועים, מידע על לקוחות או תהליכי הערכה פנימיים. סיפור מרקור הוא תזכורת שימושית לכך שמהירות ללא ממשל יכולה ליצור שבריריות נסתרת.
ארגונים זקוקים למודל חזק יותר של בדיקת נאותות לספקי בינה מלאכותית
הרף עבור ספקי נתוני בינה מלאכותית עולה. ארגונים כבר לא מעריכים שותפים רק לפי מהירות או קנה מידה, אלא לפי מידת היכולת שלהם לתמוך בצינורות נתונים אמינים, באיכות מדידה ובפעולות מאובטחות ותאימות.
סקירת הספק צריכה לכסות יותר מהשכבה העליונה
אחד הלקחים החשובים ביותר מתקרית מרקור הוא שהסיכון היה קשור לפגיעה בשרשרת האספקה שקשורה ל- LiteLLM, ולא רק לסיפור פשוט של "ספק נפרץ". בבינה מלאכותית, משטח הסיכון שלך כולל יותר ויותר שכבות תזמור, מחברים, כלי הערכה ותוכנות ביניים. ספק שנראה מאובטח עדיין יכול להחשיף את הספק במורד הזרם אם תלות אלו אינן מנוהלות היטב.
איכות נתונים וממשל נתונים הם בלתי נפרדים
כשלים ביטחוניים שולטים בכותרות, אך ממשל חלש יכול להיות יקר באותה מידה גם ללא פרצה. הוראות גרועות, תוויות לא עקביות, טיפול מעורפל בקצה הרשת ושורשי נתונים לא מתועדים - כל אלה פוגעים בביצועי המודל לאורך זמן.
זו הסיבה שצוותי בינה מלאכותית בוגרים אכפתיים יותר ויותר לגבי האופן שבו ביקורת אנושית בנויה, כיצד נמדדת האיכות וכיצד מתועדות החלטות בנוגע לנתוני נתונים. התוכן הציבורי של שייפ מדגיש את אותו כיוון באמצעות... זרימות עבודה איכותיות תוך כדי מעקב אחר אדם, הנחיות לאיסוף נתוני בינה מלאכותית, וספציפיים לתחום שירותי נתוני הכשרה לתואר שני במשפטים.
בנו בינה מלאכותית על נתונים שאתם יכולים לסמוך עליהם
מה ארגונים צריכים לשאול כל ספק נתוני בינה מלאכותית עכשיו
כיצד מקורות הנתונים, מורשי הנתונים, מאומתים ומנוהלים על ידי מנהלם?
ספק אמין צריך להיות מסוגל להסביר את מקור הנתונים, נוהלי הגבייה, סטנדרטים של תיעוד, תהליכי הסכמה וכללי שמירה. הנחיות הקונים הציבוריים של שייפ שמות דגש חזק על מקור הנתונים, אבטחת איכות ונהלי גבייה תואמים.
אילו בקרות איכות אנושיות קיימות?
ארגונים זקוקים ליותר מ"יש לנו אבטחת איכות". הם זקוקים לסקירה רב-שכבתית, שיפוט ברור, דיוק מדיד ולולאות משוב. החומרים הציבוריים של שייפ מדגישים סקירה מומחית והערכה מונחית אנוש עבור זרימות עבודה של תואר שני במשפטים.
אילו כלים בקוד פתוח וכלים של צד שלישי נמצאים בתוך תהליך העבודה?
אם ספק לא יכול להסביר את מחסנית התלויות שלו, זוהי בעיית משילות. סיפור מרקור מראה מדוע.
אילו ראיות תומכות בתאימות ובמוכנות לביקורת?
רמת האבטחה צריכה הוכחה, לא שפת מותג. שייפ מדגישה בפומבי את ISO 27001:2022, HIPAA ו-SOC 2 בדף התאימות שלה.
סופי Takeaway
ההשהיה של מטא-מרקור אינה רק כותרת חדשותית. זהו איתות לכך שרכש בינה מלאכותית מתבגר. השאלה המרכזית אינה עוד רק האם ספק יכול לעזור לכם לנוע מהר יותר. השאלה היא האם אותו ספק יכול לעזור לכם לנוע מהר יותר מבלי לפגוע בממשל, באיכות הנתונים או באמון הארגוני.
שייפ עוזר לארגונים לבנות צינורות בינה מלאכותית חזקים יותר באמצעות נתוני אימוני AI, שירותים המתמקדים בתואר שני במשפטיםומוכן לארגונים אבטחה ותאימות.
מהו הסיכון של ספק נתוני בינה מלאכותית?
סיכון ספקי נתוני בינה מלאכותית הוא הסיכון התפעולי, האבטחתי, התאימות והאיכותי שמוצג על ידי ספקי צד שלישי המעורבים באיסוף נתוני בינה מלאכותית, ביאור, הערכה או כלי עבודה.
מדוע אבטחת שרשרת האספקה חשובה בבינה מלאכותית?
מכיוון שזרימות עבודה של בינה מלאכותית תלויות לעתים קרובות בספריות קוד פתוח, שכבות תזמור ומחברים המעבירים נתונים רגישים בין מערכות, חולשה בתלות אחת יכולה להשפיע על הצינור הרחב יותר.
מה ארגונים צריכים לחפש בספק נתוני בינה מלאכותית?
על ארגונים להעריך את מקור הרכש, אבטחת איכות אנושית, בקרות גישה, יכולת ביקורת, ראיות תאימות, שקיפות תלות ומוכנות לתגובה לאירועים. הנחיות הקונים הציבוריות ודפי התאימות של Shaip משקפים סדרי עדיפויות אלה.
מדוע ביקורת אנושית עדיין חשובה עבור בינה מלאכותית ארגונית?
מכיוון שמשימות דו-משמעיות או רגישות לתחום עדיין דורשות שיקול דעת, הקשר ואחריותיות. הנחיות ה-HITL הציבוריות של שייפ ממסגרות סקירה אנושית כנקודת בקרה מרכזית באיכות הנתונים.
