בלוג

איך בודקים סיכוני AI אצל ספקי מודלים ושירותי GenAI

במבט מהיר

בדיקת ספק GenAI נשענת על שלושה מישורים: מה נעשה עם הדאטה, איך מתוקף המודל, ומה המסגרת המשפטית והרגולטורית.
מפת סיכוני AI ייעודית מלווה את ההטמעה לכל אורך חייה, כולל validation ו-AI Red Teams.
במוסד פיננסי גדול בישראל הוכח שניתוח סיכוני התהליך העסקי מקצר דרמטית זמני תגובה לאירוע חשוד.
ליאה צור, מנכ"לית LT RISKMGMT, מוסמכת Chief AI Officer מטעם Copenhagen Compliance.

LT RISKMGMT

פורסם: 2026-10-01

בדיקת סיכוני AI אצל ספקי מודלים ושירותי GenAI — שירותי בינה מלאכותית יוצרת הנצרכים כשירות חיצוני, לרוב בענן — נעשית בארבעה מישורים שיש לבחון במקביל: מה הספק עושה עם הדאטה שלכם ואיפה הוא שומר אותו; כיצד מתוקפות איכות המודל ויציבותו לאורך זמן, כלומר validation; מי תוקף את המודל באופן יזום כדי לאתר את חולשותיו, בשיטת AI Red Teams; ואיזו מסגרת משפטית ורגולטורית חלה על השימוש, לרבות קניין רוחני, פרטיות וחקיקה כדוגמת EU AI Act. הכלי המעשי שמחזיק את ארבעת המישורים יחד הוא מפת סיכוני AI ייעודית לארגון — מסמך שמתרגם כל שימוש בבינה מלאכותית לסיכון מזוהה, לבעלים ולבקרה — ולצידו ניתוח של התהליך העסקי שבו פלט המודל הופך להחלטה אמיתית מול לקוח או כסף. המדריך שלהלן מפרט, נכון ל-2026, את שאלות הבדיקה שיש להציג לספק, את הבקרות שיש להחיל בארגון ואת אופן הניהול של הסיכון לאורך מחזור החיים.

מה בעצם נכלל בבדיקת סיכוני AI אצל ספק מודלים או שירות GenAI?

בדיקת אבטחת מידע של הספק. זו הפרשנות המוכרת: שאלון אבטחת מידע, בחינת תקני ניהול אבטחת מידע כגון ISO 27001, בקרות גישה, הצפנה, חוסן תשתית והפרדת סביבות. דוגמה אופיינית — ספק שמארח שירות ענן, והבדיקה מוודאת שהנתונים מוצפנים ושאין דליפה בין דיירים. הבחינה הזאת עוסקת במערכת המידע, לא באופן שבו המודל מתנהג בתוך העבודה היומיומית.

בחינת סיכוני AI כסיכון לא-פיננסי (NFR — כלל הסיכונים שאינם פיננסיים: תפעוליים, מעילות והונאות, סייבר, המשכיות עסקית וגם AI). כאן בוחנים את התנהגות המודל ואת התהליך העסקי שנשען עליו. דוגמה: מוקד שמשתמש בעוזר GenAI לניסוח תשובות ללקוחות — התשתית מאובטחת לחלוטין, ובכל זאת נוצר סיכון של תשובה שגויה שנמסרת כעובדה, של הזנת פרטי לקוח לבקשה חיצונית, ושל החלטה שאיש אינו יכול לשחזר בדיעבד מול רגולטור.

המאמר הזה עוסק במשמעות השנייה. רכיבי הבדיקה בה הם ארבעה:

מודל — מקור המודל, גרסאות ועדכונים, גבולות השימוש המותר, בדיקות validation (אימות שהפלט נכון ויציב מול מקרי מבחן מוגדרים מראש) ותרגילי AI Red Teams שמנסים להכשיל אותו בכוונה.
נתונים — אילו נתונים נכנסים לשירות, מי רשאי להזין אותם, היכן הם נשמרים, והאם הם משמשים לאימון אצל הספק.
תהליך עסקי — היכן הפלט נוגע בכסף, בלקוח או בהחלטה מחייבת, ומהי נקודת הבקרה האנושית לפני ביצוע.
ממשל — בעלות מוגדרת על השימוש, מיפוי סיכונים כתוב ומעודכן, תיעוד החלטות, והיערכות לדרישות חקיקה כגון EU AI Act.

ההבחנה בין שני המישורים מעשית: צוות אבטחת המידע יכול לאשר את הספק מבחינה טכנולוגית, בעוד הבקרה על הפלט, על ההרשאות ועל שרשרת האחריות בתהליך העסקי טרם נבנתה כלל.

אילו סיכונים עסקיים ייחודיים נוצרים כשספק GenAI נכנס לתהליך פיננסי?

כשספק GenAI נכנס לתהליך פיננסי — חיתום אשראי, שירות לקוחות, גיוס לקוח חדש או בקרת ציות — נוצרות קטגוריות סיכון עסקי שאינן מופיעות במפת הסיכונים הקיימת. GenAI, כלומר מודלי בינה מלאכותית יוצרת המפיקים טקסט, קוד או המלצה מתוך הנחיה חופשית, מוסיף לתהליך גורם חוץ-ארגוני שמקבל קלט רגיש ומחזיר פלט שעובדים נוטים לקבל כנתון. סעיף זה מתמקד בצד אחד בלבד: הסיכונים שנפתחים ברגע שהספק משולב בתהליך עסקי מפוקח.

קטגוריית סיכון — היכן היא מתממשת בתהליך — מה נבדק אצל הספק
דליפת מידע עסקי ולקוחות — הזנת נתוני חשבון, בטוחות או התכתבות לקוח לתוך ההנחיה — הפרדה בין לקוחות הספק, מניעת אימון על נתוני הארגון, מקום אחסון ושמירת יומני שימוש
הזיות ופלטים שגויים — המלצת אשראי, סיכום שיחה, תמצית מסמך משפטי — שיעור שגיאה מדיד, מקורות מצוטטים, נקודת אישור אנושית לפני החלטה מחייבת
הטיה — דירוג לקוחות, סינון פניות, תיעדוף טיפול — בדיקת הטיה לפי אוכלוסיות, תיעוד נתוני האימון, יכולת הסבר לדחייה
תלות בספק יחיד — תהליך שאינו יכול לרוץ ללא ממשק המודל — תכנית מעבר לספק חלופי, יעדי זמן התאוששות במסגרת ה-BCP, שינויי גרסה כפויים
מעילות והונאות בתהליך אוטומטי — מסלול אישור שבו ההמלצה מחליפה בקרה אנושית — הפרדת תפקידים, עקבות ביקורת בלתי ניתנות לשינוי, זיהוי מניפולציה בהנחיה
רגולטורי ומוניטיני — חובות דיווח, הוראות הפיקוח על הבנקים והיערכות ל-EU AI Act — מסמכי ממשל, סיווג השימוש לפי רמת סיכון, זכות ביקורת אצל הספק

"הזיה" היא פלט שנשמע סמכותי אך אינו נסמך על עובדה או מקור קיים; בתהליך פיננסי היא מתורגמת לכשל בקרה, משום שההמלצה השגויה ממשיכה הלאה בשרשרת האישורים. באופן דומה, תלות בספק יחיד אינה נשארת בתחום הטכנולוגי: היא הופכת לסיכון המשכיות עסקית ברגע שתהליך מהותי אינו מסוגל לרוץ בלי הממשק החיצוני.

בכל אחת מהקטגוריות הללו כדאי לקבע שלוש תכונות לפני ההטמעה: נקודת ההחלטה שבה הסיכון נוגע בכסף, בלקוח או בדיווח לרגולטור; טווח הסובלנות המותר — האם פלט שגוי עולה בכסף, בתלונה או בממצא פיקוחי; והגורם בארגון שמחזיק בבקרה בפועל — ה-CISO, מנהל הסיכונים התפעוליים או ה-Chief AI Officer. בתחום הסיכונים הלא-פיננסיים, הקטגוריות האלה נבדקות יחד ולא כל אחת בנפרד, משום שאותו פלט שגוי יכול להתגלגל במקביל לאירוע סייבר, לאירוע מעילה ולאירוע ציות.

אילו שאלות כדאי לשאול ספק מודלים לפני החתימה על ההסכם?

לפני החתימה על הסכם עם ספק מודלים או שירות GenAI — שירות בינה מלאכותית יוצרת הניתן כענן או כממשק תכנות — שאלון בדיקת נאותות הוא הכלי המעשי שמתרגם אי‑ודאות טכנולוגית לסעיפים חוזיים. להלן המאפיינים שכדאי לברר, מה לדרוש בתשובה, ומדוע הם משנים את פרופיל הסיכון.

מאפיין לבדיקה — מה לדרוש בתשובה — מדוע זה מהותי
מקור נתוני האימון — הצהרה על מקורות, רישיונות וזכויות שימוש — חשיפה משפטית לקניין רוחני ולהטיות בלתי מתועדות
שימוש בנתוני הלקוח לאימון — ברירת מחדל של אי‑שימוש, בכתב, כולל קבלני משנה — מניעת דליפת מידע עסקי אל מודל משותף
מיקום אחסון ועיבוד — אזורים גיאוגרפיים מוגדרים והשיפוט המשפטי החל — עמידה בדרישות הפיקוח והעברת מידע חוצת גבולות
הרשאות וזהויות — הפרדת סביבות, הרשאות לפי תפקיד, ניהול מפתחות — צמצום הרשאות יתר — קרקע נוחה למעילה ולטעות אנוש
לוגים וביקורת — שמירת תיעוד פניות ותשובות, ייצוא לביקורת הפנימית — בלי תיעוד אין חקירה ואין ראיה לאחר אירוע
תיעוד גרסאות מודל — מזהה גרסה לכל פנייה ותיעוד שינויים — שחזור החלטות שהתקבלו בעבר מול לקוח או רגולטור
הודעה על שינוי מודל — חלון הודעה מוגדר מראש וזכות בדיקה חוזרת — שדרוג שקוף לספק עלול לשנות התנהגות בתהליך עסקי קריטי
יציאה והחזרת נתונים — פורמט ייצוא, מחיקה מאומתת, המשכיות השירות — הימנעות מתלות בספק יחיד ושמירה על תכנית ההמשכיות

מה עושים כשהספק מסרב לענות?

סירוב או תשובה כללית הם ממצא לכל דבר. מתעדים אותו ברישום סיכוני הבינה המלאכותית של הארגון, מגדירים בקרה מפצה בצד הלקוח — סינון קלט ופלט, אישור אנושי לפעולה בעלת השפעה כספית — ומגבילים את סוגי המידע שמוזנים לשירות.

האם תשובות בשאלון מספיקות?

לא. השאלון בודק את הספק, אך חלק מהחולשות קשורות לאופן שבו פלט המודל משמש בתהליך העבודה הפנימי: מי מאשר את פלט המודל, מי יכול לעקוף אותו, ואיזו פעולה מתבצעת בלי עין אנושית. LT RISKMGMT בוחנת את השאלות האלה בניתוח סיכוני התהליך העסקי, ומחברת בין היבטי הדאטה, ה‑validation וההיבטים המשפטיים והרגולטוריים לתמונה אחת, לצד סעיפי ההסכם.

כיצד משלבים את בדיקת ספק ה-AI בתוך סקר סיכונים תפעולי קיים?

בדיקת ספק ה-AI אינה סקר נפרד: היא מודול שנכנס לתוך סקר הסיכונים התפעולי הקיים, באותה מתודולוגיה ובאותה טבלת דירוג. סקר סיכונים תפעולי הוא מיפוי שיטתי של תהליכי העבודה, נקודות הכשל והבקרות שבהן — ומודל שפה או שירות GenAI חיצוני הוא רכיב נוסף בשרשרת התהליך, כמו כל ספק מיקור חוץ. בשלב שבו הארגון שוקל כיצד להרחיב את הסקר, אלה הצעדים המעשיים:

זהו את התהליך העסקי שנתמך ב-AI. לא את הכלי — את התהליך. מי מקבל החלטה על בסיס הפלט, איזה דאטה נכנס פנימה, ולאיזה לקוח או דוח רגולטורי הוא מגיע בסוף.
דרגו חומרה והסתברות באותם קני מידה של הסקר הקיים. הוסיפו לתרחישי הכשל המוכרים גם הזיית מודל, דליפת מידע עסקי לסביבת הספק והטיה שיטתית בפלט, כך שהסיכון מדורג מול שאר הסיכונים התפעוליים ולא בעולם נפרד.
הגדירו בקרות מפצות. בקרה מפצה היא בקרה חלופית שמפחיתה סיכון כשלא ניתן לתקן את מקור הכשל עצמו — למשל סינון מידע רגיש לפני שליחה לספק, תיעוד מלא של הפניות והתשובות, והגבלת סוגי הנתונים המותרים.
קבעו היכן נדרש אדם בלולאה. אדם בלולאה הוא דרישה שהחלטה מהותית תאושר בידי עובד לפני ביצוע. סמנו בתהליך את נקודות ההחלטה שבהן פלט המודל אינו מספיק כראיה.
חברו את הממצאים לתכנית ההמשכיות העסקית (BCP). BCP הוא מערך ההיערכות לאירועי חירום. הוסיפו לו תרחיש של נפילת ספק המודל או ניתוק גישה: מה התהליך החלופי, מה זמן ההתאוששות, והאם קיימת עבודה ידנית שניתן לחזור אליה.

שילוב המודול בתוך המתודולוגיה הקיימת מאפשר להציג את הממצאים להנהלה ולדירקטוריון באותה שפת דירוג שבה כבר נדונים הסיכונים התפעוליים. את תוצרי המודול כדאי לרכז בנספח ייעודי לסקר, המתעדכן בכל שינוי גרסה או שינוי תנאי שימוש אצל הספק.

מהם סימני האזהרה שמצדיקים עצירה או הגבלת השימוש בספק?

סימני האזהרה שמצדיקים עצירה או הגבלת השימוש בספק GenAI — ספק המספק מודלי שפה או שירותי בינה מלאכותית יוצרת כשירות — הם אלה שמונעים מהארגון להוכיח שליטה: היעדר תיעוד ארכיטקטורה וזרימת נתונים, סירוב לאפשר ביקורת או למסור דוח בקרה חיצוני, תנאי שימוש שמשתנים חד-צדדית, היעדר הפרדה בין סביבת לקוחות לסביבת אימון, וערפול לגבי קבלני משנה. אפשר לטעון שחולשתו של ספק GenAI מתגלה בעיקר ביכולתו להוכיח שליטה, ולא דווקא באיכות המודל עצמו.

בפועל: אם הספק אינו יכול להציג תיעוד ולוגים, גם הארגון לא יוכל להציג אותם למבקר הפנים או לרגולטור.

פעולה מומלצת — סיכון נלווה והפחתתו
להתנות התקשרות בזכות ביקורת ובקבלת תיעוד — ספק גדול עשוי לסרב; לצמצם את הסיכון בהגבלת סוגי הדאטה המוזנים ובסיווג השימוש כלא-מהותי
לדרוש הפרדת סביבות ואי-שימוש בנתוני הארגון לאימון — הצהרה כללית של הספק אינה מספיקה; לעגן בכתב ולבדוק דגימתית מול לוגים
לנטר שינויים בתנאי השימוש ובגרסאות המודל — שינוי שקט משנה את פרופיל הסיכון; למנות בעלים למעקב ולהגדיר טריגר לבחינה מחדש
להריץ פיילוט תחום בזמן ובקהל משתמשים — פיילוט ללא מועד סיום עלול להפוך לשימוש שוטף; לקבוע תאריך תפוגה ותנאי מעבר מפורשים
להשאיר אדם בלולאת ההחלטה בתהליכים מהותיים — עומס על המשתמשים; למקד את הבקרה בהחלטות בעלות השפעה כספית או משפטית

בתקופת פיילוט, מגבלות השימוש הן הבקרה האפקטיבית: רשימת סוגי מידע אסורים להזנה, איסור על החלטה אוטומטית ללא אישור אנושי, תיעוד מלא של פניות ותשובות, ונתיב ניתוק מהיר מהשירות. נתיב הניתוק צריך להיבדק בפועל בזמן הפיילוט — מי מוסמך להפעיל אותו, כמה זמן הוא אורך, ומה קורה לתהליך העסקי בזמן שהשירות מושבת. את סימני האזהרה שזוהו נכון לרשום במרשם סיכוני ה-AI של הארגון, עם בעלים, מועד בחינה חוזרת ורף מוגדר שבו ההתקשרות נעצרת.

שאלות נפוצות

מה בעצם בודקים אצל ספק מודלים או שירות GenAI?

בדיקת סיכוני AI אצל ספק מודלים ושירותי GenAI נשענת על ארבעה צירים שצריכים להיבדק יחד: הדאטה (מקורות האימון, נתונים רגישים שעלולים לזלוג בפרומפט או בפלט), ה-validation (תיעוד ביצועי המודל, סטיות והטיות, יכולת שחזור תוצאה), ההיבטים המשפטיים והרגולטוריים (בעלות על תוצרים, שמירת נתונים, חובות תחת EU AI Act), והתשתית התפעולית (זמינות, המשכיות, הסלמת אירועים). שאלון סייבר קלאסי בודק את התשתית בלבד ומשאיר את שלושת הצירים האחרים ללא מענה.

מה ההבדל בין סקר סיכוני AI לבין בדיקת אבטחת מידע של ספק?

בדיקת אבטחת מידע של ספק מאמתת בקרות טכנולוגיות — הצפנה, ניהול הרשאות, הקשחה, עמידה בעקרונות ISO 27001. סקר סיכוני AI מתחיל במקום שבו הבדיקה הטכנולוגית מסתיימת: הוא שואל מה קורה כאשר המודל מחזיר פלט שגוי אך משכנע, מי מאשר החלטה עסקית שנשענת עליו, ואיך מזהים שימוש חורג של עובד או גורם חיצוני בתהליך. זהו ניתוח של התהליך העסקי שסביב המודל, ולא מבדק חדירה טכנולוגי.

מה זה BPT ואיך הוא קשור לסיכוני AI?

BPT (Business Penetration Test) הוא מבדק חדירות לתהליך העסקי — שיטה ייחודית ובלעדית ל-LT RISKMGMT שמאתרת חולשות בתהליך העבודה עצמו ולא רק בטכנולוגיה, ונותנת מענה הוליסטי לסיכון סייבר, מעילה וטעות אנוש. היא נבדלת מ-PT טכנולוגי רגיל: LT RISKMGMT אינה מבצעת מבדקי חדירה טכניים. בהקשר של GenAI, אותו היגיון של ניתוח תהליכי רלוונטי לנקודות שבהן פלט המודל נוגע בכסף, בלקוח או בהחלטה.

איך יודעים שתהליך כזה משנה תוצאות בפועל?

דוגמה מוחשית מגיעה מעבודת LT RISKMGMT עם מוסד פיננסי גדול בישראל, שבה שונתה תפיסת ניהול סיכוני ההונאות: לפי הערכת הבעלים, זמן ניתוק לקוח חשוד מהפלטפורמה העסקית קוצר מ-2-5 ימים בממוצע לכל היותר שעתיים, לצד חיסכון של כ-5 תקנים. LT RISKMGMT שינתה את תהליך העבודה מהיסוד — הורידה יחידות שלמות מהתהליך וריכזה אותו במקום אחד.

מי אמור להחזיק את ניהול סיכוני ה-AI בארגון?

Chief AI Officer הוא הגורם שמנהל את כל ה-AI בארגון ב-360 מעלות, כולל ניהול סיכוני AI וכתיבת מפת סיכוני AI ייעודית; הסייבר הוא רק אחת מזרועותיו, והוא נותר באחריות ה-CISO. ליאה צור, מנכ"לית LT RISKMGMT, מוסמכת Chief AI Officer מטעם Copenhagen Compliance, והחברה מספקת את השירות הזה לצד ליווי הטמעת ה-AI לכל אורך חייה — דאטה, validation, AI Red Teams והיבטים משפטיים ורגולטוריים. ארגונים בינוניים וגופים ממשלתיים שאינם מגייסים מנהל סיכונים במשרה מלאה נעזרים ב-Risk Manager as a Service.

איך מכשירים צוות לנהל את הסיכונים החדשים?

קורס ההסמכה של LT RISKMGMT למנהלי.ות סיכונים תפעוליים, סייבר ו-AI הוא בהיקף כ-40 שעות אקדמיות, בלמידה חווייתית הכוללת סדנאות, התנסויות וביקורים ב-SOC מוביל ומרצים אורחים מהארגונים הגדולים בארץ ובעולם, כמפורט בדף הקורס של החברה. הקורס מוכר על ידי IRM (Institute of Risk Management), גוף בינלאומי מוביל בהכשרת מנהלי סיכונים. דן רבינוביץ מהביקורת הפנימית בבנק ישראל מעיד: "סוף סוף קורס ניהול סיכונים שמעשיר לי (ואני בטוח שגם לכל שאר המשתתפים) את ידע, מעניק כלים שימושיים ופרקטיים באמת, ואף משאיר אותנו עם חומר למחשבה."

כמה זמן לוקח לקבל מענה לפנייה?

צוות הייעוץ של LT RISKMGMT מתחייב, לפי דף יצירת הקשר של החברה, למענה לפניות לקוחות תוך 24 שעות — מחויבות שירות לפנייה ראשונית ולא רמת שירות חוזית.

על המאמר הזה

LT RISKMGMT מפרסמת מאמר זה בשמה והיא אחראית לדיוקו. המאמרים נחקרים ונכתבים בסיוע בינה מלאכותית ומאושרים על ידי LT RISKMGMT לפני הפרסום; תאריכי הפרסום והעדכון משקפים עריכות מהותיות, לא רענונים אוטומטיים. עודכן לאחרונה: 2026-10-01

קשור

מוכנים להתחיל?

גלו איך LT RISKMGMT יכולה לעזור.

צרו קשר