סוכן AI שאין עליו בקרה הוא לא נכס — הוא חשיפה.
בנינו מערכות שעבדו תחת PCI, תחת דרישות AML, ותחת ביקורות של מוסדות פיננסיים. את אותם עקרונות אנחנו מביאים לסוכני AI — לא כשכבה שמוסיפים בסוף, אלא כציר שכל פעולה עוברת דרכו.
למה זה עלה לסדר היום עכשיו
סוכני AI כבר לא רק עונים על שאלות — הם מעדכנים רשומות ב-ERP, מאשרים תהליכים, ופונים ללקוחות.
מידע שדולף מופיע כשגיאה
הוא נראה על המסך, נתפס בבדיקה, ומטופל. הכשל גלוי — ולכן בדיקה בדיעבד מספיקה.
מידע שדולף נכנס לתשובה
מנוסח היטב ובביטחון מלא. לא תמיד מישהו יזהה שזה קרה. זו הסיבה שבקרה מראש עדיפה כאן על בדיקה בדיעבד.
טיוטת ההנחיה של הרשות להגנת הפרטיות בנוגע לתחולת החוק על מערכות AI מוסיפה חובת פיקוח אקטיבית שמגיעה עד לדרג הדירקטוריון. הממשל הופך מנושא של צוות ה-IT לנושא של הנהלה.
חמש הבקרות
כל אחת נאכפת במקום אחר במערכת — לא בהנחיה למודל.
הרשאות וגישה לנתונים
סוכן ה-AI רואה בדיוק את מה שהמשתמש שמפעיל אותו רשאי לראות — לא יותר.
מניעת דליפת מידע
סינון בכניסה וביציאה. מידע רגיש לא נכנס ללוגים ולא יוצא בתשובה.
יומן החלטות שאי אפשר למחוק
כל פעולה נרשמת — כולל פעולות שנחסמו. מי ביקש, מה בדיוק, על בסיס איזה מידע, ומי אישר.
אישור אנושי לפעולות משמעותיות
מי שמבקש פעולה אינו מי שמאשר אותה — אותה הפרדת תפקידים שקיימת בבנקאות עשרות שנים.
היערכות לביקורת
היכולת להציג רשומת החלטה ולהסביר אותה תוך דקות — לא תוך שבועות.
מה אנחנו לא נותנים לסוכן AI לעשות
אנחנו מגדירים מראש, יחד אתכם, את הפעולות שנשארות בידיים אנושיות:
סוכן AI טוב יודע מתי לעצור ולשאול. זה משהו שמתכננים, לא משהו שמקווים לו.
שאלות שכדאי לשאול כל ספק AI
השאלות אינן טכניות. הן בודקות דבר אחד — האם הספק כבר העביר מערכת לייצור, או שהוא מדגים.
איפה בדיוק נאכפות ההגבלות?
בקוד, בשלב שאחרי שהמערכת החליטה ולפני שהפעולה בוצעה. הספק יראה לכם את נקודת האכיפה.
״ההנחיות נמצאות בהוראות שניתנו למערכת״ — זו המלצה, לא בקרה. אפשר לעקוף אותה בניסוח.
מה קורה כשהמערכת לא יודעת?
היא אומרת שאינה יודעת ומעבירה לאדם, ויש לכך מסלול מוגדר ומדוד.
מערכת שתמיד עונה משהו היא מערכת שתמציא כשהיא לא יודעת.
מה נשאר אצלנו אם נפסיק לעבוד אתכם?
הקוד, התיעוד, הנתונים, וצוות פנימי שיודע לתפעל.
תשובה מעורפלת על ״המשך ליווי״. זו שאלת התלות — שאלו אותה בפגישה הראשונה.
