FROM ITGC TO AI GOVERNANCE

---

כשה-AI מפסיק רק להמליץ - ומתחיל לפעול

ארגונים נמצאים בפתחו של שינוי משמעותי בתפיסת הסיכון הטכנולוגי. התפתחות הבינה המלאכותית, ובפרט המעבר ממערכות Generative AI למערכות Agentic AI, משנה את האופן שבו ארגונים מנהלים תהליכים, מקבלים החלטות ומפעילים בקרות על מערכות המידע שלהם.

בעוד שבעבר מערכות טכנולוגיות פעלו בעיקר בהתאם להוראות שהוגדרו מראש, כיום מתפתחות מערכות AI המסוגלות לנתח מידע, לבחור דרכי פעולה, להפעיל ממשקים ומערכות נוספות ואף לבצע פעולות באופן עצמאי בשם הארגון. התפתחות זו מייצרת הזדמנויות משמעותיות להתייעלות ולחדשנות, אך במקביל מציבה אתגרים חדשים בתחומי ניהול הסיכונים, הבקרה והממשל התאגידי.

ממודל הבקרה המסורתי לעידן של מערכות אוטונומיות

במשך שנים התבססה תפיסת הבקרה הטכנולוגית על חלוקת אחריות ברורה: הגורם האנושי מקבל החלטות, המערכת הטכנולוגית מבצעת אותן ומנגנוני הבקרה מפקחים על התהליך.

על בסיס תפיסה זו התפתחו בקרות ה-IT General Controls (ITGC), הכוללות בין היתר ניהול הרשאות גישה (Access Management), ניהול שינויים (Change Management), הפרדת תפקידים (Segregation of Duties), תיעוד פעולות (Logging) וניטור שוטף (Monitoring).

במודל המסורתי ניתן היה לתאר את שרשרת הפעולה באופן פשוט יחסית:

User → System → Transaction

אולם עם כניסתן של מערכות AI אוטונומיות, שרשרת הפעולה הופכת למורכבת יותר:

Human → AI Agent → Model → Data → Tool/API → Decision → Action

במודל החדש, מערכת ה-AI אינה מסתפקת בעיבוד מידע או בהפקת המלצות. היא עשויה לבחור פעולות, להפעיל כלים חיצוניים, לגשת למקורות מידע שונים ולבצע תהליכים בעלי השפעה עסקית ותפעולית.

כתוצאה מכך, מנגנוני הבקרה המסורתיים נדרשים להתמודד עם ממד נוסף: לא רק בחינת ההרשאות והפעולות שבוצעו, אלא גם הבנת תהליך קבלת ההחלטות שהוביל לביצוען.
 

השפעת ה-Agentic AI על ניהול הסיכונים במגזר הפיננסי

המשמעות של שינוי זה בולטת במיוחד במגזר הבנקאי והפיננסי, שבו מערכות טכנולוגיות מעורבות בתהליכים עסקיים רגישים ובעלי השלכות כספיות ורגולטוריות.

כך למשל, AI Agents עשויים להשתלב בתהליכי הערכת אשראי, טיפול בחריגות בתחום איסור הלבנת הון (AML), זיהוי ומניעת הונאות (Fraud Detection), ניהול אינטראקציות עם לקוחות, פיתוח ושינוי קוד והפעלה של תהליכים פיננסיים.

בתרחישים אלה, שאלת הבקרה אינה מסתכמת עוד בבחינת זהותו של המשתמש שהפעיל את המערכת או בהרשאות שהוקצו לו. נדרש לבחון גם איזה גורם קיבל את ההחלטה, על בסיס איזה מידע התקבלה, אילו מגבלות הוגדרו מראש והאם הפעולה בוצעה בהתאם למדיניות הארגונית.

מורכבות זו מחייבת הרחבה של תפיסת ניהול הסיכונים הקיימת, תוך התייחסות לרמת העצמאות המוענקת למערכות AI וליכולת הארגון לפקח על פעילותן.
 

מ-Model Risk ל-Autonomy Risk

ניהול סיכוני מודלים (Model Risk Management) מתמקד באופן מסורתי באיכות המודל, במהימנות תוצריו, בהנחות שעליהן הוא מבוסס ובסיכונים הנובעים משימוש בו.

אולם כאשר מודלים הופכים לחלק ממערכות המסוגלות לפעול באופן עצמאי, נוצר צורך להתייחס גם לסיכוני האוטונומיה (Autonomy Risk).

סיכונים אלה נוגעים למידת העצמאות המוענקת למערכת, להיקף הסמכויות שלה וליכולתה לבצע פעולות ללא אישור אנושי בכל שלב.

ככל שרמת האוטונומיה של המערכת עולה, כך גוברת החשיבות של הגדרת מסגרת בקרה ברורה, הכוללת מספר היבטים מרכזיים:

• הגדרת גבולות פעולה: קביעת הפעולות שהמערכת רשאית לבצע באופן עצמאי והפעולות המחייבות אישור אנושי.
• ניהול הרשאות וגישה למידע: הגדרת מקורות המידע, המערכות והממשקים שאליהם רשאי ה-AI Agent לגשת.
• ניטור ותיעוד פעילות: יצירת מנגנונים המאפשרים מעקב אחר החלטות, פעולות וחריגות מההתנהגות המצופה.
• פיקוח והתערבות אנושית: הגדרת נקודות בקרה שבהן נדרשת מעורבות אנושית, בהתאם לרמת הסיכון.
•   מנגנוני עצירה ובקרה: הבטחת היכולת להגביל, להשעות או לעצור פעילות אוטונומית בעת זיהוי חריגה או סיכון.

יישום מנגנונים אלה נועד לאפשר לארגונים לנצל את היתרונות התפעוליים של מערכות AI, תוך שמירה על שליטה, אחריותיות ויכולת פיקוח.
 

ITGC כשכבת הבסיס ל-AI Governance

המעבר לעולם של מערכות AI אוטונומיות אינו מייתר את בקרות ה-ITGC המסורתיות. להפך, הוא מדגיש את חשיבותן כתשתית לניהול סיכונים טכנולוגיים.

ניהול הרשאות, הפרדת תפקידים, ניהול שינויים, תיעוד וניטור ממשיכים להוות רכיבים מרכזיים בסביבת הבקרה הארגונית. עם זאת, נדרשת התאמה והרחבה של מנגנונים אלה כדי להתמודד עם מאפייני הפעולה של מערכות AI.

על גבי תשתית זו נדרש לפתח מסגרת AI Governance, שתאפשר לארגון להגדיר מדיניות, תחומי אחריות, מנגנוני פיקוח ותהליכי בקרה לאורך מחזור החיים של מערכות הבינה המלאכותית.

מסגרת זו צריכה להתייחס לא רק לאופן שבו המערכות מפותחות ומוטמעות, אלא גם לאופן שבו הן מקבלות החלטות, מפעילות סמכויות ומשפיעות על הפעילות העסקית.
 

עתיד ניהול הסיכונים הטכנולוגיים

בשנים הקרובות צפויים מנהלי Technology Risk, GRC, Internal Audit ו-Cyber להתמודד עם הצורך להתאים את מתודולוגיות הבקרה והביקורת למציאות טכנולוגית שבה חלק מהפעולות וההחלטות מבוצעות על ידי מערכות אוטונומיות.

השינוי המרכזי אינו בהכרח בהחלפת מנגנוני הבקרה הקיימים, אלא בהרחבת השאלות שעליהן הם נדרשים לתת מענה.

בעוד שבעבר השאלה המרכזית הייתה האם קיימת בקרה מתאימה על המערכת והתהליך, בעידן ה-Agentic AI נדרש לבחון גם האם הארגון שומר על שליטה בהחלטות ובפעולות שמערכות הבינה המלאכותית מבצעות בשמו.

יכולת זו צפויה להפוך למרכיב משמעותי בחוסן הטכנולוגי, התפעולי והרגולטורי של ארגונים.
 

מבט קדימה: סדרת From ITGC to AI Governance

מאמר זה פותח סדרה מקצועית בת שמונה פרקים, שתעסוק בהתפתחות ניהול הסיכונים והבקרות הטכנולוגיות בעידן הבינה המלאכותית.

הסדרה תבחן סוגיות מרכזיות ובהן AI Agents, ניהול זהויות והרשאות של סוכני AI (Agent Identity), סיכוני ריכוזיות (AI Concentration Risk), שימוש בלתי מבוקר בבינה מלאכותית (Shadow AI), הבטחת בקרה מתמשכת (Continuous AI Assurance), אחריותיות (Accountability), ממשל AI (AI Governance) והתפתחות תחום ה-Technology Risk לקראת שנת 2030.
 

בפרק הבא: Who Gave the AI Permission?

נבחן כיצד משתנה תפיסת ניהול הזהויות וההרשאות (Identity & Access Management) כאשר גם AI Agents מקבלים זהויות דיגיטליות, הרשאות גישה וסמכויות לבצע פעולות במערכות הארגון.

לסיכום, המעבר ממערכות AI המייצרות המלצות למערכות המסוגלות לקבל החלטות ולפעול באופן עצמאי מחייב בחינה מחודשת של תפיסת הבקרה הארגונית. האתגר המרכזי אינו רק להבטיח שהטכנולוגיה פועלת כראוי, אלא לוודא שהארגון מסוגל לזהות, להגביל, לנטר ולעצור את הפעולות שהיא מבצעת בשמו.

השאלה שכל ארגון נדרש לשאול היא: האם מנגנוני הבקרה הקיימים שלנו מותאמים גם לעולם שבו הבינה המלאכותית אינה רק תומכת בקבלת החלטות, אלא גם מבצעת אותן?