هشدار درباره تهدید ایجنت‌ها درون سازمان‌ها؛ مایکروسافت ابزارهای امنیتی جدید معرفی کرد

مایکروسافت تأکید کرده که سازمان‌ها باید ابزارهای نظارتی مستقلی جدا از سازندگان مدل‌های هوش مصنوعی برای کنترل رفتارهای غیرقابل‌پیش‌بینی آنها پیاده‌سازی کنند. مایکروسافت قابلیت‌های امنیتی جدیدی را معرفی کرده که هدف آنها محافظت از سازمان‌ها و شرکت‌ها در برابر خطرات ناشی از ایجنت‌های هوش مصنوعی است.

این ابزارهای جدید هم‌زمان با هشدارهای مداوم این غول فناوری درباره پیامدهای گسترش هوش مصنوعی و ایجنت‌های خودکار در دسترس قرار گرفته‌اند. مهم‌ترین بخش این قابلیت‌ها، سیستم نظارتی با نام «ایجنت‌های نگهبان» (Guardian Agents) نام دارد که برای بررسی و پایش عملکرد تمام ایجنت‌های هوش مصنوعی مورد استفاده در یک سازمان طراحی شده است.

این قابلیت زیرمجموعه پروژه Perception محسوب می‌شود که در ماه ژوئن معرفی شده بود. این پروژه در اصل پاسخ مایکروسافت به مدل‌های قدرتمندی مانند Mythos و Fable از آنتروپیک و سامانه شناسایی آسیب‌پذیری‌های امنیتی Daybreak متعلق به OpenAI است.

پروژه مایکروسافت ابتدا با سه گروه مجزا فعالیت می‌کرد؛ «تیم قرمز» که در نقش نفوذگرها حمله می‌کرد، «تیم آبی» که فعالیت‌های تیم قرمز را شناسایی و آسیب‌پذیری‌ها را ارزیابی می‌کرد و «تیم سبز» که وظیفه رفع مشکلات پیدا شده را برعهده داشت. در ابتدا، سازوکار این ابزار امنیتی بر این فرضیه پایه‌گذاری شده بود که هکرها و نفوذگران سایبری هوش مصنوعی همواره خارج از سازمان قرار دارند.

بااین‌حال «ساتیا نادلا»، مدیرعامل مایکروسافت، اخیراً هشدار داده که خطر واقعی ممکن است ناشی از همان ایجنت‌هایی باشد که شرکت‌ها خریداری و مستقر کرده‌اند؛ تهدیدی مشابه یک نیروی انسانی نفوذی و سرکش در سازمان که اصطلاحاً به آن «تهدید درونی» (Insider Threat) گفته می‌شود. نظارت بر ایجنت‌های هوش مصنوعی و جداسازی قدرت تصمیم‌گیری نادلا اوایل ماه جاری در یادداشتی هشدار داده بود که سازمان‌ها باید اطمینان بی‌دلیل به شرکت‌های ارائه‌دهنده مدل‌های هوش مصنوعی را کنار بگذارند، حتی اگر آنها تضمین‌های ایمنی کاملی ارائه کنند.

وی از شرکت‌ها خواسته سازوکارهای مستقلی ایجاد کنند که تحت کنترل آزمایشگاه‌های هوش مصنوعی نباشند تا بتوانند عملکرد ایجنت‌های همان شرکت‌ها را کنترل و پایش کنند. «هیت گالوت»، مدیر بخش امنیت مایکروسافت، درباره ویژگی «ایجنت‌های نگهبان» اعلام کرده مدل‌های مرزی هوش مصنوعی، صرف‌نظر از شرکتی که آنها را توسعه داده است، غیرقابل اعتماد هستند.

او توضیح داده این بی‌اعتمادی به دلیل ذات خرابکارانه یا نفوذپذیری ساده آنها نیست، بلکه ریشه در غیرقابل‌پیش‌بینی بودن مدل‌ها دارد. به گفته گالوت، این مدل‌ها برای انجام مأموریت‌ها آموزش دیده‌اند، نه برای رعایت قضاوت‌های اخلاقی و استانداردهای سازمانی؛ درحالی‌که دسترسی‌های بالایی به سیستم‌ها و ابزارهای حیاتی به آنها داده می‌شود.

علاوه‌بر ایجنت‌های نگهبان، قابلیتی به Microsoft Defender اضافه شده که توانایی رهگیری و شناسایی تا ۶۰ نوع ایجنت هوش مصنوعی مختلف واردشده توسط کارکنان به محیط کار (از جمله Claude Code و Codex) را دارد. همچنین دسترسی ایجنت‌ها به داده‌ها محدود شده، مجوزهای آنها به‌صورت پویا تغییر می‌کند و تصمیمات پرخطر به تأیید اپراتور انسانی نیاز خواهند داشت.