نقشهٔ راه: امنیت هوش مصنوعی؛ دفاع و ارزیابی ریسک
سطح ۴ (پیشرفته) · پیشنیاز: ایجنتها و اتوماسیون — نگاه دفاعی به ریسکهای واقعی: Prompt Injection، نشت داده، ایجنتهایی که بیش از حد اجازه دارند، و چکلیست امنیتی قبل از اینکه یک ایجنت را به کار واقعی وصل کنید.
نقشهٔ تهدیدها
بدانید حمله به یک سیستم هوش مصنوعی از کجا میآید.
- آزادPrompt Injection روی دادهٔ مشتری؛ ریسک و مقابله
- آزادسه ریسک خطرناک وقتی کنار هم مینشینند
- بهزودیمدل تهدید برای یک ایجنت؛ چه کسی چه چیزی را میتواند دستکاری کند
درس از حادثههای واقعی
ببینید در عمل چه چیزی شکسته است.
کنترلها
جلوی آسیب را با طراحی درست بگیرید.
- آزادمدل مجوزها؛ ایجنت چه کاری را بدون اجازه انجام دهد
- آزادبدون Audit Trail هیچکس ایجنت را نمیخرد
- بهزودیجداسازی ابزارها و کمترین دسترسی برای ایجنت
- بهزودیپاکسازی ورودی و مرزبندی محتوای بیرونی
داده، حریم خصوصی و انطباق
بدانید دادهٔ شما کجا میرود و چقدر میماند.
- آزادعدم ذخیرهسازی داده در اوپنایآی
- آزادحاکمیت داده در کلود سازمانی
- آزادکلون صدا؛ حمله به صندوقهای والاستریت
- بهزودیچکلیست انطباق قبل از اتصال ایجنت به دادهٔ مشتری
پروژهٔ پایانی
یک ارزیابی امنیتی واقعی انجام دهید.
- بهزودیپروژهٔ پایانی: ارزیابی ریسک یک ایجنت قبل از رفتن به تولید
نشانها: «آزاد» برای همه باز است، «ویژه» برای اعضای VIP، «حرفهای» برای عضویت حرفهای، و «بهزودی» یعنی در حال آمادهسازی است. فهرست کامل نقشهها: نقشهٔ راه یادگیری