خطرات امنیتی هوش مصنوعی

چه چیزی واقعا تازه است و چه چیزی فقط بزرگ تر شد؟

بیشتر آنچه درباره خطرهای امنیتی هوش مصنوعی نوشته می شود، این دو را قاطی می کند و نتیجه اش ترس بدون دستورالعمل است. پس اول تفکیک.

دسته اول، چیزهایی که تازه نیستند و فقط ارزان و بی نقص شده اند: ایمیل کلاهبرداری، پیام جعلی، صفحه ورود تقلبی، متن قانع کننده به هر زبانی. این ها بیست سال است وجود دارند. آنچه عوض شده هزینه ساختشان است و کیفیت زبانشان. دفاع در برابرشان همان دفاع قدیمی است، فقط نشانه هایی که به مردم یاد داده بودیم دیگر کار نمی کند.

دسته دوم، چیزی که واقعا تازه است و دو شاخه دارد. شاخه اول، تولید هویت: صدایی که مثل صدای پسر شماست و ویدیویی که مثل چهره مدیر شماست، با هزینه ای نزدیک به صفر. شاخه دوم، که کمتر گفته می شود و از اولی جدی تر است: نرم افزارهایی که به جای شما متن می خوانند و کار انجام می دهند. تا دیروز متنی که یک غریبه نوشته بود فقط چشم شما را می دید. حالا ممکن است چیزی آن را بخواند که اختیار فرستادن ایمیل و خرید کردن و پاک کردن فایل هم دارد.

شکل بالای صفحه همین چهار خطر را روی یک بازه چیده است، از چپ که با عادت های امروز مهار می شود تا راست که عادت تازه لازم دارد. جای هر نشانگر قضاوت ماست، نه اندازه گیری، و منبع هر ادعایی که پشتش هست در همین صفحه لینک شده.

چرا صدای آشنا دیگر مدرک نیست؟

چون ساختن یک صدا از روی چند ثانیه نمونه، امروز کار سختی نیست و برای کسی که کلاهبرداری می کند هزینه اش ناچیز است. نتیجه اش شکل تازه ای از همان کلاهبرداری قدیمی است: تماسی که در آن صدای یکی از نزدیکانتان می گوید در دردسر افتاده و همین حالا پول لازم دارد.

این را از جای معتبری می گوییم و نه از حدس. اف بی آی در اعلامیه عمومی مرکز شکایات جرایم اینترنتی خود در سال ۲۰۲۵ نوشت که از آوریل همان سال کارزاری در جریان است که در آن پیام های متنی و پیام های صوتی تولیدشده با هوش مصنوعی، خود را جای مقام های ارشد جا می زنند تا پیش از هر چیز اعتماد بسازند. در همان متن جمله ای هست که کل بحث تشخیص را تمام می کند: محتوای تولیدشده با هوش مصنوعی آنقدر پیشرفت کرده که تشخیصش اغلب دشوار است.

پس اگر تشخیص جواب نمی دهد، چه چیزی جواب می دهد؟ تایید از یک کانال دوم. توصیه خود اف بی آی این است: پیش از پاسخ دادن، شماره تماس آن شخص را مستقل از پیامی که رسیده پیدا کنید و خودتان به او زنگ بزنید. و توصیه دوم که ساده تر و کم هزینه تر است و تقریبا هیچ کس در ایران انجامش نمی دهد: با اعضای خانواده یک کلمه یا عبارت رمز قرار بگذارید که فقط خودتان می دانید. یک واژه ساده، از پیش توافق شده، در برابر بهترین جعل صوتی دنیا می ایستد، چون چیزی است که در هیچ نمونه صدایی وجود ندارد.

سه نشانه که هنوز کار می کنند و ربطی به کیفیت جعل ندارند. فوریت: هر پیامی که می گوید همین الان و به کسی نگو، همان جا مشکوک است. تغییر کانال: کسی که همیشه در یک برنامه با شما حرف می زده، ناگهان از شماره تازه یا برنامه دیگری پیام می دهد. و روش پرداخت: درخواست ارز دیجیتال، کارت هدیه، یا انتقال به حساب شخص ثالث، در هر داستانی که تعریف شود همان یک معنا را دارد.

چرا ایمیل فیشینگ دیگر غلط املایی ندارد؟

چون نوشتن یک متن روان و بی غلط به هر زبانی، از جمله فارسی، دیگر مهارت نیست و هزینه ندارد. بزرگ ترین نشانه ای که یک نسل به مردم یاد داده شد، یعنی «متن غلط دارد پس جعلی است»، امروز مرده است. بدتر: چون آن نشانه مرده و جایگزینی برایش داده نشده، خیلی ها الان یک متن تمیز را نشانه اصالت می گیرند، که دقیقا برعکس واقعیت است.

جایگزینش نشانه های ساختاری است. این ها به کیفیت نگارش ربطی ندارند و با هیچ مدلی بهتر نمی شوند، چون درباره خود موقعیت اند و نه درباره متن: اینکه پیام جواب کاری است که خودتان شروع کرده اید یا از آسمان آمده، اینکه نشانی واقعی لینک با دامنه ای که می شناسید حرف به حرف یکی است یا نه، و اینکه آنچه از شما خواسته می شود اصلا کاری هست که آن سازمان انجام می دهد. روش کامل خواندن این نشانه ها، با مثال های ایرانی، در درس فیشینگ چیست و چطور تشخیص دهیم آمده و اینجا تکرارش نمی کنیم.

و یک تفکیک که ارزش گفتن دارد: ابزارهای تشخیص متن هوش مصنوعی این مشکل را حل نمی کنند و اصلا برای این کار ساخته نشده اند. اینکه یک ایمیل با کمک مدل نوشته شده باشد، درباره کلاهبرداری بودنش هیچ چیزی نمی گوید؛ امروز نامه رسمی شرکت ها هم با کمک مدل نوشته می شود. چرا آن ابزارها در هر دو جهت خطا می کنند، موضوع درس تشخیص محتوای هوش مصنوعی است.

وقتی هوش مصنوعی به جای شما می خواند، چه چیزی عوض می شود؟

این تازه ترین بخش موضوع است و کمترین حرف درباره اش زده می شود. تا وقتی مدل فقط به شما جواب می داد، بدترین اتفاق یک جواب غلط بود. وقتی مدل صندوق ایمیل شما را می خواند، یا صفحه ای را که باز کرده اید خلاصه می کند، یا سندی را که کسی برایتان فرستاده مرور می کند، چیز دیگری اتفاق افتاده: متنی که یک غریبه نوشته، وارد چیزی شده که می تواند کار انجام دهد.

تزریق دستور نامی است که به این وضعیت داده اند، و پروژه امنیت هوش مصنوعی سازمان اوواسپ آن را در صدر فهرست ریسک های برنامه های مبتنی بر مدل زبانی گذاشته است. تعریفشان دو تکه دارد که هر دو مهم اند. اول اینکه ورودی می تواند رفتار مدل را به شکل ناخواسته عوض کند. دوم و مهم تر، جمله ای که بیشتر آدم ها انتظارش را ندارند: چنین متنی لازم نیست برای انسان قابل دیدن یا خواندن باشد؛ کافی است مدل آن را بخواند. اوواسپ همین ها را به دو دسته تقسیم می کند، مستقیم یعنی آنچه خود کاربر می نویسد، و غیرمستقیم یعنی آنچه از یک منبع بیرونی مثل یک صفحه وب یا یک فایل وارد می شود. دسته دوم همان است که به شما مربوط می شود.

و صادق ترین جمله در آن سند، جمله ای است که خود اوواسپ نوشته: با توجه به ماهیت آماری این مدل ها، روشن نیست که اصلا روشی برای پیشگیری کامل از تزریق دستور وجود داشته باشد. یعنی این چیزی نیست که با یک وصله حل شود.

پس دفاع چیست؟ نه فیلتر کردن متن، که همان سند می گوید کافی نیست، بلکه ندادن اختیار. توصیه های خود اوواسپ در همین جهت اند: خروجی مدل باید قالب مشخصی داشته باشد و آن قالب با کد قطعی بررسی شود؛ اختیار دسترسی مدل باید کمترین حد لازم باشد و کارهای حساس در کد انجام شوند نه توسط مدل؛ و هر کار پرخطر باید تایید انسانی بخواهد. برای شما به عنوان کاربر، همین سه جمله به یک قاعده ساده ترجمه می شود: به دستیاری که متن غریبه ها را می خواند، اجازه ندهید بدون پرسیدن از شما پول خرج کند، ایمیل بفرستد، یا چیزی را پاک کند.

ما همین را روی سایت خودمان پیاده کرده ایم و در بخش پایین همین صفحه دقیقا نوشته ایم چطور.

کدام عادت ها واقعا جواب می دهند؟

چهار تا، و هیچ کدام ابزار نمی خواهد.

یک کلمه رمز خانوادگی که هیچ جا نوشته نشده باشد. این ارزان ترین دفاع در برابر گران ترین جعل است و پنج دقیقه وقت می برد. کارش برای پول و اورژانس است و نه برای هر گفتگویی.

تایید از کانال دوم، برای هر چیزی که پول یا دسترسی در آن هست. نه پاسخ به همان پیام، نه شماره ای که در همان پیام آمده. شماره ای که خودتان از قبل دارید.

ندادن اختیار به دستیارها. اگر ابزاری به صندوق ایمیل یا فایل هایتان وصل می شود، اول ببینید چه کارهایی را می تواند بدون پرسیدن انجام دهد. حالت «فقط بخوان» با حالت «بخوان و انجام بده» دو چیز کاملا متفاوت اند و رابط کاربری معمولا این تفاوت را برجسته نمی کند.

و چیزی که در چت نمی گذارید. رمز عبور، کلید و توکن، اطلاعات کارت، قرارداد و اطلاعات مشتری. راهنمای خود گوگل برای جمنای صریح می گوید اطلاعات محرمانه ای که نمی خواهید بازبین انسانی ببیند وارد نکنید. این نه شک به آن شرکت خاص که قاعده عمومی هر سرویسی است که متن شما را نگه می دارد.

و یک نکته که با آن تمام می کنیم، چون بیشتر از بقیه نادیده گرفته می شود: خطر اصلی برای بیشتر آدم ها این نیست که خودشان از هوش مصنوعی استفاده می کنند. این است که کس دیگری از آن علیه آنها استفاده می کند. کسی که هیچ وقت هیچ مدلی را باز نکرده، دقیقا به همان اندازه در معرض تماس با صدای جعلی است. برای همین این درس درباره ابزارها نیست، درباره عادت هاست.