الامن والاختراق الاخلاقي

المخاطر الأمنية للذكاء الاصطناعي

صنع الذكاء الاصطناعي صنفا واحدا من المخاطر الأمنية صنعا حقيقيا، وجعل ما عداه أرخص وأتقن فحسب، والتمييز بين الاثنين هو ما يحدد ما ينبغي أن تفعله. فاستنساخ الصوت والوجه، والنص المكتوب لمساعدك لا لك، يحتاجان عادة جديدة؛ أما التصيّد الأحسن صياغة فيحتاج الدفاع القديم نفسه، بعلامات مختلفة فقط.

  • الدرس 11 من 12
  • متوسط
  • مجاني، دون تسجيل

أي خطر تكفيه عادات اليوم

وكلما ذهبت يمينا ابتعد الدفاع عن الكشف واقترب من تغيير الروتين.

موضع كل مؤشر حكمنا نحن، من المصادر المربوطة في هذه الصفحة
  • تصيّد بلا أخطاءالدفاع نفسه، علامات جديدة
  • ما تضعه أنت في المحادثةقرارك أنت تماما
  • صوت ووجه مستنسخانقناة ثانية وكلمة سر
  • مساعد يقرأ نصوص الغرباءحجب الصلاحية لا الترشيح
العادة القديمة تكفيتلزم عادة جديدة

هذا المدى عن نوع الدفاع لا عن شدة الضرر. فرسالة تصيّد بسيطة قد تأخذ كل حساباتك.

آخر مراجعة: تُراجع الحقائق وأسماء الأدوات في هذا الدرس مقابل مصادرها في هذا التاريخ.

ما الجديد حقا وما الذي كبر فحسب؟

أكثر ما يُكتب عن المخاطر الأمنية للذكاء الاصطناعي يخلط هذين معا، والنتيجة خوف بلا تعليمات. فلنفصل أولا.

الصنف الأول، أشياء ليست جديدة وإنما صارت رخيصة ومتقنة: بريد الاحتيال، والرسائل المزيفة، وصفحات الدخول المقلَّدة، ونص مقنع بأي لغة. وهذه موجودة منذ عشرين سنة. والذي تغيّر كلفة صنعها وجودة لغتها. والدفاع أمامها هو الدفاع القديم نفسه؛ إنما العلامات التي علّمناها للناس لم تعد تنفع.

والصنف الثاني هو الجديد حقا، وله فرعان. الأول توليد الهوية: صوت كصوت ابنك، وفيديو كوجه مديرك، بكلفة تقارب الصفر. والثاني، وهو أقل ذكرا وأخطر من الأول: برامج تقرأ النصوص نيابة عنك وتنفذ أعمالا. فحتى الأمس كان النص الذي يكتبه غريب لا تراه إلا عينك. أما الآن فقد يقرؤه شيء يملك أيضا صلاحية إرسال بريد وشراء وحذف ملف.

والشكل أعلى الصفحة يضع تلك المخاطر الأربعة على مدى واحد، من اليسار حيث تكفيها عادات اليوم إلى اليمين حيث تلزم عادة جديدة. وموضع كل مؤشر حكمنا نحن لا قياس، ومصدر كل ادعاء له مصدر مربوط في هذه الصفحة.

المخاطر الأمنية للذكاء الاصطناعي: أيها جديد وأيها لا

لماذا لم يعد الصوت المألوف دليلا؟

لأن بناء صوت من ثوانٍ معدودة من عيّنة ليس عسيرا اليوم، وكلفته لمن يحتال زهيدة. والنتيجة شكل جديد للاحتيال القديم نفسه: مكالمة يقول فيها صوت قريب منك إنه في ورطة ويحتاج مالا الآن.

ونقول هذا عن مصدر متين لا عن تخمين. فقد كتب مكتب التحقيقات الفيدرالي، في إعلان عام صادر عن مركز شكاوى جرائم الإنترنت التابع له سنة ٢٠٢٥، أن حملة جارية منذ أبريل من تلك السنة تنتحل فيها رسائل نصية ورسائل صوتية مولَّدة بالذكاء الاصطناعي صفة كبار المسؤولين لبناء الثقة قبل كل شيء. وفي النص نفسه جملة تنهي جدل الكشف كله: أن المحتوى المولَّد بالذكاء الاصطناعي تقدّم إلى حد صار تمييزه صعبا في الغالب.

فإن لم ينفع الكشف، فما الذي ينفع؟ التأكيد عبر قناة ثانية. وتوصية المكتب نفسه هذه: قبل أن ترد، اعثر على رقم ذلك الشخص مستقلا عن الرسالة التي وصلتك، واتصل به أنت. وتوصية ثانية أبسط وأرخص ولا يكاد أحد في إيران يفعلها: اتفق مع أهل بيتك على كلمة أو عبارة سر لا يعرفها غيركم. فكلمة واحدة بسيطة متفق عليها سلفا تصمد أمام أفضل استنساخ صوتي في العالم، لأنها شيء لا وجود له في أي عيّنة صوت.

وثلاث علامات ما زالت تنفع ولا صلة لها بجودة التزييف. الاستعجال: فأي رسالة تقول الآن ولا تخبر أحدا مشبوهة عند تلك النقطة. وتبديل القناة: من كان يكلمك دائما في تطبيق واحد يكتب فجأة من رقم جديد أو تطبيق آخر. وطريقة الدفع: طلب عملة رقمية أو بطاقة هدية أو تحويل إلى حساب طرف ثالث يعني الشيء نفسه داخل أي قصة تُحكى حوله.

ثلاث خطوات حين يطلب صوت مألوف مالا

  1. أنهِ المكالمة

    الاستعجال أداة العمل الأولى. وكل تأخير تصنعه يعمل ضده، ولا طارئ حقيقي يفسده خمس دقائق.

    1
  2. اتصل بالرقم الذي عندك من قبل

    لا رقما جاء داخل تلك المكالمة أو الرسالة. وتوصية المكتب نفسه هي هذه: اعثر على الرقم مستقلا.

    2
  3. اسأل عن كلمة السر

    كلمة اتفقت عليها مع أهلك سلفا وغير مكتوبة في أي مكان. لا وجود لها في أي عيّنة صوت، فلا يملكها أي تزييف.

    3

هذه الخطوات الثلاث ليست عن كشف التزييف. بل تفترض عمدا أن الكشف متعذر وتمسك المسألة من موضع آخر.

لماذا لم يعد بريد التصيّد يحمل أخطاء إملائية؟

لأن كتابة نص سلس بلا أخطاء بأي لغة، ومنها الفارسية، لم تعد مهارة ولا كلفة لها. فأكبر علامة عُلّمت لجيل كامل، وهي أن النص المكسور يعني التزييف، ميتة اليوم. والأسوأ: لأن العلامة ماتت ولم يُسلَّم بديل عنها، صار كثيرون يقرؤون النص النظيف علامة أصالة، وهو عكس الحقيقة تماما.

والبديل علامات بنيوية. ولا صلة لها بجودة الكتابة ولا يحسّنها أي نموذج، لأنها عن الموقف لا عن النص: أهذه الرسالة جواب لشيء بدأته أنت أم هبطت من السماء، وهل يطابق العنوان الحقيقي خلف الرابط النطاق الذي تعرفه حرفا حرفا، وهل ما يُطلب منك شيء تفعله تلك المؤسسة أصلا. والطريقة الكاملة لقراءة هذه العلامات، بأمثلة إيرانية، في درس ما التصيّد وكيف نكشفه، ولا نكررها هنا.

وتمييز يستحق الذكر: أدوات كشف نصوص الذكاء الاصطناعي لا تحل هذه المشكلة ولم تُصنع لها قط. فكون بريد كُتب بمساعدة نموذج لا يقول شيئا عن كونه احتيالا؛ فرسائل الشركات الرسمية اليوم تُكتب بمساعدة نموذج كذلك. ولماذا تخطئ تلك الأدوات في الاتجاهين موضوع درس كشف محتوى الذكاء الاصطناعي.

ما الذي يتغير حين يقرأ الذكاء الاصطناعي نيابة عنك؟

هذا أحدث أجزاء الموضوع وأقلها حديثا. فما دام النموذج يجيبك أنت وحدك، كان أسوأ ما يقع جوابا خاطئا. أما حين يقرأ النموذج صندوق بريدك، أو يلخّص الصفحة التي فتحتها، أو يراجع مستندا أرسله إليك أحد، فقد وقع شيء آخر: نص كتبه غريب دخل في شيء يستطيع أن ينفّذ أعمالا.

وحقن الأوامر اسم أُطلق على هذه الحال، وقد وضعه مشروع أمن الذكاء الاصطناعي في منظمة أوواسب على رأس قائمة مخاطر التطبيقات المبنية على النماذج اللغوية. ولتعريفهم شقان كلاهما مهم. الأول أن المدخل قد يغيّر سلوك النموذج على نحو غير مقصود. والثاني وهو الأهم، جملة لا يتوقعها أكثر الناس: أن مثل هذا النص لا يلزم أن يكون مرئيا أو مقروءا لإنسان أصلا، ما دام النموذج يحلّله. وتقسّم أوواسب هذا إلى نوعين، مباشر أي ما يكتبه المستخدم، وغير مباشر أي ما يرد من مصدر خارجي كصفحة وب أو ملف. والنوع الثاني هو الذي يعنيك.

وأصدق جملة في تلك الوثيقة كتبتها أوواسب نفسها: أنه نظرا للطبيعة الاحتمالية لهذه النماذج، ليس واضحا أن ثمة أصلا طريقة محكمة لمنع حقن الأوامر. أي أن هذا ليس مما تحله رقعة.

فما الدفاع إذن؟ ليس ترشيح النص، فالوثيقة نفسها تقول إنه لا يكفي، بل حجب الصلاحية. وتوصيات أوواسب نفسها تمضي في هذا الاتجاه بالضبط: أن يكون لمخرجات النموذج قالب محدد وأن يُفحص ذلك القالب بكود قطعي؛ وأن تكون صلاحيات وصول النموذج أدنى ما يلزم وأن تُنفَّذ الوظائف الحساسة في الكود لا أن تُعطى للنموذج؛ وأن يستلزم كل عمل عالي الخطورة موافقة بشرية. وبالنسبة إليك كمستخدم تُترجم هذه الجمل الثلاث إلى قاعدة واحدة بسيطة: لا تدع مساعدا يقرأ نصوص الغرباء ينفق مالا أو يرسل بريدا أو يحذف شيئا دون أن يسألك أولا.

وقد طبّقنا هذا على موقعنا نحن، والقسم في أسفل هذه الصفحة يقول كيف بالضبط.

لماذا يكون مساعد يقرأ النصوص سطح هجوم جديدا

  1. 1

    غريب يكتب نصا

    في صفحة وب أو بريد أو ملف. وتكتب أوواسب أن هذا النص لا يلزم أن يكون مرئيا لإنسان أصلا؛ يكفي أن يقرأه النموذج.

  2. 2

    تطلب من المساعد أن يقرأه

    لخّص هذا، أجب عن هذا، راجع هذا الملف. وطلبك عادي تماما ولا شيء مريب فيه.

  3. 3

    يقرأ المساعد النص كله

    فلدى النموذج، نصك ونص تلك الصفحة كلاهما مدخل. وهذا ما تسميه أوواسب الحقن غير المباشر.

  4. 4

    هنا يجب أن يتوقف

    فإن استطاع المساعد أن يرسل أو يشتري أو يحذف، فقد بلغ ذلك النص صلاحيتك. وتوصية أوواسب هي هذه: أن يستلزم العمل عالي الخطورة موافقة بشرية.

المرحلة الرابعة هي ما يجعل هذه السلسلة خطرة. فإن لم يملك المساعد صلاحية التنفيذ، لم تنتج المراحل الثلاث الأولى إلا ملخصا رديئا.

أي العادات تنفع فعلا؟

أربع، ولا واحدة منها تحتاج أداة.

كلمة سر عائلية غير مكتوبة في أي مكان. وهي أرخص دفاع أمام أغلى تزييف وتأخذ خمس دقائق. وعملها للمال والطوارئ، لا لكل حديث.

التأكيد عبر قناة ثانية، لكل ما فيه مال أو وصول. لا ردا على تلك الرسالة، ولا على الرقم الذي جاء فيها. بل رقم كان عندك من قبل.

حجب الصلاحية عن المساعدين. فإن اتصلت أداة بصندوق بريدك أو ملفاتك، فانظر أولا ماذا تستطيع أن تفعل دون أن تسأل. فوضع «القراءة فقط» ووضع «القراءة والتنفيذ» شيئان مختلفان تماما، والواجهة لا تُبرز هذا الفرق عادة.

وما لا تضعه في محادثة. كلمات المرور، والمفاتيح والرموز، وبيانات البطاقة، والعقود ومعلومات العملاء. وصفحة مساعدة غوغل لجيميناي تقول صراحة ألا تُدخل معلومات سرية لا تريد أن يراها مراجع بشري. وليس ذلك ارتيابا بشركة بعينها؛ بل هو القاعدة العامة لأي خدمة تحتفظ بنصك.

ونقطة نختم بها، لأنها تُهمَل أكثر من غيرها: الخطر الأول لأكثر الناس ليس أنهم يستعملون الذكاء الاصطناعي. بل أن غيرهم يستعمله ضدهم. فمن لم يفتح نموذجا واحدا قط معرّض لمكالمة بصوت مستنسخ بالقدر نفسه تماما. ولهذا لم يكن هذا الدرس عن الأدوات، بل عن العادات.

المسار السريع مع الذكاء الاصطناعي

الطريقة المعتادة لفحص رسالة مريبة أن تنظر إلى نصها وتبحث عن أخطاء، وهي العلامة التي لم تعد موجودة. أما السريعة فأن تطلب من النموذج لا أن يحكم بكونها مزيفة، بل أن يفكك بنية الرسالة: ما المطلوب، ومن أي قناة، وبأي استعجال، وبأي طريقة دفع. والمخرج ليس حكما، بل خريطة للضغوط الموضوعة عليك، وهي ما ييسّر عليك أن تقرر بنفسك.

  1. أولا، وهو ما لا صلة له بالنموذج: إن طلبت الرسالة مالا أو كلمة مرور أو رمزا، فأكّد عبر قناة ثانية هناك وحينها، قبل كل شيء. وبقية هذا الروتين للفهم لا للقرار.
  2. خذ نص الرسالة، وقبل لصقه امسح منه اسمك ورقمك وعنوانك وأي معرّف آخر. واترك الروابط نصا عاديا ولا تنقر أيا منها.
  3. أعطِ الوصفة أدناه لنموذج مع ذلك النص. والنموذج الأقوى يعطي جوابا أفضل هنا، لأن العمل قراءة دقيقة لا فرزا آليا؛ وخذ اختيار اليوم من ترتيب <a class="text-link" href="/ar/ai/">قسم الذكاء الاصطناعي</a>.
  4. زِن الجواب بحسّك أنت لا العكس. فإن قال المخرج إنه لم يجد علامة وظل شعورك سيئا، فثق بشعورك؛ فغياب العلامة لا يثبت شيئا.

وصفة جاهزة للنسخ

أعطيك نص رسالة وصلتني. لا تحكم بكونها مزيفة أو حقيقية. فكّك بنيتها فقط.

ابنِ جدولا بهذه الصفوف واقتبس كل واحد من النص نفسه:
١. ما المطلوب: مال، أو كلمة مرور، أو رمز تحقق، أو تثبيت شيء، أو فتح رابط، أو لا شيء من ذلك.
٢. أي استعجال وُضع: عبارات مثل الآن، أو قبل نهاية اليوم، أو لا تخبر أحدا.
٣. أي هوية ادُّعيت ومن أي قناة وصلت.
٤. طريقة الدفع أو التحويل، إن وُجدت.
٥. العنوان الحقيقي خلف كل رابط، نصا، بلا تفسير.
٦. هل تشير الرسالة إلى شيء ينبغي أن يعرفه المرسل سلفا ولا يعرفه غيره.

وبعد الجدول اكتب ثلاث جمل:
- أي الصفوف تصنع معا نمط ضغط واحدا.
- ما الذي في النص لا يأتي إلا من مصدر حقيقي.
- سؤال واحد ينبغي أن أطرحه عبر قناة ثانية ليتضح الأمر.

قواعد: لا تكتب ما ليس في النص. ولا تخمّن من المرسل. ولا تحكم بأن هذا احتيال أو ليس احتيالا؛ فالقرار لي.

النص:
{الصق الرسالة هنا}

قبل أن تثق بالناتج: هذا الروتين لا يستطيع أن يقول شيئا واحدا وهو الأهم: هل جاءت الرسالة من ذلك الشخص فعلا. فالنموذج لا يسمع الصوت ولا يعرف المرسل، وإن سألته بنى جوابا واثقا تماما. والشيء الوحيد الذي يحسم ذلك السؤال اتصال برقم عندك من قبل. وإن جاءت الرسالة من عميل أو زبون، فاحذف الأسماء والمبالغ والتفاصيل قبل اللصق؛ فبنية الرسالة تكفي لهذا العمل وما عداها بيانات غيرك.

الذكاء الاصطناعي في هذا العمل

في هذا الموضوع الحد واضح جدا. فالنموذج اللغوي جيد في تفكيك بنية نص: ما المطلوب، ومن أي قناة، وبأي ضغط. وهو سيئ سوءا خطرا في عمل واحد: أن يقول لك إن صوتا أو فيديو أو رسالة مزيفة. فهو يعطي ذلك الجواب بثقة ولا قياس خلفه. وموقفنا أننا لا نوصي مستخدما عاديا بأي أداة لكشف تزييف الصوت أو الصورة، لأن لا واحدة منها موثوقة بما يكفي لبناء قرار مالي عليها.

أدوات تساعد فعلا

  • Claude لتفكيك بنية رسالة مريبة، وهو عمل قراءة دقيقة وكشف تناقض، ويتفوق فيه النموذج الأقوى تفوقا ملحوظا. وإيران ليست في قائمة الدول المدعومة لدى أنثروبيك، فلا طريق رسمي للتسجيل أو الدفع.
  • Gemini إن كانت لديك رسائل متشابهة وأردت أن ترى النمط المشترك بينها، فيكفي نموذج سريع رخيص. وصفحة غوغل نفسها تقول إن تطبيق جيميناي يعمل في أكثر من مئتين وثلاثين دولة ومنطقة، وإيران ليست في تلك القائمة.
  • ChatGPT يصلح لعمل تفكيك البنية نفسه. ولا نكتب شيئا عن الوصول إليه من إيران: فصفحة الدول المدعومة لدى أوبن إيه آي تعيد 403 لهذا الخادم، فلم نفحصها ولا نطلق ادعاء بلا مصدر خلفه.

اين ينقلب ضدك

ثلاثة مخاطر، والثالث يخص هذا الدرس بعينه. الأول أن النموذج يقول بثقة إن رسالة احتيال أو ليست احتيالا وهو لا سبيل له إلى المعرفة؛ وقد كتب مكتب التحقيقات الفيدرالي، في الإعلان نفسه المقتبس في القسم الثاني، أن المحتوى المولَّد بالذكاء الاصطناعي تقدّم إلى حد صار تمييزه صعبا في الغالب، وتلك الجملة عن الإنسان والآلة سواء. والثاني أن الرسالة التي تلصقها للفحص تحمل عادة بيانات غيرك أيضا؛ ومساعدة غوغل لجيميناي تقول ألا تُدخل معلومات سرية لا تريد أن يراها مراجع بشري. والثالث وهو أهم من الاثنين: أن علامات مثل SynthID من غوغل، المضمَّنة في مخرجات نماذج غوغل نفسها، لا تتكلم إلا عن محتوى أنتجه الصانع نفسه. وصفحة ديب مايند تصفها لنماذجها هي، وهذا وحده يوضح حدها: فتزييف صوتي صُنع بأداة أخرى لا يحمل منها أثرا. فغياب العلامة المائية لا يثبت شيئا، وبناء القرار عليه هو بالضبط موضع خطأ الناس. ولمعرفة شكل الدفع لهذه الأدوات من إيران، انظر دليل الشراء.

المصادر: FBI IC3: senior US officials impersonated in a malicious messaging campaign Google DeepMind: SynthID Google: Gemini Apps privacy notice and data Anthropic: supported countries

حدود هذه النصيحة

هذا الدرس عن المستخدم لا عمن يبني نظاما. فإن كنت تبني منتجا فوق نموذج لغوي، فما هنا بداية النقاش لا نهايته؛ وقائمة مخاطر أوواسب وتصنيف الهجمات الصادر عن المعهد الوطني الأمريكي للمعايير والتقانة، وكلاهما مربوط في المصادر، هما موضع المتابعة الصحيح. والحد الثاني زمني وهو أحدّ من المعتاد: فهذا الموضوع يتغير شهرا بشهر، ولهذا بالضبط لم نوصِ هنا بأي أداة كشف ولا بأي نسخة نموذج؛ فالباقي في هذه الصفحة شكل العادات لا أسماء المنتجات. والحد الثالث: إن كان أحد يملك الآن وصولا إلى حسابك أو جهازك، فلا شيء من هذه العادات يحل الأمر، لأن تلك مسألة أخرى تبدأ من استعادة الحساب.

من عملنا نحن

نحن نطبّق تلك القاعدة نفسها، ألا تعطي النموذج صلاحية، على هذا الموقع بعينه، والكود قابل للقراءة. فثمة مصنّف آلي على أقسام العمل الحر والسوق والإعلانات يقرأ النص الذي يرسله الغرباء ويقترح أينشر أم لا. وهو بالضبط الوضع الذي يحذر منه هذا الدرس: نموذج يكتب مدخله شخص آخر. وثلاثة أشياء في معماره وُضعت عمدا. الأول، أن مخرج النموذج ليس إلا بطاقة من قائمة مغلقة ورقم ثقة؛ وتمر البطاقة على دالة تنظيف قبل الاستعمال ويُقصّ الرقم بين صفر ومئة، فمهما أنتج النموذج من نص، فالذي يصل إلى الكود هو هذان الشيئان لا غير. والثاني، أن النموذج لا ينشر شيئا؛ بل الكود هو الذي يترجم البطاقة إلى إجراء، والعتبات وضعناها نحن: النشر من ستين بالمئة ثقة والرفض من ثمانية وسبعين، أي أن الرفض أصعب عمدا من القبول. والثالث وهو أهم من الاثنين، أنه إن قالت قواعد النص إن في الإعلان مشكلة وقال النموذج إنه سليم وكانت ثقة القواعد فوق سبعين بالمئة، فالنتيجة ليست النشر بل المراجعة اليدوية. وقد سُجّل حتى اليوم اثنان وعشرون قرارا حقيقيا في سجل ذلك النظام، وفي واحد منها كانت القواعد قاطعة إلى حد أننا لم نذهب إلى النموذج أصلا. وهذا بالضبط ما توصي به أوواسب: قالب محدد، وفحص بكود قطعي، وأدنى صلاحية، وموافقة بشرية للعمل الحساس.

اسئلة متابعة حقيقية

كيف أعرف أن فيديو أو صوتا مزيف؟

في الغالب لا تعرف، والجواب الصحيح قبول ذلك. فمكتب التحقيقات الفيدرالي في دليله يسرد علامات ظاهرية، كاليدين والقدمين المشوهتين والظلال غير الدقيقة وتأخر الصوت، ويقول صراحة كذلك إن تمييز هذا المحتوى صعب في الغالب. فالمسار الصحيح تغيير السؤال: بدل «هل هذا مزيف»، اسأل «هل أسمع الشيء نفسه عبر قناة عندي أنا».

هل أدوات كشف الصوت والصورة المولَّدين موثوقة؟

ليست إلى الحد الذي تبني عليه قرارا ماليا. فعلامات مثل SynthID تُضمَّن في مخرجات نماذج الصانع نفسه فقط، فمحتوى صُنع بأداة أخرى لا يحمل علامة، وغيابها لا يثبت شيئا. والأدوات التخمينية تخطئ في الاتجاهين، وخطأ «هذا حقيقي» أغلى خطأ ممكن في هذا الموضوع.

إن لم أستعمل الذكاء الاصطناعي، هل أنا في أمان؟

لا، لأن الخطر الأول لا يأتي من استعمالك أنت. فالمكالمة بصوت مستنسخ والرسالة المحكمة تُرسلان إلى من لم يفتح نموذجا واحدا قط، بالقدر نفسه تماما. والجزء الوحيد المتعلق باستعمالك هو البيانات التي تضعها أنت في محادثة، وذلك قرارك أنت تماما.