تشخیص محتوای هوش مصنوعی

دو سوالی که مدام با هم اشتباه گرفته می شوند

سوال اول این است: این فایل را ماشین ساخته است؟ سوال دوم این است: این متن را ماشین نوشته است؟ اینها شبیه هم به نظر می رسند و اصلا یک جنس نیستند. سوال اول گاهی جواب مکانیکی دارد، چون ممکن است خود سازنده نشانه ای داخل فایل گذاشته باشد که کسی بتواند پیدایش کند. سوال دوم جواب مکانیکی ندارد و کسی هم تا امروز جوابش را نداده.

تمام سردرگمی این حوزه از همین جا می آید. بازار سوال دوم را می فروشد و در بهترین حالت بخشی از سوال اول را تحویل می دهد. ابزاری که به شما می گوید هشتاد و دو درصد احتمال هوش مصنوعی، به سوال دوم جواب نمی دهد؛ یک نمره شباهت آماری می دهد و شما آن را مثل یک حکم می خوانید.

موضع ما در این درس از اول روشن است. اگر قرار است بر اساس چیزی تصمیم بگیرید، آن چیز باید قابل نشان دادن باشد: یک نشانه در خود فایل، یک منبع که باز می شود، عددی که سر جای اصلی اش هم همان است. نمره ای که نمی توانید بازش کنید و ببینید از کجا آمده، برای تصمیم گرفتن ساخته نشده.

چرا اوپن ای آی آشکارساز خودش را تعطیل کرد

آشکارساز متن هوش مصنوعی برنامه ای است که یک نوشته را می خواند و حدس می زند ماشین نوشته یا آدم. ژانویه ۲۰۲۳ اوپن ای آی خودش یکی از اینها را منتشر کرد. ژوئیه همان سال، یادداشتی بالای همان صفحه اضافه شد که ترجمه اش این است: از بیستم ژوئیه ۲۰۲۳، این دسته بند به دلیل نرخ دقت پایینش دیگر در دسترس نیست.

روی این جمله مکث کنید، چون بار اصلی درس همین است. شرکتی که خود مدل را ساخته بود، به داده آموزشش دسترسی داشت، توکنایزرش را نوشته بود و خروجی اش را به هر اندازه که می خواست می توانست تولید کند، نتوانست آشکارسازی بسازد که به آن اعتماد کند. هر کسی که امروز چنین ابزاری می فروشد، از آن شرکت دسترسی کمتری دارد، نه بیشتری. آشکارساز آماری متن تنها ابزاری در این حوزه است که سازنده اش تعطیلش کرد.

آن صفحه در نسخه اولش چند عدد دقت هم داشت. ما آنها را اینجا ننوشته ایم، چون دامنه اوپن ای آی از این سرور ۴۰۳ برمی گرداند و ما عددی را که خودمان از منبع نخوانده باشیم چاپ نمی کنیم. همان یک جمله تعطیلی را از دو گزارش مستقل تطبیق دادیم و لینک صفحه اصلی هم پایین همین درس هست تا خودتان بازش کنید. اگر برایتان عجیب است که یک درس آموزشی عدد در دسترس را کنار بگذارد، دقیقا همان قاعده ای است که در درس توهم هوش مصنوعی شرحش داده ایم.

آشکارساز با نوشته کسی که زبان مادری اش انگلیسی نیست چه می کند

یک مطالعه منتشرشده در مجله Patterns چند آشکارساز پرکاربرد را روی نمونه های نوشتاری بومی و غیربومی انگلیسی آزمود. یافته اش صریح است: این ابزارها نوشته های غیربومی را به طور مداوم به اشتباه ماشینی طبقه بندی کردند، در حالی که نمونه های بومی درست شناخته شدند. نویسندگان همان مقاله نتیجه می گیرند که این ابزارها ممکن است ناخواسته نویسندگانی را جریمه کنند که دایره بیان محدودتری دارند، و درباره استفاده از آنها در موقعیت های ارزیابی و آموزشی هشدار می دهند.

اینجا باید دقیق بود، چون وسوسه اش زیاد است. آن مطالعه درباره انگلیسی نوشته غیربومی است و نه درباره فارسی. ما هیچ ارزیابی منتشرشده ای از این ابزارها روی متن فارسی ندیده ایم و چنین ادعایی هم نمی کنیم. ولی سازوکاری که پشت آن یافته است به هیچ زبان خاصی گره نخورده: این ابزارها روی یک توزیع تنظیم شده اند و هر نوشته ای که بیرون آن توزیع بایستد، پرچم می خورد.

و یک جمله دیگر از همان مقاله که کمتر نقل می شود: نویسندگان نشان دادند راهبردهای ساده پرامپت نویسی هم این سوگیری را کم می کند و هم آشکارسازها را دور می زند. ما اینجا نمی گوییم آن راهبردها چه بودند و در هیچ کجای این سایت هم نخواهیم گفت. لازم هم نیست؛ نکته اش یک جمله است. کنترلی که با یک دستور ساده دور زده می شود، کنترل نیست. کسی که می خواهد از آن رد شود رد می شود، و آنکه گیر می افتد نویسنده ای است که اصلا خبر نداشت باید از چیزی رد شود.

عددی که آشکارساز می دهد را چطور بخوانیم

فرض کنید صد متن دارید و ده تای آنها ماشینی است، و آشکارساز شما در هر دو جهت نه بار از هر ده بار درست جواب می دهد. نه تا از آن ده متن ماشینی را می گیرد. ولی همان نرخ خطا روی نود متن انسانی هم اجرا می شود و نه نفر دیگر را هم متهم می کند. یعنی از هجده پرچمی که بالا رفته، نه تای آن آدمی است که کار خودش را نوشته. این دو عدد یک مثال حسابی است و اندازه گیری هیچ محصولی نیست. چیزی که با هر عدد واقعی هم سر جایش می ماند این است: هرچه آنچه دنبالش می گردید کمیاب تر باشد، سهم بی گناهان در میان گرفتارها بیشتر می شود.

حالا هزینه دو خطا را کنار هم بگذارید، چون مساوی نیستند. اگر یک متن ماشینی از دستتان در برود، یک صفحه معمولی منتشر شده است. اگر یک نویسنده را به اشتباه متهم کنید، به کسی گفته اید دروغگو. این دو را نمی شود با یک آستانه اداره کرد و هر جا که هزینه ها نامتقارن است، آستانه ها هم باید نامتقارن باشند.

پس در عمل چه کار کنیم. عدد آشکارساز نهایتا یک نشانه است برای اینکه دقیق تر نگاه کنید، نه نتیجه. اگر عدد بالا بود، بروید سراغ چیزهایی که واقعا قابل بررسی اند: ادعاهای متن را باز کنید، منبع هایش را بخوانید، از نویسنده بپرسید چطور به آن نتیجه رسیده. آنچه از این گفتگو درمی آید قابل دفاع است. عدد، نه.

نشانه هایی که واقعا می شود بررسی کرد

سر سبز طیف، جایی که سازنده خودش نشانه ای گذاشته است. دو خانواده دارد و فرقشان مهم است: واترمارک داخل خود محتوا جاسازی می شود، و شناسنامه محتوا بسته ای از اطلاعات است که به فایل چسبانده می شود. هر دو در خود فایل نوشته شده اند و کسی که فایل را دارد می تواند دنبالشان بگردد.

SynthID مال گوگل دیپ مایند است و طبق صفحه خودشان روی تصویر، ویدیو، صدا و متن کار می کند؛ در اپ و نسخه وب جمنای برای تصویر و ویدیو و متن، و در Lyria و بخش پادکست نوتبوک ال ام برای صدا. مستندات ایمنی خود گوگل هم محدودیت هایش را همان جا نوشته و ارزش خواندن دارد: اعمال واترمارک روی پاسخ های واقعی کم اثرتر است چون جای کمتری برای دستکاری بدون افت دقت هست، بازنویسی کامل متن یا ترجمه اش به زبان دیگر به افت شدید امتیاز اطمینان آشکارساز منجر می شود، روش در برابر برش متن و تغییر چند کلمه و بازنویسی ملایم مقاوم است، و به تصریح خودشان SynthID Text برای متوقف کردن مستقیم مهاجم مصمم طراحی نشده. پیاده سازی سطح تولیدش هم از نسخه ۴.۴۶.۰ کتابخانه Transformers شرکت هاگینگ فیس در دسترس است، یعنی این فناوری دیگر پشت درهای بسته نیست.

خانواده دوم C2PA است، یک استاندارد باز برای چسباندن شناسنامه امضاشده به فایل. روزی که این درس را نوشتیم، صفحه عضویت آن یازده سازمان را در کمیته راهبری فهرست کرده بود، از جمله ادوبی، آمازون، بی بی سی، گوگل، متا، مایکروسافت، اوپن ای آی، سونی و تیک تاک. اینکه چطور شناسنامه یک فایل را روی سیستم خودتان بخوانید و ما وقتی روی کتابخانه رسانه همین سایت اجرایش کردیم چه پیدا شد، در درس واترمارک تصویر هوش مصنوعی و SynthID با دستور آمده است.

و حالا محدودیتی که کل این سر طیف را می سازد: هر نشانه فقط مدل هایی که آن را می گذارند را پوشش می دهد. مدلی که واترمارک نمی گذارد، خروجی اش هیچ نشانه ای ندارد، و شناسنامه ای که به فایل چسبیده با یک اسکرین شات ساده می افتد. پس نبودن نشانه هیچ چیزی را ثابت نمی کند. این نشانه ها فقط در یک جهت حرف می زنند، و همان یک جهت هم غنیمت است.

اگر ناشرید: به جای دویدن دنبال آشکارساز چه کنید

یک تحریریه که وقتش را صرف رد شدن از آشکارساز می کند، فرایندش را دور چیز اشتباهی ساخته است. سه چیزی که درباره انتشار خودتان واقعا قابل بررسی است این هاست: آدمی که اسمش پای مطلب است و پاسخگوست، ادعاهایی که لینک منبع دارند و آن لینک باز می شود، و افشا در جایی که ندانستنش نتیجه گیری خواننده را عوض می کند. هیچ کدام از این سه به هیچ ابزاری احتیاج ندارد.

این با سیاست گوگل هم نمی جنگد، چون سیاست گوگل اصلا سر ابزار نیست؛ سر تولید انبوه صفحه هایی است که چیزی به کسی اضافه نمی کنند. مرزش کجاست و متن رسمی چه می گوید را در درس محتوای هوش مصنوعی و سئو با لینک سیاست ها آورده ایم.

و یک قاعده سخت که نوشتنش راحت تر از اجراست: نویسنده را با عدد یک آشکارساز متهم نکنید. اگر حاضر نیستید کسی را با آن عدد اخراج کنید، با همان عدد کارش را هم رد نکنید. اگر واقعا مشکوکید، همان کاری را بکنید که یک سردبیر همیشه می کرده: بنشینید و درباره خود کار سوال بپرسید. کسی که موضوع را می فهمد جواب می دهد.

اگر خواننده اید: به چه چیزی نگاه کنید

حس درونی اینجا بدترین راهنماست، چون به چیزی حساس است که هیچ ربطی به منشا ندارد: روانی متن. متن روان می تواند کار یک ماشین باشد یا کار یک نویسنده خوب، و متن دست انداز دار می تواند کار یک آدم باشد یا خروجی یک مدل ضعیف. روانی چیزی است که این مدل ها دقیقا برایش بهینه شده اند، پس اصلا سیگنال نیست.

به جایش چهار چیز را نگاه کنید، به همین ترتیب. آیا صفحه اسم آدمی را می برد که پاسخگوست. آیا ادعاهایش لینک دارند و آن لینک ها واقعا باز می شوند و همان چیز را می گویند. آیا عددی که آمده در منبع اصلی هم همان عدد است. و اگر فایل است، آیا شناسنامه ای دارد. هیچ کدام از این چهار تا به شما نمی گوید نویسنده که بوده و اصلا قرار هم نیست بگوید؛ به شما می گوید این صفحه پشت حرفش می ایستد یا نه، و برای تصمیم شما همین سوال مهم است.

و مرز این درس، صریح: اینجا یاد نمی گیرید چطور متنی بنویسید که از آشکارساز رد شود، و یاد نمی گیرید چطور کسی را متهم کنید. این دو یک اشتباه اند از دو سر مخالف، و هر دو روی یک فرض غلط بنا شده اند: اینکه آن عدد چیزی می داند. نمی داند.