اجرای هوش مصنوعی روی کامپیوتر شخصی

روی کامپیوتر خودتان یعنی چه

وقتی از یک سایت هوش مصنوعی استفاده می کنید، متن شما به سرور آن شرکت می رود، آنجا محاسبه می شود و جواب برمی گردد. اجرای محلی همین زنجیره را کوتاه می کند: یک فایل چند گیگابایتی روی دیسک شما می نشیند، برنامه ای آن را در حافظه باز می کند، و همان حساب روی سخت افزار خودتان انجام می شود.

یعنی سه چیز عوض می شود. حساب کاربری لازم نیست. اینترنت بعد از دانلود مدل لازم نیست. و متنی که می نویسید جایی ثبت نمی شود، چون جایی نمی رود.

یک تله همین اول کار هست و ارزش دارد که قبل از هر چیز بدانیدش. ابزارهایی که مدل محلی اجرا می کنند، اغلب نسخه ابری هم دارند و ظاهرشان یکی است. مستندات خود Ollama می گوید مدل های ابری به صورت خودکار به سرویس ابری Ollama منتقل می شوند و برای استفاده از آنها به حساب روی ollama.com نیاز دارید. پس یک اسم مدل که به «cloud» ختم شود، محلی نیست؛ همان پنجره، همان دستور، ولی متن شما رفته است بیرون.

چقدر رم لازم دارید

ساده ترین راه تخمین این است که به حجم دانلود خود مدل نگاه کنید. این عددها را سازنده روی صفحه هر مدل نوشته و حدس نیستند. برای خانواده gemma3، صفحه کتابخانه Ollama این چهار اندازه را می دهد:

حالا قاعده ای که این جدول را قابل استفاده می کند: حجم دانلود کف است و نه نیاز واقعی. مدل باید در حافظه باز شود و روی آن، متن گفتگو هم جا بگیرد. مستندات Ollama صریح می گوید بزرگ کردن پنجره متن، مقدار حافظه لازم برای اجرای مدل را بالا می برد. پس اگر رم آزاد شما دقیقا به اندازه فایل است، مدل یا اجرا نمی شود یا آنقدر کند می شود که فایده ندارد.

همان مستندات یک عدد دیگر هم می دهد که تصویر واقعی تری از یک دستگاه معمولی می سازد: پنجره متن پیش فرض برای کارت گرافیک با کمتر از ۲۴ گیبی بایت حافظه، ۴ هزار توکن است؛ ۲۴ تا ۴۸ گیبی بایت، ۳۲ هزار؛ و ۴۸ گیبی بایت به بالا، ۲۵۶ هزار. کارت گرافیک اکثر لپ تاپ ها در دسته اول است. یعنی روی دستگاه معمولی، مدل محلی نه تنها کوچک تر است، حافظه کوتاه تری هم دارد.

چرا این مسیر از ایران معنی دارد

سه مانع همیشگی ابزارهای هوش مصنوعی برای کاربر ایرانی این هاست: حساب باز نمی شود، کارت پذیرفته نمی شود، و کشور در فهرست نیست. مدل محلی هر سه را دور می زند، نه با ترفند، بلکه چون اصلا به هیچ کدام نیاز ندارد.

راهنمای شروع خود Ollama سه سیستم عامل macOS و ویندوز و لینوکس را پشتیبانی می کند و برای اجرای یک مدل روی دستگاه، هیچ ورود یا ثبت نامی در آن مستندات خواسته نشده. حساب فقط جایی لازم می شود که سراغ مدل های ابری بروید، و آن دیگر اجرای محلی نیست.

یک مرز را صادقانه بگوییم: خود فایل مدل باید یک بار دانلود شود، و ما نمی توانیم قول بدهیم آن دانلود از هر اتصالی در ایران انجام می شود. این را نه سنجیده ایم و نه در جایی نوشته شده. چیزی که می شود گفت این است که بعد از دانلود، هیچ چیز دیگری لازم نیست؛ و همین است که این مسیر را از بقیه جدا می کند.

سود سوم از همه کمتر گفته می شود و شاید مهم ترین باشد: حریم خصوصی. سند مشتری، قرارداد، پرونده پزشکی، متنی که هنوز منتشر نشده؛ اینها روی مدل محلی هیچ کجا ثبت نمی شوند. مقایسه اش با پیش فرض های سرویس های ابری در درس حریم خصوصی در ابزارهای هوش مصنوعی با منبع آمده.

کجا کم می آورد

اگر کسی به شما گفت مدل محلی جای مدل های بزرگ را می گیرد، حرفش را باور نکنید. مدلی که در ۳.۳ گیگابایت جا می شود با مدلی که روی خوشه ای از کارت گرافیک اجرا می شود در یک رده نیست، و این را هیچ تنظیمی جبران نمی کند.

سه جا بیشتر از همه به چشم می آید. استدلال چند مرحله ای، جایی که مدل کوچک میانه راه رشته را گم می کند. دانش دقیق، جایی که با اطمینان چیزی می سازد. و متن طولانی، که با پنجره متن کوتاه اصلا داخل نمی شود.

درباره فارسی هم صادق باشیم: کیفیت مدل های کوچک روی فارسی یکسان نیست و ما آن را روی این سرور نسنجیده ایم، چون هیچ کدام از این مدل ها اینجا نصب نیستند. تنها راه معتبر برای شما این است که یک پاراگراف واقعی از کار خودتان را به دو سه مدل بدهید و جواب ها را کنار هم بگذارید. ده دقیقه وقت می برد و جوابش مال خودتان است. اگر می خواهید بدانید این مدل ها از کجا می آیند و «باز» بودنشان دقیقا یعنی چه، درس مدل های متن باز همان بحث است.

یک هزینه پنهان هم هست که در تبلیغ ها دیده نمی شود: دستگاه شما در تمام مدت اجرا مشغول است. لپ تاپ داغ می شود، فن کار می کند، باتری زودتر تمام می شود، و بقیه برنامه ها کند می شوند. برای یک درخواست کوتاه چیزی نیست؛ برای پردازش صد فایل، خودش یک تصمیم است.

پس روی مدل محلی چه کارهایی واقعا جواب می دهد

موضع ما این است: مدل محلی را جایگزین نگیرید، ابزار کارهای مکانیکی و حساس بگیرید. یعنی کارهایی که حجم دارند و قضاوت نمی خواهند، یا کارهایی که متنشان نباید از دستگاه بیرون برود.

• پاک کردن نام و شماره از یک متن، قبل از اینکه جایی بفرستیدش
• بیرون کشیدن فیلدهای مشخص از ده ها ایمیل یا فاکتور با یک الگوی ثابت
• خلاصه کردن یک متن کوتاه که محرمانه است
• نوشتن پیش نویس اولیه ای که خودتان بازنویسی می کنید
• ترجمه خام برای فهمیدن، نه برای انتشار

در همه اینها یک الگوی مشترک هست: خروجی مدل محلی ورودی مرحله بعد است و نه محصول نهایی. مسیر سریع در ادامه، دقیقا همین الگو را به یک گردش کار تبدیل می کند.