سئو برای موتورهای هوش مصنوعی (GEO)

GEO چیست و کدام بخشش واقعا اثبات شده است؟

GEO کوتاه شده generative engine optimization است و به کاری گفته می شود که هدفش دیده شدن در پاسخ های تولیدی موتورهای جستجو و دستیارهاست. AEO هم همان است با اسم دیگر.

خود گوگل درباره این دو کلمه موضع رسمی دارد و بهتر است اول همان را بخوانید تا وقتتان تلف نشود: در راهنمای بهینه سازی برای قابلیت های هوش مصنوعی مولد نوشته که از دید سرچ گوگل، بهینه سازی برای جستجوی هوش مصنوعی همان بهینه سازی برای تجربه جستجوست و بنابراین هنوز سئوست، و اضافه می کند اگر خدمات یا مشاوره AEO یا GEO از بیرون می خرید، راهنمای ارزیابی مشاوره سئوی شخص ثالث را ببینید. ما این موضع را با جزئیاتش در نوشته گوگل گفت برای هوش مصنوعی فایل مخصوص نسازید باز کرده ایم و اینجا تکرارش نمی کنیم.

ولی گوگل تنها موتور دنیا نیست، و این درس دقیقا درباره همان قسمتی است که آن پست پوشش نمی دهد. ChatGPT و Claude و Perplexity هر کدام خزنده و سیاست خودشان را دارند و مستندات خودشان را منتشر می کنند. آنجا چیزهایی هست که مستند و قطعی اند و در بازار ایران تقریبا هیچ کس درباره شان حرف نمی زند.

پس قبل از هر توصیه ای، ادعاها را در چهار سطل بریزیم و تا آخر درس همین چهار سطل را نگه داریم: چیزی که خودتان اندازه می گیرید، چیزی که سازنده مستند کرده، چیزی که استنباط منطقی است، و چیزی که فقط حدس است و به عنوان بسته فروخته می شود. هر جمله ای در این درس در یکی از این چهار جا می نشیند و ما هر بار می گوییم کدام.

کدام خزنده ها سراغ سایت شما می آیند و هر کدام چه کار می کنند؟

این بخش، بخش مستند این درس است و ارزشش از همه بیشتر، چون تنها اهرمی است که در دست شماست و نتیجه اش دودویی است: یا اجازه دارند یا ندارند.

اشتباه رایج این است که فکر کنید هر شرکت یک خزنده دارد. ندارد. اوپن ای آی در مستندات خودش می نویسد که OAI-SearchBot و GPTBot دو تنظیم مستقل از هم اند: یکی برای دیده شدن در جستجو و دیگری برای آموزش مدل. سایتی که GPTBot را ببندد ولی OAI-SearchBot را باز بگذارد، از آموزش بیرون است و در جستجو هست. همان صفحه می نویسد سایت هایی که OAI-SearchBot را بسته اند در پاسخ های جستجوی ChatGPT نشان داده نمی شوند، هرچند ممکن است هنوز به عنوان لینک ناوبری بیایند، و اینکه بعد از تغییر robots.txt حدود بیست و چهار ساعت طول می کشد تا سیستم هایشان خودشان را تطبیق بدهند.

انتروپیک هم سه ربات جدا دارد و هر سه را در صفحه پشتیبانی خودش توضیح داده: ClaudeBot برای جمع آوری محتوایی که می تواند به آموزش مدل ها کمک کند، Claude-User برای وقتی که یک کاربر سوالی می پرسد و سیستم سراغ سایت شما می رود، و Claude-SearchBot برای بهتر کردن کیفیت نتایج جستجو. همان صفحه می نویسد بستن Claude-User جلوی گرفتن محتوای شما در پاسخ به سوال کاربر را می گیرد و ممکن است دیده شدن سایت شما را کم کند.

و مورد گوگل که بیشتر از همه اشتباه فهمیده می شود. Google-Extended اصلا رشته User-Agent جداگانه ندارد؛ در مستندات خود گوگل نوشته که خزش با همان رشته های موجود گوگل انجام می شود و این توکن فقط در robots.txt نقش کنترلی دارد. یعنی هرچقدر هم لاگتان را بگردید، هیچ وقت درخواستی به اسم Google-Extended پیدا نمی کنید. کاری که این توکن می کند کنترل استفاده از محتوای شما برای آموزش نسل های بعدی مدل های Gemini و برای گراندینگ در همان محصولات است، و همان صفحه صریح می گوید Google-Extended روی حضور سایت در سرچ گوگل اثر ندارد و سیگنال رتبه هم نیست.

یک بار جدول را از راست به چپ بخوانید و ببینید تصمیم چقدر ساده می شود. اگر می خواهید در پاسخ های ChatGPT دیده شوید ولی محتوایتان به آموزش نرود، دقیقا می دانید کدام دو خط را بنویسید. مستندات هر سه شرکت در فهرست منابع همین درس آمده اند.

یک دستیار معمولا چه چیزی را از یک صفحه نقل می کند؟

اینجا وارد سطل سوم می شویم: استنباط. صادقانه بگوییم که هیچ کدام از این شرکت ها فهرست معیارهای انتخاب منبع را منتشر نکرده اند، پس هر چه در این بخش می خوانید استدلال است و نه سند.

استدلال ساده است. یک دستیار وقتی جواب می سازد، به جمله ای احتیاج دارد که بتواند بدون بریدن و بدون توضیح اضافه نقلش کند. صفحه ای که جواب سوال را در دو جمله اول می دهد، چنین جمله ای دارد. صفحه ای که جواب را در بند ششم و بعد از مقدمه چینی می دهد، ندارد. همین یک تفاوت، در تجربه ما بیشترین اثر را روی نقل شدن دارد و هزینه اش هم صفر است، چون برای خواننده انسان هم بهتر است.

سه چیز دیگر هم به همین دلیل کمک می کنند: یک اصطلاح را در کل صفحه یکسان به کار ببرید و مترادف بازی درنیاورید؛ هر ادعایی که اعتبار لازم دارد را به منبع لینک کنید تا اگر مدل خواست بررسی کند، مسیر جلوی پایش باشد؛ و ساختار صفحه را با تیتربندی درست بچینید تا بخش مربوط قابل جدا کردن باشد.

حالا نکته ای که خیلی ها نمی گویند و ما می گوییم چون سیاست همین سایت است. خود گوگل در همان راهنما نوشته که برای حضور در قابلیت های هوش مصنوعی لازم نیست جور دیگری بنویسید، لازم نیست محتوا را به قطعه های ریز خرد کنید، و اسکیمای مخصوصی هم لازم نیست. پس این چهار توصیه بالا را به عنوان قانون گوگل نفروشید. آنها استنباطی هستند درباره اینکه یک مدل زبانی چطور از یک صفحه نقل قول می سازد، و برای خواننده انسان هم مستقلا درست اند. همین دو دلیل برای انجام دادنشان کافی است و دلیل سومی وجود ندارد.

ما همین قاعده را روی همین بخش آموزش اجرا می کنیم: هر درس موظف است جواب را در دو جمله اول بدهد، و آن دو جمله باید به تنهایی و بدون بقیه صفحه معنا بدهند. دلیل اولش خواننده ای است که عجله دارد؛ اینکه یک دستیار هم بتواند همان دو جمله را بردارد، نتیجه جانبی است و نه هدف.

llms.txt بسازیم یا نه؟

جواب کوتاه: بسازید اگر برایتان هزینه ای ندارد، ولی از هیچ کس بابتش پول ندهید و از خودتان هم انتظار اثر روی رتبه گوگل نداشته باشید.

سند سمت گوگل صریح است. در همان راهنمای هوش مصنوعی مولد، در بخشی که خودش اسمش را افسانه زدایی گذاشته، نوشته که برای دیده شدن در سرچ گوگل و قابلیت های مولدش لازم نیست فایل ماشین خوان تازه یا فایل متنی هوش مصنوعی یا مارک آپ یا مارک داون بسازید، چون خود سرچ گوگل از آنها استفاده نمی کند. و بلافاصله اضافه می کند اگر تصمیم بگیرید چنین فایلی بسازید و نگه دارید کاملا اشکالی ندارد، ولی نه به دیده شدن و رتبه شما در گوگل ضرر می زند و نه کمک می کند، چون گوگل نادیده اش می گیرد.

سمت دیگر ماجرا هم واقعی است و معمولا گفته نمی شود. llms.txt یک پیشنهاد است که جرمی هاوارد در سپتامبر ۲۰۲۴ منتشر کرد و حالا نسخه دومش روی llmstxt.org هست. در همان صفحه نوشته که هزاران سایت این فایل را منتشر می کنند، پلتفرم های مستندسازی خودکار می سازندش، لایت هاوس کروم به عنوان بخشی از بررسی های مرورگر عامل وجودش را چک می کند، و خود آزمایشگاه های هوش مصنوعی برای مستندات توسعه دهنده خودشان llms.txt منتشر می کنند.

پس دو جمله درست را کنار هم بگذارید: گوگل نادیده اش می گیرد، و در عین حال یک قرارداد زنده است که ابزارهای دیگری می خوانندش. ما روی همین سایت یکی داریم و برنمی داریمش، چون هزینه اش یک فایل متنی است که خودکار بازتولید می شود. و آن را به کسی نمی فروشیم، چون هیچ اثر اندازه گیری شده ای برایش نداریم که بفروشیم.

اگر کسی برای ساختن این فایل از شما پول جداگانه می گیرد و نتیجه اش را در گوگل وعده می دهد، مستندات خود گوگل جواب او را داده است.

چطور بفهمید اصلا دیده می شوید؟

یک جای اندازه گیری واقعی دارید و یک جای نیمه، و بقیه اش قابل اندازه گیری نیست. صادقانه بگوییم کدام کدام است.

اندازه گیری واقعی، لاگ سرور خودتان است. هر درخواستی که از این خزنده ها به سایت شما می آید، با نام و ساعت و کد پاسخ در لاگ می نشیند. اینجا می بینید کدام آمده اند، چه صفحه هایی را گرفته اند، و مهم تر از همه چه کدی گرفته اند: یک صفحه که به مرورگر شما دویست می دهد ممکن است به یک ربات ۴۰۳ بدهد، و این اتفاق را سرور یا فایروال یا CDN بدون اینکه به شما خبر بدهد رقم می زند. مسیر سریع پایین همین صفحه دقیقا همین بررسی است.

اندازه گیری نیمه، سرچ کنسول است. گوگل در همان راهنما به گزارش عملکرد هوش مصنوعی مولد در سرچ کنسول اشاره می کند؛ اینکه آن گزارش دقیقا چه چیزی نشان می دهد و چه چیزی نمی دهد را در نوشته گزارش هوش مصنوعی سرچ کنسول جداگانه توضیح داده ایم.

و چیزی که هیچ کس نمی تواند اندازه بگیرد: اینکه در گفتگوی خصوصی یک کاربر با یک دستیار، سایت شما نقل شده یا نه. آن گفتگو در دسترس هیچ ابزاری نیست. برای همین است که خود گوگل در بخش افسانه زدایی هشدار می دهد مواظب ابزارهای شخص ثالثی باشید که موفقیت در رتبه را وعده می دهند یا ادعا می کنند از متریک های داخلی گوگل استفاده می کنند، و صریح می نویسد که هیچ ابزار شخص ثالثی به سیستم های داخلی رتبه بندی و هوش مصنوعی آنها دسترسی ندارد.

یک روش دستی هم هست که بعضی ها اسمش را رصد GEO می گذارند: از خود دستیارها درباره موضوعتان بپرسید و ببینید به چه سایت هایی ارجاع می دهند. این کار مفید است، ولی اندازه گیری نیست؛ جواب هر بار عوض می شود، به تاریخچه حساب شما وابسته است و نمونه اش یک تاست. به عنوان مشاهده کیفی نگهش دارید و هیچ وقت روی نموداری که از آن ساخته اید تصمیم نگیرید.

پس امروز چه کاری واقعا ارزش انجام دادن دارد؟

به همان ترتیبی که ارزش دارند، و نه به ترتیبی که در بسته های GEO فروخته می شوند.

اول اینکه صفحه هایتان اصلا قابل خزش و ایندکس باشند. صفحه ای که در ایندکس نیست، در هیچ پاسخ هوش مصنوعی هم نیست. اگر این قسمت لنگ می زند، سراغ سئو تکنیکال بروید و بقیه این درس را فعلا بگذارید کنار.

دوم، و شایع ترین خرابی خاموشی که در عمل دیده ایم: مطمئن شوید فایروال یا CDN جلوی این ربات ها را نمی گیرد. خیلی از سرویس های امنیتی به صورت پیش فرض روی ربات های ناشناس سخت می گیرند و نتیجه اش این است که سایتی که robots.txt کاملا بازی دارد، در عمل به OAI-SearchBot جواب ۴۰۳ می دهد. کسی به شما خبر نمی دهد؛ فقط هیچ وقت نقل نمی شوید.

سوم، توکن ها را عمدی تنظیم کنید، نه اتفاقی. جدول بخش دوم را نگاه کنید و تصمیم بگیرید کدام را می خواهید و کدام را نه. اگر تصمیم نگیرید، پیش فرض سرور و افزونه امنیتی تان تصمیم می گیرد.

چهارم، جواب را در دو جمله اول بدهید و یک اصطلاح را ثابت نگه دارید. این استنباط است و نه قانون، ولی برای خواننده هم درست است، پس ضرری ندارد.

و کاری که ارزش انجام دادن ندارد: خرید بسته ای به اسم GEO که وعده جایگاه در پاسخ های هوش مصنوعی می دهد. هیچ کس بیرون از این شرکت ها به سیستمشان دسترسی ندارد و هیچ کس نمی تواند جایگاهی را که خودش نمی بیند تضمین کند. اگر می خواهید همین چهار کار بالا را روی یک سایت واقعی انجام دهیم، بخش سئو سایت ما همین است؛ ولی اگر تیم فنی دارید، هر چهار تا را خودتان می توانید انجام بدهید و ما همین را ترجیح می دهیم.

یک پیش بینی هم بکنیم که ممکن است غلط از آب در بیاید و ترجیح می دهیم بعدا یادتان بماند که گفتیم: تا وقتی هیچ کدام از این شرکت ها گزارشی از نقل قول ها منتشر نکنند، هر چیزی که به اسم اندازه گیری GEO فروخته می شود بازسازی حدس با ظاهر نمودار است. اگر روزی چنین گزارشی منتشر شد، آن روز این درس را بازنویسی می کنیم و تاریخ بررسی بالای صفحه عوض می شود.