موتور جستجو چگونه کار می کند

گوگل از کجا می فهمد صفحه شما وجود دارد؟

خزنده گوگل وب را از روی لینک ها می پیماید: از صفحه ای که می شناسد به صفحه ای که نمی شناسد. سایت مپ همان فهرست رسمی است که خودتان به او می دهید و لینک داخلی همان راهی است که از یک صفحه شناخته شده به صفحه تازه می رسد. صفحه ای که نه لینکی به آن اشاره می کند و نه در هیچ سایت مپی هست، از نگاه خزنده اصلا وجود ندارد.

فایل robots.txt همین جا وارد می شود و رایج ترین اشتباه سئو هم دقیقا همین جاست: robots.txt درباره خزش حرف می زند، نه درباره ایندکس. اگر مسیری را در آن ببندید، گوگل محتوای صفحه را نمی خواند؛ ولی اگر جای دیگری لینکی به همان آدرس باشد، ممکن است خود آدرس بدون توضیح در نتایج ظاهر شود. برای بیرون نگه داشتن یک صفحه از نتایج، تگ noindex لازم است و آن تگ فقط وقتی خوانده می شود که خزش همان صفحه آزاد باشد.

یک نکته که کمتر گفته می شود: گوگل فقط یک خزنده ندارد. مستندات خودش فهرست بلندی از خزنده ها و واکشی کننده های جداگانه دارد که هر کدام کار متفاوتی می کنند، از خزنده اصلی جستجو تا واکشی هایی که در لحظه و به درخواست کاربر اجرا می شوند.

چرا گوگل باید صفحه را مثل مرورگر اجرا کند؟

خزیدن یعنی گرفتن فایل. فهمیدن صفحه کار بعدی است و گوگل برای آن صفحه را رندر می کند: تقریبا همان کاری که مرورگر شما انجام می دهد، تا محتوایی که با جاوااسکریپت ساخته می شود هم دیده شود.

نکته عملی این است که رندر منابع لازم دارد و همیشه بلافاصله بعد از خزش اتفاق نمی افتد. سایتی که متن اصلی صفحه هایش فقط بعد از اجرای جاوااسکریپت ظاهر می شود، بیشتر در معرض دیر فهمیده شدن است تا سایتی که همان متن را در HTML اولیه می فرستد. این دلیل فنی همان توصیه ساده ای است که همه شنیده اند: متن مهم را داخل خود صفحه بگذارید.

یک آزمایش ساده و رایگان: سورس اولیه صفحه را نگاه کنید، نه چیزی که در مرورگر می بینید. هر چه آنجا نیست، برای گوگل یک مرحله دیرتر و شکننده تر است.

بعد از خوانده شدن، صفحه کجا بایگانی می شود؟

نسخه فهمیده شده صفحه وارد فهرست می شود؛ بایگانی بزرگی که برای هر عبارت می داند کدام صفحه ها درباره اش حرف زده اند. ایندکس شدن به معنی رتبه گرفتن نیست، فقط یعنی صفحه واجد شرایط نمایش شده است.

اینجا گوگل یک تصمیم دیگر هم می گیرد که خیلی ها از آن خبر ندارند: از میان صفحه های شبیه به هم، یکی را نسخه اصلی انتخاب می کند. تگ canonical شما در این تصمیم یک راهنماست، نه یک دستور، و مستندات خود گوگل صریح می گوید ممکن است نسخه دیگری را اصلی بداند. برای همین در سرچ کنسول وضعیت هایی مثل Alternate page with proper canonical tag را می بینید: صفحه نه خطا دارد و نه ایندکس شده است.

تگ noindex هم در همین مرحله معنی پیدا می کند. بعد از خوانده شدن اثر می کند، نه قبلش، و همین یک جمله فرق بین بستن یک مسیر و پنهان کردن یک صفحه را روشن می کند.

موقع جستجو واقعا چه اتفاقی می افتد؟

وقتی کسی جستجو می کند، گوگل صفحه های مرتبط را از فهرستش برمی دارد و مرتبشان می کند. چارچوبش را خود گوگل در مستندات How Search works گفته است: ربط محتوا به همان جستجو، کیفیت و اعتبار، تجربه استفاده، و بافت جستجوگر یعنی زبان و مکان و دستگاه. جزئیات سیستم ها محرمانه است و هیچ کس بیرون گوگل وزن دقیق این عامل ها را نمی داند؛ هر کس بگوید می داند، دارد حدس می زند.

یک واقعیت که تازه کارها را گیج می کند: رتبه یک عدد ثابت نیست. همان صفحه برای دو نفر در دو شهر یا روی دو دستگاه می تواند دو جای متفاوت بایستد، چون بافت جستجو بخشی از محاسبه است. به همین دلیل «رتبه من چند است» بدون گفتن کجا و با چه دستگاهی، سوال کاملی نیست.

اگر همین تصویر را از زاویه کسب و کار می خواهید، مقاله سئو سایت چیست در وبلاگ همین سایت همان زنجیره را با مثال های تجاری روایت می کند.

این زنجیر معمولا کجا پاره می شود

در عمل، صفحه ای که دیده نمی شود سر یکی از چهار حلقه گیر کرده است و ترتیب بررسی هم همان ترتیب زنجیر است. اول: اصلا لینکی یا سایت مپی به این صفحه می رسد؟ دوم: robots.txt جلوی خزش را نگرفته است؟ سوم: تگ noindex یا یک canonical اشتباه صفحه را بیرون فهرست نگه نداشته؟ چهارم: صفحه ایندکس شده ولی برای عبارتی که شما هدفش می دانید مرتبط دیده نمی شود؟

حالت چهارم بیشتر از سه تای اول پیش می آید و ناامیدکننده تر هم هست، چون هیچ خطایی در هیچ گزارشی نمی بینید. صفحه سالم است؛ گوگل فقط جواب بهتری برای آن جستجو سراغ دارد. آنجا کار از عیب یابی فنی به فهمیدن هدف جستجو و شکل صفحه نتایج منتقل می شود، و درس بعدی همین مسیر، آشنایی با صفحه نتایج گوگل، برای همین نوشته شده است.