رد کردن پیوندها

حذف URL‌ها از گوگل برای بهبود سئو (Removing URLs from Google )

بیشتر سئوکاران تلاش می‌کنند رتبه‌های برتر را کسب کنند، اما گاهی نیاز است عکس این عمل انجام شود: حذف URLها از گوگل. شاید محیط آزمایشی شما ایندکس شده باشد، یا مطالب حساس که نباید در گوگل نمایان می‌شدند، ایندکس شده‌اند، یا سایت‌های اسپم به دلیل هک شدن سایت شما در گوگل ظاهر شده‌اند. در هر صورت، شما می‌خواهید که این URLها را هرچه سریع‌تر حذف کنید. در این آموزش به شما خواهیم گفت که چگونه این کار را انجام دهید.

دلایل حذف URL

در ادامه رایج‌ترین مواردی که نیاز به حذف فوری URLها از گوگل دارید را بررسی می‌کنیم:

  • محتوای تکراری یا قدیمی دارید.
  • محیط آزمایشی شما ایندکس شده است.
  • سایت شما هک شده و صفحات اسپم دارد.
  • محتوای حساس به‌طور تصادفی ایندکس شده است.

نحوه ترتیب‌بندی حذف‌ها

اگر می‌خواهید تعداد زیادی صفحه از فهرست گوگل حذف شود، آن‌ها را به‌طور اولویت‌بندی شده مرتب کنید:

اولویت بالا

این سایت‌ها اغلب به امنیت مربوط می‌شوند یا حاوی اطلاعات محرمانه هستند. این شامل محتوای حاوی اطلاعات شخصی قابل‌شناسایی (PII)، داده‌های مشتری یا دانش اختصاصی می‌شود.

اولویت متوسط

این معمولاً به محتوایی مربوط می‌شود که برای یک گروه خاص از کاربران در نظر گرفته شده است. اینترانت‌های شرکتی، پورتال‌های شرکتی، محتوای فقط برای اعضا و محیط‌های ارزیابی یا توسعه نمونه‌هایی از محتوای محدود هستند.

اولویت پایین

این سایت‌ها معمولاً شامل محتوای تکراری هستند. صفحاتی که از URLهای مختلف ارائه می‌شوند، URLهای دارای پارامتر و مجدداً محیط‌های آزمایشی یا تست، نمونه‌هایی از این دسته هستند.

روش‌های حذف URLها از گوگل

حذف محتوا

اگر محتوای قدیمی در سایت دارید که دیگر مفید نیست، می‌توانید آن را حذف کنید. بسته به URLها، دو راه حل وجود دارد:

  • 301 ریدایرکت‌ها را به URLهای اصلی در سایت خود اعمال کنید اگر URLها ترافیک و لینک دارند. از ریدایرکت به URLهای نامرتبط خودداری کنید، زیرا گوگل ممکن است آن‌ها را به‌عنوان خطاهای soft-404 در نظر بگیرد و هیچ ارزشی به مقصد ریدایرکت ندهد.
  • اگر URLها هیچ ترافیک یا لینکی ندارند، مقدار وضعیت HTTP 410 را برگردانید تا به گوگل اطلاع دهید که URLها به‌طور دائم حذف شده‌اند. وقتی از کد وضعیت 410 استفاده می‌کنید، گوگل URLها را سریع‌تر از فهرست حذف می‌کند.

استفاده از Google Search Console

  1. به پروفایل Google Search Console دسترسی پیدا کرده و مالکیت مناسب را انتخاب کنید.
  2. در منوی ستون سمت راست، گزینه Removals را انتخاب کنید.
  3. روی دکمه NEW REQUEST کلیک کنید تا به زبانه TEMPORARILY REMOVE URL بروید.
  4. گزینه “Remove this URL Only” را انتخاب کنید، URL مورد نظر را وارد کنید و سپس روی دکمه Next کلیک کنید. اکنون گوگل این URL را به مدت ۱۸۰ روز پنهان می‌کند، اما به خاطر داشته باشید که URLها هنوز در فهرست گوگل هستند، به این معنی که باید گام‌های اضافی را برای پنهان کردن آن‌ها بردارید.

هرچقدر که نیاز دارید این فرآیند را تکرار کنید. اگر مطالب محرمانه در یک دایرکتوری خاص هستند، توصیه می‌کنیم از گزینه Remove all URLs with this prefix استفاده کنید تا همه URLهای موجود در آن دایرکتوری را به‌صورت یکجا مخفی کنید. اگر تعداد زیادی URL دارید که پیشوند یکسانی ندارند، پنهان کردن آن‌هایی که بیشترین تکرار را در گوگل دارند توصیه می‌شود.

برای محتوای کش‌شده

  1. به حساب Google Search Console خود دسترسی پیدا کنید.
  2. مالکیت مناسب را انتخاب کنید.
  3. در منوی ستون سمت چپ، گزینه Removals را انتخاب کنید.
  4. گزینه NEW REQUEST را انتخاب کنید.
  5. زبانه CLEAR CACHED URL را انتخاب کنید.
  6. انتخاب کنید که آیا گوگل فقط کش یک URL خاص یا تمام URLهایی که با یک پیشوند خاص شروع می‌شوند را پاک کند.
  7. URL را وارد کرده و روی Next کلیک کنید.

به خاطر داشته باشید که با استفاده از تگ meta noarchive می‌توانید به گوگل اطلاع دهید که نسخه‌های کش‌شده صفحات شما را ذخیره نکند.

htmlCopy code<meta name="robots" content="noarchive" />

استفاده از تگ Meta Noindex

تگ متا noindex یکی از رایج‌ترین روش‌ها برای حذف URLها از صفحات نتایج یا جلوگیری از ایندکس شدن آن‌ها است.

این یک قطعه کد در عنصر head در HTML سایت شما است که به گوگل دستور می‌دهد سایت را در نتایج جستجو نشان ندهد.

htmlCopy code<meta name="robots" content="noindex" />

ممکن است به جای “noindex”، “noindex follow” نیز نوشته شود که هر دو اثر یکسانی دارند.

اگر به کد HTML یک وب‌سایت دسترسی دارید، می‌توانید این کد را به‌صورت دستی به وب‌سایت خود اضافه کنید یا از هدر HTTP با تگ X-Robots استفاده کنید. موتور جستجو باید مجاز به خزیدن در صفحات با چنین تگ‌هایی باشد تا آن‌ها قابل مشاهده باشند. بنابراین مطمئن شوید که در فایل robots.txt مسدود نشده‌اند.

استفاده از Canonicalization

وقتی نسخه‌های متعددی از یک صفحه دارید و می‌خواهید سیگنال‌هایی مانند لینک‌ها را به یک نسخه خاص منتقل کنید، باید این موضوع را مرتب کنید. این معمولاً محتوای مشابه را هنگام ترکیب انواع مختلف سایت‌ها به یک URL پوشش می‌دهد.

تگ‌های Canonical

این مورد آدرس دیگری را به عنوان کپی اصلی یا همان نسخه‌ای که می‌خواهید مشاهده کنید، ارائه می‌دهد. این مورد در صورتی که صفحات تکراری یا نسبتاً مشابه باشند، باید قابل قبول باشد. زمانی که صفحات بسیار متفاوت هستند، canonical می‌تواند نادیده گرفته شود زیرا فقط یک پیشنهاد است و الزام نیست.

ریدایرکت‌ها

محبوب‌ترین ریدایرکتی که توسط سئوکاران استفاده می‌شود، 301 است که به موتورهایی مانند گوگل اطلاع می‌دهد که URL نهایی باید به عنوان همان موردی که در صفحه نتایج نمایش داده می‌شود، عمل کند. ریدایرکت 302 یا موقت به موتورهای جستجو نشان می‌دهد که قصد دارید URL اصلی در فهرست باقی بماند و سیگنال‌ها در آن متمرکز شوند.

ریدایرکت‌های 301

چگونه از شر URLهایی که در سایت شما نیستند خلاص شویم؟

تماس با مدیر وب‌سایت

با مدیران وب‌سایت تماس بگیرید و از آن‌ها بخواهید که یک ارجاع بین دامنه‌ای به سایت شما با یک لینک یا ریدایرکت 301 به URL شما ارائه دهند یا آن را به‌طور کامل حذف کنند.

اگر صاحبان وب‌سایت پاسخ ندادند یا از اقدام خودداری کردند چه کنیم؟

اگر مدیر سایت به درخواست‌های شما برای حذف محتوا پاسخ نداد، ممکن است راه‌های جایگزین را دنبال کنید. اگر حق قانونی برای حذف محتوا مانند یک ادعای حق نسخه‌برداری دارید، می‌توانید به میزبان وب‌سایت مراجعه کنید. آن‌ها اغلب اطلاعاتی که نقض حق نسخه‌برداری را داشته باشد حذف می‌کنند. سپس می‌توانید از عملکرد “حذف محتوای قدیمی” گوگل برای خارج کردن آن از فهرست و کش استفاده کنید.

حذف تصاویر

ساده‌ترین روش برای حذف تصاویر از گوگل استفاده از robots.txt است. در حالی که پشتیبانی غیرمجاز برای حذف سایت‌ها از robots.txt حذف شده است، غیرفعال کردن خزیدن تصویر روش صحیح حذف تصاویر است.

برای یک تصویر

txtCopy codeUser-agent: Googlebot-Image
Disallow: /images/dogs.jpg

برای تمام تصاویر

txtCopy codeUser-agent: Googlebot-Image
Disallow: /

اشتباهات رایج در حذف URLها

در اینجا برخی از اشتباهات رایج در حذف URLها آورده شده است. به موارد زیر توجه کنید:

جلوگیری از خزیدن در فایل Robots.txt

به جای جلوگیری از اسکن صفحه با یک فایل txt، بهتر است آن را با استفاده از noindex حذف کنید.

استفاده از تگ Nofollow

نتیجه‌گیری

در چندین مورد مختلف ممکن است بخواهید URLها را به سرعت از گوگل حذف کنید. هر مورد نیاز به یک استراتژی منحصر به فرد دارد؛ بنابراین هیچ راه حل “یک اندازه برای همه” وجود ندارد. حذف URL‌ها از گوگل برای بهبود سئو (Removing URLs from Google ) یکی از موارد انجام شده در نظارت بر سئو سایت است که زیرمجموعه فعالیت های بهبود سئو در سفارش سئو سایت و سفارش طراحی سایت می شود. و اگر توجه کرده باشید، خواهید دید که بیشتر مواردی که باید URLها را حذف کنید، قابل پیشگیری هستند.