رد کردن پیوندها

حذف URL ها از گوگل برای بهبود سئو (Removing URLs from Google )

بیشتر سئوکاران تلاش می کنند رتبه های برتر را کسب کنند، اما گاهی نیاز است عکس این عمل انجام شود: حذف URLها از گوگل. شاید محیط آزمایشی شما ایندکس شده باشد، یا مطالب حساس که نباید در گوگل نمایان می شدند، ایندکس شده اند، یا سایت های اسپم به دلیل هک شدن سایت شما در گوگل ظاهر شده اند. در هر صورت، شما می خواهید که این URLها را هرچه سریع تر حذف کنید. در این آموزش به شما خواهیم گفت که چگونه این کار را انجام دهید.

دلایل حذف URL

در ادامه رایج ترین مواردی که نیاز به حذف فوری URLها از گوگل دارید را بررسی می کنیم:

  • محتوای تکراری یا قدیمی دارید.
  • محیط آزمایشی شما ایندکس شده است.
  • سایت شما هک شده و صفحات اسپم دارد.
  • محتوای حساس به طور تصادفی ایندکس شده است.

نحوه ترتیب بندی حذف ها

اگر می خواهید تعداد زیادی صفحه از فهرست گوگل حذف شود، آن ها را به طور اولویت بندی شده مرتب کنید:

اولویت بالا

این سایت ها اغلب به امنیت مربوط می شوند یا حاوی اطلاعات محرمانه هستند. این شامل محتوای حاوی اطلاعات شخصی قابل شناسایی (PII)، داده های مشتری یا دانش اختصاصی می شود.

اولویت متوسط

این معمولاً به محتوایی مربوط می شود که برای یک گروه خاص از کاربران در نظر گرفته شده است. اینترانت های شرکتی، پورتال های شرکتی، محتوای فقط برای اعضا و محیط های ارزیابی یا توسعه نمونه هایی از محتوای محدود هستند.

اولویت پایین

این سایت ها معمولاً شامل محتوای تکراری هستند. صفحاتی که از URLهای مختلف ارائه می شوند، URLهای دارای پارامتر و مجدداً محیط های آزمایشی یا تست، نمونه هایی از این دسته هستند.

روش های حذف URLها از گوگل

حذف محتوا

اگر محتوای قدیمی در سایت دارید که دیگر مفید نیست، می توانید آن را حذف کنید. بسته به URLها، دو راه حل وجود دارد:

  • 301 ریدایرکت ها را به URLهای اصلی در سایت خود اعمال کنید اگر URLها ترافیک و لینک دارند. از ریدایرکت به URLهای نامرتبط خودداری کنید، زیرا گوگل ممکن است آن ها را به عنوان خطاهای soft-404 در نظر بگیرد و هیچ ارزشی به مقصد ریدایرکت ندهد.
  • اگر URLها هیچ ترافیک یا لینکی ندارند، مقدار وضعیت HTTP 410 را برگردانید تا به گوگل اطلاع دهید که URLها به طور دائم حذف شده اند. وقتی از کد وضعیت 410 استفاده می کنید، گوگل URLها را سریع تر از فهرست حذف می کند.

استفاده از Google Search Console

  1. به پروفایل Google Search Console دسترسی پیدا کرده و مالکیت مناسب را انتخاب کنید.
  2. در منوی ستون سمت راست، گزینه Removals را انتخاب کنید.
  3. روی دکمه NEW REQUEST کلیک کنید تا به زبانه TEMPORARILY REMOVE URL بروید.
  4. گزینه “Remove this URL Only” را انتخاب کنید، URL مورد نظر را وارد کنید و سپس روی دکمه Next کلیک کنید. اکنون گوگل این URL را به مدت ۱۸۰ روز پنهان می کند، اما به خاطر داشته باشید که URLها هنوز در فهرست گوگل هستند، به این معنی که باید گام های اضافی را برای پنهان کردن آن ها بردارید.

هرچقدر که نیاز دارید این فرآیند را تکرار کنید. اگر مطالب محرمانه در یک دایرکتوری خاص هستند، توصیه می کنیم از گزینه Remove all URLs with this prefix استفاده کنید تا همه URLهای موجود در آن دایرکتوری را به صورت یکجا مخفی کنید. اگر تعداد زیادی URL دارید که پیشوند یکسانی ندارند، پنهان کردن آن هایی که بیشترین تکرار را در گوگل دارند توصیه می شود.

برای محتوای کش شده

  1. به حساب Google Search Console خود دسترسی پیدا کنید.
  2. مالکیت مناسب را انتخاب کنید.
  3. در منوی ستون سمت چپ، گزینه Removals را انتخاب کنید.
  4. گزینه NEW REQUEST را انتخاب کنید.
  5. زبانه CLEAR CACHED URL را انتخاب کنید.
  6. انتخاب کنید که آیا گوگل فقط کش یک URL خاص یا تمام URLهایی که با یک پیشوند خاص شروع می شوند را پاک کند.
  7. URL را وارد کرده و روی Next کلیک کنید.

به خاطر داشته باشید که با استفاده از تگ meta noarchive می توانید به گوگل اطلاع دهید که نسخه های کش شده صفحات شما را ذخیره نکند.

htmlCopy code<meta name="robots" content="noarchive" />

استفاده از تگ Meta Noindex

تگ متا noindex یکی از رایج ترین روش ها برای حذف URLها از صفحات نتایج یا جلوگیری از ایندکس شدن آن ها است.

این یک قطعه کد در عنصر head در HTML سایت شما است که به گوگل دستور می دهد سایت را در نتایج جستجو نشان ندهد.

htmlCopy code<meta name="robots" content="noindex" />

ممکن است به جای “noindex”، “noindex follow” نیز نوشته شود که هر دو اثر یکسانی دارند.

اگر به کد HTML یک وب سایت دسترسی دارید، می توانید این کد را به صورت دستی به وب سایت خود اضافه کنید یا از هدر HTTP با تگ X-Robots استفاده کنید. موتور جستجو باید مجاز به خزیدن در صفحات با چنین تگ هایی باشد تا آن ها قابل مشاهده باشند. بنابراین مطمئن شوید که در فایل robots.txt مسدود نشده اند.

استفاده از Canonicalization

وقتی نسخه های متعددی از یک صفحه دارید و می خواهید سیگنال هایی مانند لینک ها را به یک نسخه خاص منتقل کنید، باید این موضوع را مرتب کنید. این معمولاً محتوای مشابه را هنگام ترکیب انواع مختلف سایت ها به یک URL پوشش می دهد.

تگ های Canonical

این مورد آدرس دیگری را به عنوان کپی اصلی یا همان نسخه ای که می خواهید مشاهده کنید، ارائه می دهد. این مورد در صورتی که صفحات تکراری یا نسبتاً مشابه باشند، باید قابل قبول باشد. زمانی که صفحات بسیار متفاوت هستند، canonical می تواند نادیده گرفته شود زیرا فقط یک پیشنهاد است و الزام نیست.

ریدایرکت ها

محبوب ترین ریدایرکتی که توسط سئوکاران استفاده می شود، 301 است که به موتورهایی مانند گوگل اطلاع می دهد که URL نهایی باید به عنوان همان موردی که در صفحه نتایج نمایش داده می شود، عمل کند. ریدایرکت 302 یا موقت به موتورهای جستجو نشان می دهد که قصد دارید URL اصلی در فهرست باقی بماند و سیگنال ها در آن متمرکز شوند.

ریدایرکت های 301

چگونه از شر URLهایی که در سایت شما نیستند خلاص شویم؟

تماس با مدیر وب سایت

با مدیران وب سایت تماس بگیرید و از آن ها بخواهید که یک ارجاع بین دامنه ای به سایت شما با یک لینک یا ریدایرکت 301 به URL شما ارائه دهند یا آن را به طور کامل حذف کنند.

اگر صاحبان وب سایت پاسخ ندادند یا از اقدام خودداری کردند چه کنیم؟

اگر مدیر سایت به درخواست های شما برای حذف محتوا پاسخ نداد، ممکن است راه های جایگزین را دنبال کنید. اگر حق قانونی برای حذف محتوا مانند یک ادعای حق نسخه برداری دارید، می توانید به میزبان وب سایت مراجعه کنید. آن ها اغلب اطلاعاتی که نقض حق نسخه برداری را داشته باشد حذف می کنند. سپس می توانید از عملکرد “حذف محتوای قدیمی” گوگل برای خارج کردن آن از فهرست و کش استفاده کنید.

حذف تصاویر

ساده ترین روش برای حذف تصاویر از گوگل استفاده از robots.txt است. در حالی که پشتیبانی غیرمجاز برای حذف سایت ها از robots.txt حذف شده است، غیرفعال کردن خزیدن تصویر روش صحیح حذف تصاویر است.

برای یک تصویر

txtCopy codeUser-agent: Googlebot-Image
Disallow: /images/dogs.jpg

برای تمام تصاویر

txtCopy codeUser-agent: Googlebot-Image
Disallow: /

اشتباهات رایج در حذف URLها

در اینجا برخی از اشتباهات رایج در حذف URLها آورده شده است. به موارد زیر توجه کنید:

جلوگیری از خزیدن در فایل Robots.txt

به جای جلوگیری از اسکن صفحه با یک فایل txt، بهتر است آن را با استفاده از noindex حذف کنید.

استفاده از تگ Nofollow

نتیجه گیری

در چندین مورد مختلف ممکن است بخواهید URLها را به سرعت از گوگل حذف کنید. هر مورد نیاز به یک استراتژی منحصر به فرد دارد؛ بنابراین هیچ راه حل “یک اندازه برای همه” وجود ندارد. حذف URL ها از گوگل برای بهبود سئو (Removing URLs from Google ) یکی از موارد انجام شده در نظارت بر سئو سایت است که زیرمجموعه فعالیت های بهبود سئو در سفارش سئو سایت و سفارش طراحی سایت می شود. و اگر توجه کرده باشید، خواهید دید که بیشتر مواردی که باید URLها را حذف کنید، قابل پیشگیری هستند.