از ۱۵ سپتامبر ۲۰۲۶، کلادفلر پیش فرض ترافیک هوش مصنوعی را برای دامنه های تازه اضافه شده عوض می کند: ربات های آموزش مدل و ربات های عامل روی صفحه هایی که تبلیغ نمایش می دهند به صورت پیش فرض بسته می شوند و ربات جستجو باز می ماند. اعلام رسمی در وبلاگ کلادفلر تاریخ اول ژوئیه ۲۰۲۶ را دارد.
خطری که در این خبر هست جای دیگری است. در همان اعلام نوشته شده خزنده های چندمنظوره، آنهایی که هم جستجو می کنند و هم برای آموزش مدل داده جمع می کنند، برای مشتریانی که گزینه «آموزش» را بسته اند بسته می شوند. سه نام صریح آمده: گوگل بات، اپل بات و بینگ بات.
یعنی تیک زدن یک گزینه می تواند شما را از گوگل حذف کند
اگر سایت شما پشت کلادفلر است و کسی برای جلوگیری از استفاده محتوا در آموزش هوش مصنوعی آن گزینه را فعال کرده باشد، طبق متن خود کلادفلر گوگل بات هم در همان دسته بندی می افتد. نتیجه اش دیگر بحث هوش مصنوعی نیست؛ نتیجه اش این است که صفحه های شما دیگر خزیده نمی شوند.
این را همین امروز چک کنید، نه در سپتامبر. مسیرش در پنل کلادفلر بخش تنظیمات امنیتی همان دامنه است، و همان جا هم می شود از پیش فرض جدید انصراف داد. کلادفلر نوشته که تا قبل از ۱۵ سپتامبر این انتخاب در دسترس است.
چند تا از سایت های ایرانی اصلا پشت کلادفلر هستند
این خبر در رسانه های سئوی انگلیسی زبان بزرگ شد و برای بازار ایران، اندازه اش خیلی کوچک تر است. ما در ۲۵ مرداد ۱۴۰۵ سربرگ های پاسخ ۱۱۱ صفحه ایرانی را که در نتایج گوگل بالا آمده بودند خواندیم. فقط ۶ تا پشت کلادفلر بودند.
پرتکرارترین سرور در همان نمونه ابر آروان بود با ۱۷ سایت، بعد nginx با ۱۴، لایت اسپید با ۱۳، BitNinja با ۹، کلادفلر با ۶ و IIS با ۵. سی و سه پاسخ هم اصلا سربرگ سرور نداشتند. از آن ۱۱۱ صفحه، ۷۵ تا وردپرس بودند و فقط ۵ تا هم وردپرس بودند و هم پشت کلادفلر.
پس اگر کسی به شما گفت این تغییر سایت شما را تهدید می کند، اول ببینید اصلا سایتتان پشت کلادفلر هست یا نه. یک دستور ساده جوابش را می دهد:
- در ترمینال بنویسید
curl -sI https://example.com/و به دنبال دو سربرگ بگردید - اگر
server: cloudflareوcf-rayدیدید، پشت کلادفلر هستید - اگر ندیدید، این خبر مستقیم به شما ربطی ندارد
سایت خود ما پشت کلادفلر است
و برای همین این را با علاقه خواندیم. تصمیمی که گرفتیم ساده بود: دسته جستجو باز می ماند، و هیچ گزینه ای که گوگل بات را در خودش جا بدهد فعال نمی شود. اجازه ندادن به استفاده در آموزش مدل، هدف قابل دفاعی است؛ اما نه به قیمت خزیده نشدن.
این تصمیم برای همه یکسان نیست. اگر محتوای شما محصول است، مثلا آرشیو عکس یا متن اختصاصی که فروشش درآمد شماست، شاید بستن آموزش با وجود همین هزینه ارزش داشته باشد. اگر سایت شما برای جذب مشتری کار می کند، ندارد.
عدد دیگری از همان منبع که ارزش دانستن دارد
کلادفلر در نوشته ای جداگانه با تاریخ ۶ آگوست ۲۰۲۶ نوشته که کمتر از نیمی از درخواست های صفحه HTML از سوی یک انسان می آید. این جمله را باید با احتیاط خواند، چون دید کلادفلر از ترافیک وب است و نه نمونه ای آماری از کل اینترنت. اما جهتش با چیزی که در لاگ سرورها می بینیم می خواند.
نتیجه عملی اش برای رتبه گرفتن در گوگل این است که تفکیک ربات ها از هم دیگر یک تنظیم فرعی نیست. سه دسته جستجو، عامل و آموزش رفتار متفاوتی دارند و یکی از آنها همان چیزی است که رتبه شما به آن وابسته است.
چه کاری امروز ارزش دارد
سربرگ ها را چک کنید تا بدانید پشت چه چیزی هستید. اگر کلادفلر است، وارد تنظیمات همان دامنه شوید و ببینید کدام دسته ها بسته اند. اگر جایی «آموزش» بسته است، بدانید که از سپتامبر رفتارش نسبت به خزنده های چندمنظوره عوض می شود و تصمیم بگیرید که این را می خواهید یا نه.
و چیزی که ارزش ندارد: عوض کردن سرویس فقط به خاطر این خبر. تغییر لایه جلوی سایت، ریسک قطعی و کار پیکربندی دارد و برای موضوعی که با یک تیک حل می شود، معامله بدی است. اگر دنبال دلیل واقعی برای بازبینی این لایه هستید، سرعت و کش دلیل بهتری است.
پرسش های رایج
این تغییر شامل سایت های فعلی هم می شود؟
متن اعلام درباره دامنه های تازه اضافه شده به کلادفلر است. برای دامنه های موجود، تنظیم فعلی شما همان می ماند؛ به همین دلیل چک کردن مهم است، چون ممکن است ماه ها پیش خودتان چیزی را فعال کرده باشید.
بستن ربات آموزش به سئو ضرر می زند؟
خود بستن آموزش سیگنال رتبه نیست. ضرر از آنجا می آید که گوگل بات در دسته بندی چندمنظوره قرار می گیرد و با همان تنظیم بسته می شود. یعنی مشکل، تنظیم است نه سیاست.
اگر پشت کلادفلر نیستم چه؟
این خبر برای شما اقدام ندارد. اما همان سه دسته بندی در سرویس های دیگر هم کم کم ظاهر می شود، پس پرسیدنش از سرویس فعلی تان کار بی ربطی نیست.
چطور بفهمم گوگل هنوز سایتم را می خزد؟
گزارش خزش در سرچ کنسول و بررسی آخرین تاریخ خزش صفحه ها. افت ناگهانی خزش، اولین چیزی است که بعد از یک تنظیم اشتباه در لایه جلویی دیده می شود، و راهنمای سئو سایت نشان می دهد این عدد کجای کار می نشیند.
اگر سایت شما پشت هیچ لایه ای نیست و همین حالا هم امنیت و سرعتش دست خودتان است، این خبر بیشتر یادآوری است تا هشدار: تصمیم درباره اینکه چه رباتی به سایت شما دسترسی دارد، بخشی از محافظت از سایت است و باید ثبت شده و قابل بازبینی باشد، نه یک تیک فراموش شده. همین موضوع یکی از چیزهایی است که موقع ساخت سایت باید از روز اول تعیین تکلیف شود.
روش: متن اعلام کلادفلر در ۲۵ مرداد ۱۴۰۵ خوانده شد و نقل قول ها از همان صفحه است. شمارش سرورها از سربرگ های پاسخ ۱۱۱ صفحه ایرانی می آید که در همان روز از سروری در هلسینکی خوانده شدند؛ سایتی که سربرگ server را حذف کرده باشد در این شمارش دیده نمی شود، پس عددها کف اند نه سقف.
اعلام تغییر پیش فرض ها در نوشته اول ژوئیه وبلاگ کلادفلر و آمار سهم درخواست های غیرانسانی در نوشته ۶ آگوست همان وبلاگ آمده است.
دیدگاه ها و پرسش ها
سوالی درباره این مطلب دارید؟ بپرسید؛ پاسخ می دهیم.
هنوز دیدگاهی ثبت نشده؛ اولین نفر باشید.