Blocked Resources در وبمستر گوگل

نویسنده:
مدت زمان مطالعه: با موضوع: اشتراک گذاری:

استفاده از Blocked Resources در وبمستر گوگل که به تازگی با نام Search Console شناخته میشود، برای اینکه گوگل بات بتواند صفحات را به درستی رندر کند، باید بتواند به همه منابع صفحه مانند جاوااسکریپت، CSS و عکسها دسترسی داشته باشد. در صورتیکه صفحه یا صفحات و یا منابع آنها بر روی گوگل بات بلاک شده باشند، لیست آنها به همراه صفحاتی که تحت تاثیر آن قرار گرفته اند در گزارش Blocked Resources نمایش داده می شود.سرچ کنسول ابزاری قدرتمند و کاربردی برای مدیران وبسایت ها می باشد. این ابزار همواره در حال ارتقای امکانات و گزارشات خود می باشد. به تازگی بخش جدیدی به نام Blocked Resources بعنوان زیرمجموعه ای از بخش Google Index اضافه شده است که در این مقاله قصد داریم به معرفی و آموزش آن بپردازیم.

دلایل رایج بلاک بودن منابع صفحه بر روی ربات گوگل

یکی از دلایل رایج بلاک بودن منابع برای موتورهای جستجو، استفاده غیر صحیح از robots.txt است.
به عنوان نمونه ممکن است مسیری توسط robots.txt بلاک شده باشد ولی فایل CSS و یا js که برای رندر صفحه مورد نیاز است در آن مسیر قرار گرفته باشد. بنابراین کاربران می توانند به درستی صفحه را مشاهده کنند ولی موتور جستجو به دلیل تبعیت از robots.txt نمی تواند به درستی صفحه را رندر کند. برای تست فایل robots.txt می توانید از ابزار robots.txt Tester سرچ کنسول استفاده کنید.

چه منابعی از سایت توسط robots.txt مسدود شده است؟

روبات های گوگل سایت شما را همانند یک کاربر عادی میبینند، به همین دلیل باید تمام فایل های جانبی مانند تصاویر، CSS و جاوا اسکریپت شما دسترسی داشته باشد. تصور کنید که یک کاربر سایت شما را بدون کدهای CSS ببیند! در گذشته روبات های گوگل تنها قادر به درک محتویات متنی و تصاویر موجود در صفحات بود، به همین دلیل فایل های جانبی مانند CSS و JS را با استفاده از Robots.txt از دسترس آنها خارج میکردیم تا هم زمان آنها برای فایل های نامرتبط هدر نشود و هم منابع سرور بی دلیل استفاده نگردد.

اگر فایل robots.txt جلوی دیده شدن این منابع توسط گوگل را بگیرد، می تواند روی ارزش گذاری و تحلیل صفحات توسط گوگل تاثیر بگذارد، که بر رتبه بندی صفحات در نتایج جستجوی گوگل نیز تاثیرگذار خواهد بود.

دلیل مسدودیت robots.txt

دلیل دیگری که در برخی از سایت ها مشاهده می شود، استفاده از iframe یک سایت دیگر مانند سایت آپارات جهت نمایش یک ویدیو در صفحه است. بیشتر سایتهای اشتراک گذاری ویدیو این اجازه را به کاربران می دهند که بتوانند ویدیوهای مورد نظرشان را از طریق iframe در صفحات سایتشان نمایش دهند. ولی معمولا این گونه سایتهای اشتراک گذاری ویدیو با استفاده از تکنیک های مختلف، دسترسی ربات های موتور جستجو را به iframe خودشان که در سایت های دیگر وجود دارد، مسدود می کنند که منجر به نمایش ارور مسدود بودن منابع در گزارش Blocked Resources می شود.

بنابراین اگر فضای کافی برای هاست ویدیو روی سرور سایت خودتان دارید، می توانید ویدیوهایتان را بر روی سرور خودتان هاست کنید ولی اگر ویدیوهای متعددی دارید و بنابر هر دلیلی قصد هاست کردن ویدیوها روی سرور خودتان را ندارید می توانید با علم به اینکه ویدیوهای موجود در سایتتان توسط ربات گوگل خوانده نمی شود، از سایت های اشتراک گذاری ویدیو بهره ببرید.

با توجه به این توضیحات، جهت سئوی حرفه ای سایت باید از در دسترس بودن همه منابع صفحات سایت بر روی گوگل اطمینان حاصل نمود. توصیه می کنیم با استفاده از ابزار Fetch as Google صفحات سایت را از نظر عدم بلاک بودن منابع آنها برای کراولر گوگل بررسی کنید. در بخش آموزش گوگل سرچ کنسول در مورد دیگر گزارشات و ابزارهای سرچ کنسول برای وبمستران و سئوکاران توضیح داده شده است.

الگوریتم Mobilegedon

امروزه و با معرفی الگوریتم های جدید مانند Mobilegedon، قدرت تحلیل و درک روبات ها بسیار بهبود یافته و برای شناسایی صحیح محتوای شما به فایل های CSS و JS نیز نیاز خواهند داشت.

بعنوان مثال تعیین Mobile Friendly بودن سایت بدون دسترسی به این فایل ها کمی دشوار خواهد بود. در نتیجه گوگل بخش جدیدی را به نام Blocked Resources به معنی “منابع مسدود شده” در پنل وبمستر شما اضافه کرده است تا گزارشی دقیق از آنها داشته باشید.

اطلاعات ارائه شده در Blocked Resources به شما کمک میکند تا منابع مسدود شده برای گوگل و صفحاتی که این منابع در آنها بکار رفته اند را به سرعت پیدا کنید.

در مرحله اول لیستی از دامنه ها به شما نمایش داده میشود. بر روی هریک از این دامنه ها منابعی وجود دارد که دسترسی گوگل به آنها محدود شده است. بعنوان مثال اگر شما یک تصویر را از سایت وب پیشتاز در صفحه خود نمایش داده باشید و وب پیشتاز دسترسی گوگل به آدرس آن تصویر را مسدود کرده باشد، دامنه websima.com را نیز در این لیست مشاهده خواهید کرد.

البته عموما اطلاعات از روی هاست خودتان دریافت میشوند و ممکن است (همانند تصویر زیر) در این بخش تنها نام سایت خودتان موجود باشد. همانطور که در تصویر مشخص است تنها از یک دامنه مشکل دسترسی به منابع وجود دارد که 35 صفحه از سایت را تحت تاثیر قرار داده است.

لیست دامنه در Blocked Resources

با کلیک بر روی هریک از دامنه ها به مرحله بعدی منتقل میشوید.
در مرحله دوم لیستی از منابع مسدود شده بر روی این دامنه به شما نمایش داده میشود که در مقابل هر کدام از آنها مشخص شده چه تعداد از صفحات سایت از این منابع بهره میبرند.

با کلیک بر روی هر یک از این فایل ها لیستی از آدرس صفحات به شما نمایش داده میشود که این فایل در آنها به کار رفته بوده است. همچنین آخرین تاریخ بررسی صفحه توسط گوگل برای شما نمایش داده میشد. با کلیک بر روی هریک از این آدرسها پنجره ای بصورت پاپ آپ برای شما باز میشود.

در این پنجره می توانید دستورالعمل و ابزارهای لازم برای قابل مشاهده شدن آن منابع توسط گوگل را مشاهده کنید.

آموزش Blocked resources

گزینه یک همان ابزار Fetch as google است. با کلیک بر روی این دکمه صفحه مورد نظر توسط گوگل بازبینی میشود و در دو پنجره مجزا آنچه روبات گوگل مشاهده میکند و آنچه کاربر عادی میبیند را به شما نمایش میدهد (گزینه render حتما فعال باشد) با مقایسه این دو تصویر درک میکنید که دقیقا عدم دسترسی به این فایل چه تاثیری بر تحلیل روبات های گوگل خواهد داشت.

دقت کنید که در گزینه دوم به شما پیشنهاد میدهد که هویت خود را بعنوان مالک آن دامنه یا هاست تایید نمایید. با این کار شما قادر خواهید بود تا با استفاده از robots.txt tester از دسترسی صحیح گوگل به آن فایل مطمئن شوید. پیشنهاد میکنیم مقاله ثبت سایت در گوگل وبمستر را نیز مطالعه نمایید.
گزینه سوم شما را مستقیما به صفحه robots.txt tester انتقال میدهد. در این صفحه علاوه بر مشاهده محتویات فایل robots.txt این قابلیت وجود دارد که با وارد کردن آدرس یک فایل یا صفحه روی دامنه از دسترسی روبات گوگل به آن مطمئن شد.
در نهایت شما باید با ایجاد تغییرات لازم در فایل Robots.txt دسترسی گوگل به منابع مورد نیاز را فراهم سازید و با استفاده از ابزارهای معرفی شده در بالا از این دسترسی مطمئن شوید.