آشنایی با Crawl Errors در وبمستر گوگل

آشنایی با Crawl Errors در وبمستر گوگل

اگر به پیشنهادات وب دنیا گوش کرده باشید تا الان دیگه باید سایتتون رو به گوگل معرفی کرده باشید و یک اکانت گوگل وب مستر برای خود داشته باشید.اگر هم هنوز اقدام به اینکار نکرده اید,حتما همین الان و قبل از اینکه ادامهء این مطلب را بخوانید از طریق این لینک اینکار را انجام دهید.

خب حالا که سایت رو در وبمستر ثبت کردید,میشه خیلی چیزها رو فهمید.مثل همان ضزیب بازگشت که در مطلب مربوط به خودش کامل توضیح دادم.شما به عنوان یک ادمین سایت با بررسی و آنالیز اعداد و ارقام مربوط به گوگل وبمستر خیلی چیزها در مورد سایتتان میتوانید بفهمید.یکی از این موارد  Crawl Errors است که میتواند به شما در بهبود وضعیت سایتتان کمک کند.حالا با هم ببینیم که اصلا  Crawl Errors چیستو چه تعریفی دارد!؟

Crawl Errors چیست؟

Crawl Errors یک گزینه در اکانت وبمستر گوگل سایت شماست که وظیفهءمهمی را بر عهده دارد.کار این بخش این است که جزئیاتی از آدرس های موجود در وب سایت شما (url)را نشان میدهد که گوگل به هر دلیلی نتوانسته به آنها دسترسی پیدا کند یعنی موقعی که ربات های گوگل قصد جستجوی صفحات سایت شما را داشتند,یا یه صفحه دسترسی نداشتند و یا با ارورهایی مثل http(مانند ۴۰۴ و ۵۰۳ یا ۲۰۰)  روبرو شده اند.مشکل اینجاست که صفحاتی از سایت شما به یکدیگر پیوند و یا لینک ندارند مثل مواقعی که ادرسها شکسته  و ناقص مقدار دهی میشوند یا سرور شما مشکلاتی دارد مثل قطعی های پی در پی.در واقع اینجاست که میتوان گفت Crawl Errors رخ داده است.حالا ببینیم که گوگل و رباتهایش چطور به صفحات داخلی سایت شمادسترسی پیدا میکنند؟

نحوهء دسترسی گوگل به صفحات داخلی سایت

همانطور که تا اینجا متوجه شدیم اگر گوگل در دسترسی و یا به اصطلاح خزیدن در صفحت داخلی شما با مشکلی روبرو شود اروری را در بخش  Crawl Errors وبمستر گوگل نشان میدهد.حالا ببینیم که اصلا گوگل از چه روشهایی به صفحات داخلی سایت ما میخزد تا بتوانیم اگر مشکلیدر این زمینه وجو داشته باشد را برطرف کنیم.

گوگل از دو راه به صفحات داخلی سایت شما میخزد:

۱-آدرس دهی های موجود در نقشه سایت

۲-آدرس دهی از صفحات داخلی یا سایت های بیرونی به صفحه شما.

اگر گوگل با هر کدام از روشهای بالا نتواند به صفحات سایت شما دسترسی پیدا کند درحالی که آدرس آن صفحات در نقشهء سایت ثبت شده باشد,اینجاست که یک ارور جدید در بخش Crawl Errors ایجادمیشود.

نکته:اگر از سایت دیگر به یکی از صفحات سایت شما که وجود خارجی ندارد ,لینک شده باشد در  این مورد Crawl Errors رخ نخواهد داد.

Crawl Errors شامل چه قسمت هایی است؟

قبل از اینکه ببینیم Crawl Errors چگونه از سایت شماارور میگیره ببینیم که برای دسترسی به این گزینه باید چطور اقدام کنیم؟!ابتدا وارد اکانت وبمستر سایت خود شود و از منوی سمت چپ گزینه Crawl و پس از آن Crawl Errors را انتخاب کنید.

crawl-errors-bigtheme.ir

 

از چه بخش هایی تشکیل شده است.Crawl Errors از دو بخش خیلی مهم تشکیل شده است:

  • Site errors  یا خطاهای سایت

  • URL errors  یا خطاهای لینک اختصاصی

در ادامه هرقسمت را به طور جداگانه و مفصل بررسی خواهیم کرد.

Site errors  یا خطاهای سایت در Crawl Errors

در این بخش سایت شما به کلی مورد بررسی قرار میگیرد.در این قسمت است که مشکل عدم دسترسی روبات های گوگل به کل محتوای سایت شما نمود پیدا میکند.این بخش خودش شامل سه فاکتور خیلی مهم دیگر هم هست که سایت شما طی ۹۰ روز گذشته بر اساس آنها مورد بررسی و آنالیز قرار گرفته است و حالا در این قسمت میتوانیدنتایجش ا مشاهده کنید.

Crawl Errors-bigtheme.ir
•    خطاهای DNS – سیستم نام دامنه ، که نام سایت شما را برای سروری که فایلهای سایت را فراهم میکند، به آدرسی عددی (IP) تبدیل میکند.
•    خطاهای سرور – این بخش سروری که سایت شما روی آن قرار دارد را بررسی میکند.عملکرد سرور ارائه دهنده هاست شما ، مانند سرعت و قابلیت اطمینان اتصال.
•    عدم دسترسی به robots.txt –شاید بشه گفت این گزینه مهمترین بخشه چرا که گوگل پیش از اینکه بتواند سایت را crawl کند ابتدا باید به این فایل دسترسی پیدا کند. این فایل به گوگل میگوید که کدامیک از صفحات دسترسی داشته یا نداشته باشد.

URL errors  یا خطاهای لینک اختصاصی

شاید از نام این گزینه بشه فهمید که چکاری انجام میدهد.این قسمت  در مورد صفحات داخلی شما کند و کاو میکنه.در واقع عدم دسترسی روبات گوگل به یک آدرس مشخص در سایت شما را مورد بررسی قرار میدهد.که آیا دسترسی ممکنه و یا با مشکلی روبروست.

زمانی که شما سایتتان را از این نظر با استفاده از گزینهء Crawl Errors موجود در وبمستر مورد بررسی قرار میدهید و با خطاهایی از سایتتان روبرو میشوید فقط کافی است که  بر روی هر خطا کلیک کنید تا راه تا با توضیحات گوگل روبرو شوید.حالا این صفحه شامل چه مواردی است و چه مفهومی دارد را در ادامه میخوانیم.

ارورهای Crawl Errors به چه معنا هستند؟

زمانی که وارد حساب وبمستر سایت خود میشوید و طبق آموزش به بخش Crawl Errors رفتید,اگر روی هر خطایی که در لیست باز شده کلیک کنید در صفحهء ای برای شما باز میشود با موارد زیر مواجه هستید:

رفع-Crawl-errors-bigtheme.ir

 

خب حالا با هم قدم به قدم پیش میرویم تا ببینیم سایتمان چه مشکلی دارد و راه حل آن چیست.

برای رفع این مشکل یک پروسهء ۷ مرحله ای را باید طی کنیم که به ترتیب زیر است:

۱-این قسمت نشان دهندهء مشکلی است که روبات های گوگل در خزیدن در صغحات سایت شما با آنها برخورد کرده اند مثلا صفحه را پیدا نکرده اند که با ارور Not found یا همان ارور ۴۰۴ مواجه میشوند.

۲-این قسمت آدرس آن صفحه از سایتتان را که مشکل دارد و روبات گوگل نتوانسته به آن بخزد را به شما اطلاع میدهد.

۳-این بخش اطلاعات تکمیلی را به شما میدهد مثل تاریخی که سایت شما توسط گوگل آنالیز شده و دیگر اجزئیات لازم…..
۴-این بخش که in Sitemaps نام دارد به شما اطلاع میدهد که آیا آدرس صفحهء مشکل دار سایت شما در نقشهء سایتتان موجود  است یا خیر.
۵-بخش Linked from میگوید که به این صفحه از سایتتان که مشکل دارد از کدام صفحات داخلی سایتتان یا سایتهای دیگر لینک و یا آدرس دهی شده است.

۶-بعد از اینکه از رفع مشکلات اعلام شده اطمینان حاصل کردید از طریق این گزینه به گوگل اعلام میکنید که مشکلی وجو ندارد تا شما از لیست Crawl Errors  سایت شما  خارج کند.

۷-در پایان با با استفاده  از گزینه Fetch as google به گوگل یک درخواست ارسال کنید که سایتتان را مجدد مورد بازبینی و آنالیز قرار دهد.

نتیجه گیری

هر از چند گاهی به نقشهء سایتتان سری بزنید و آن را بررسی کنید.اگر آدرسی در سایتتان بوده که دیگر از آن استفاده ای ندارید و یا نیازی به آن وجود ندارد ,از نقشهء سایتتان حذف کنید.بعد از اینکار در بخش  سپس در بخش Crawl Errors وبمستر سایتتان دکمهء Mark as Fixed رابزنید  تا اگر گوگل به اشتباه هنوز آن آدرس ها را به عنوان ارور میشناسد,دیگر این اشتباه را نکند.با اینکار آن آدرس از لیست خطاها خارج میشود .اما حواستان باشد که این کار ها را حتما حتما بعد از اینکه مطعن شدید آدرس از سایتتان حذف شده انجام دهید چون این مشکل دوباره خیلی زود برمیگردد.و اگر با وجود رعایت تمام نکات باز هم در این قسمت اروری مشاهده کردیداز گوگل بخواهید که سایت شما را مجدد ایندکس کنه!