در حال بارگزاری ...

Googlebot چیست ؟ | قسمت اول

توسط سعید هوشیار
آخرین به روز رسانی دوشنبه 13 مرداد 1399

در دنیای امروزی که مردم اکثر نقاط دنیا با اینترنت و وب سایت ها سر و کار دارن محبث سئو برای مدیران وب سایت ها حائز اهمیت شد . این مقاله درباره ربات گوگل می باشد که وظیفه بازبینی وب سایت ها برای رتبه بندی و ... را دارند .

Googlebot چیست ؟

  • ربات گوگل (Googlebot) یه کرولر برای استفاده گوگل است .
  • گوگل از این کرولر برای پیدا کردن و بازبینی صفحات استفاده می کند .
  • اطلاعات جمع آوری شده توسط Googlebot برای به روز رسانی فهرست گوگل استفاده می شود.

Googlebot

Googlebot از میلیاردها وب سایت بازدید می کند و دائما در حال بازدید از صفحات در سر تا سر وب است .

کرولر یا خزنده وب (webcrawler) چیست ؟

کرولر یا خزنده  وب  که همچنین به عنوان روبات یا عنکبوت شناخته می شود نوعی نرم افزار است که برای پیگیری پیوندها طراحی شده است، اطلاعات را جمع آوری می کند و سپس آن اطلاعات را در جایی می فرستد.

Googlebot چه کاری انجام می دهد ؟

Googlebot scanning for and listing links

  1. Googlebot محتوای صفحات وب (کلمات، کد و منابع که صفحه وب را تشکیل می دهند) بازیابی می کند.
  2. اگر محتوایی که بازیابی می کند دارای پیوندهایی به چیزهای دیگر باشد آن را یادداشت می کند.
  3. سپس اطلاعات را به گوگل ارسال می کند.

Googlebot و وب سایت شما

اطلاعاتی که Googlebot به کامپیوترهای Google ارسال می کند، فهرست Google را به روز می کند.
فهرست گوگل (Google Index) جایی است که صفحات وب مقایسه و رتبه بندی می شوند.

  • برای اینکه صفحات وب شما در گوگل پیدا شود، آنها باید برای Googlebot قابل مشاهده باشند.
  • برای اینکه صفحات وب شما بهترین رتبه بندی را داشته باشد باید تمام منابع وب سایت توسط Googlebot قابل دسترسی باشد.

تفاوت بین Googlebot و فهرست گوگل (Google Index)

googlebot-send

Googlebot

  • Googlebot محتوایی را از وب بازیابی می کند.
  • Googlebot به هیچ وجه قضاوت نمیکند، فقط آن را بازیابی میکند.
  • تنها مشکلی که Googlebot دارد این است که آیا می توانم به این محتوا دسترسی پیدا کنم؟ و "آیا محتوای دیگری وجود دارد که میتوانم به آن دسترسی پیدا کنم؟"

Google index

  • شاخص گوگل محتوای دریافتی از Googlebot را دریافت می کند و از آن برای رتبه بندی صفحات استفاده می کند

  •  اولین گام در رتبه بندی گوگل توسط Googlebot بازیابی می شود.

اطمینان از Googlebot و دیده شدن صفحات شما 

از آنجایی که Googlebot باعث به روز رسانی فهرست گوگل می شود ، ضروری است که Googlebot صفحات شما را ببیند.

اولین سوالاتی که مدیران وب (webmaster)  باید بپرسند ....

  • آیا Googlebot می تواند صفحات من را ببیند؟

  • آیا Googlebot می تواند به طور کامل به تمام محتوای و لینک های من دسترسی پیدا کند؟

  • آیا Googlebot میتواند به تمام منابع صفحه من دسترسی پیدا کند؟

بیایید به هر یک از این ها عمیق تر نگاه کنیم

1-آیا Googlebot می تواند صفحات من را ببیند؟

Googlebot به دنبال یک صفحه وب است

برای دریافت ایده ای از آنچه گوگل از سایت شما می بیند جستجوی گوگل زیر را دنبال می کند ...

site:yourwebsite.com

با قرار دادن «:site» در قسمت نام دامنه ، شما به گوگل درخواست می کنید که صفحاتی که توسط آن دیده شده را لیست کند .

نکته : نباید مابین site: و نام دامنه از فاصله (space) استفاده کنید.

اگر  میزان صفحاتی که انتظار دارید را مشاهده نمی کنید، احتمالا باید اطمینان حاصل کنید که شما با robots.txt سایت خود را مسدود نکرده اید .

2-آیا Googlebot می تواند به طور کامل به تمام محتوا و لینک های من دسترسی پیدا کند؟

Googlebot توسط صفحه وب گیج شده است

گام بعدی این است که اطمینان حاصل شود که گوگل محتوا و لینک های شما را به درستی می بیند.

در ضمن وقتی میگوییم که Googlebot میتواند صفحات ما را ببیند به این معنا نیست که دقیقا همان تصویری را میبیند که ظاهر ما دارد.

Googlebot به صفحه وب نگاه میکند

ربات Google یک وبسایت را همانند انسانها نمی بیند. در تصویر بالا یک صفحه وب با یک تصویر در آن وجود دارد. انسان می تواند تصویر را ببیند، اما آنچه که Googlebot می بیند تنها کدی است که این تصویر را می خواند.

ممکن است Googlebot بتواند به این صفحه وب دسترسی پیدا کند (فایل Html)، اما به دلایل مختلف قادر به دسترسی به تصویر موجود در آن نیست.

در این سناریو، شاخص گوگل این تصویر را شامل نمی شود، به این معنی است که گوگل درک ناقصی از صفحه وب شما دارد.

چگونه Googlebot یک صفحه وب را می بیند؟

Googlebot صفحات وب کامل را نمی بیند، تنها مولفه های شخصی آن صفحه را می بیند.

Googlebot به دنبال فایل ها

اگر Googlebot به هر کدام از این اجزاء دسترسی نداشته باشند، آنها را به فهرست Google ارسال نمی کنند.

برای استفاده از مثال قبلی ما، در اینجا Googlebot یک صفحه وب (HTML و CSS) را مشاهده می کنیم، اما تصویر را نمی بینیم.

Googlebot نمی تواند به تمام منابع دسترسی داشته باشد

این فقط تصاویر نیست. قطعات زیادی برای یک صفحه وب وجود دارد. برای اینکه گوگل بتواند صفحات وب شما را بهینه سازی کند نیاز به تصویر کامل دارد.

سناریوهای زیادی وجود دارد که احتمالا Googlebot قادر به دسترسی به محتوای وب نیست، در اینجا چند مورد رایج وجود دارد.

  • منبع توسط robots.txt مسدود شده
  • پیوندهای صفحه قابل خواندن نیستند یا نادرست هستند
  • استفاده زیاد از فایل های فلش و تکنولوژی هایی که توسط Googlebot قابل خواندن نیستند.
  • HTML بد یا خطاهای برنامه نویسی
  • لینک های پویا بیش از حد پیچیده

اگر شما یک حساب گوگل دارید، از ابزار «fetch and render» موجود در کنسول جستجوی گوگل استفاده کنید. Google search console

این ابزار یک مثال زنده از همان چیزی که گوگل  از یک صفحه شخصی می بیند را ارائه می دهد.

3- آیا Googlebot میتواند به تمام منابع صفحه من دسترسی پیدا کند؟

 

Googlebot از فایلهای منبع مسدود شده است
 

اگر فایل های CSS و جاوا اسکریپت توسط فایل robots.txt شما مسدود شده باشند، ممکن است برخی سوء تفاهم های شدید در مورد محتوای وب سایت شما (بسیار بدتر از یک تصویر گم شده) ایجاد شود.

به طور فزاینده ای یک صفحه وب ممکن است متفاوت باشد یا محتوای مختلفی هنگام لود شدن منابع صفحه داشته باشد.

مثلا بعضی از صفحات نسبت به دستگاهی که آن را نگاه میکند CSS و جاوا اسکریپت خود را لود میکند و اگر Googlebot نمیتواند به CSS یا جاوا اسکریپت آن صفحه دسترسی پیدا کند، ممکن است متوجه شود که صفحه میتواند تلفن همراه باشد.

این سناریو جالب است ، گوگل صفحه شما را می بیند و حتی ممکن است آن را درک کند، اما ممکن است آن را به اندازه کافی بدست نیاورد تا متوجه شود که می توان آن را در بسیاری از سناریوهای دیگر از آنچه در HTML ارائه می دهد، رتبه بندی کند.

آیا می توانم Googlebot را کنترل کنم؟

بله .

Googlebot دستورالعمل هایی را که از طریق استانداردهای robots.txt تعریف شده اند را دریافت و  دنبال می کند و حتی راه های پیشرفته ای را برای کنترل آن که خاص گوگل هستند وجود دارد .

بعضی از راه های کنترل Googlebot ...

  • استفاده از robots.txt
  • استفاده از دستورالعمل های ربات در metadata صفحات
  • از جمله دستورالعمل های ربات در سربرگ های خود
  • استفاده از sitemap
  • استفاده از کنسول جستجوی گوگل

رایج ترین راه استفاده از فایل robots.txt است

 

دیدگاه ها

دیدگاه ها : 0


متاسفانه فقط اعضای سایت قادر به ثبت دیدگاه هستند

رایگان

اشتراک گذاری در
سورس خرید و فروش ارزهای دیجیتال
ثبت امتیاز
1.5 (12 رای)

برچسب ها
   لطفا صبر کنید ...