در حال بارگزاری ...

Googlebot چیست ؟ | قسمت دوم

توسط سعید هوشیار
آخرین به روز رسانی دوشنبه 13 مرداد 1399

در مقاله قبل Googlebot را تعریف کردیم و به نحوه کار و تاثیر آن در سئو اشاره کردیم . در این مقاله قصد داریم که نحوه کنترل Googlebot را برای شما توضیح دهیم.

اگر قسمت اول این مقاله را مطالعه نکرید به این لینک مراجعه کنید Googlebot چیست ؟

فایل robots.txt چیست ؟

Googlebot and robots.txt file

فایل robots.txt کنترل می کند که چگونه عنکبوت موتور جستجو مانند Googlebot با صفحات وب شما ارتباط برقرار کند.

به طور خلاصه، یک فایل robots.txt به Googlebot می گوید که به اجازه دسترسی و بازیابی اطلاعات چه صفحاتی را دارد یا چه صفحاتی را ندارد.

در اینجا چندین منبع از گوگل وجود دارد که از دستورالعمل های ربات صحبت می کنند:

Sitemaps و Googlebot

Googlebot in map

Sitemap راهی هست که می توانید به Googlebot برای درک وب سایت خود کمک کنید یا همانطور که گوگل می گوید ...

Sitemap یک فایل است که می توانید صفحات وب سایت خود را برای گوگل و سایر موتورهای جستجو فهرست کنید. خزنده های وب مانند Googlebot از این فایل  برای بازیابی هوشمندانه سایت شما استفاده می کنند. 

گوگل می گوید که نقشه های سایت بهترین استفاده در سناریوهای خاص است، به ویژه ...

  • سایت شما واقعا بزرگ است
  • سایت شما دارای یک بایگانی بزرگ از صفحات است که جدا شده یا به خوبی با یکدیگر ارتباط ندارند.
  • سایت شما جدید است و دارای چندین لینک خارجی است.

Sitemaps برای بسیاری از چیزها استفاده می شود،  نقشه های سایت اساسا لیستی از آدرس ها و سایر اطلاعاتی را که Googlebot می تواند هنگام بازدید از صفحات وب شما به عنوان راهنمایی استفاده کند، ایجاد می کند.

گوگل توضیح می دهد چطور ایجاد sitemap کنید


Googlebot و کنسول جستجو گوگل

نمودار در ابزار نشان دادن فعالیت Googlebot

مکان دیگری که می توانید Googlebot را کنترل کنید کنسول جستجوی گوگل است.

اگر Googlebot به سرعت به وب سرور شما دسترسی پیدا کند، می توانید میزان خزش (change the crawl rate) را تغییر دهید.

شما همچنین می توانید یک نمای کلی از نحوه دسترسی Googlebot به وب سایت خود، تست robots.txt , خطاهای خزنده (crawl errors)  و انجام "درخواست واکشی و رندر" که به شما کمک خواهد کرد که درک کنید چگونه Google صفحات وب شما را بازیابی می کند ببینید .

گوگل چه تعداد googlebot  کرولر وب  دارد ؟

نه نوع مختلف خزنده وب گوگل وجود دارد.

نه Googlebot مختلف

 

  • Googlebot (Google Web search)
  • Google Smartphone
  • Google Mobile (Feature phone)
  • Googlebot Images
  • Googlebot Video
  • Googlebot News
  • Google Adsense
  • Google Mobile Adsense
  • Google Adsbot (landing page quality check)

اگر بخواهید جزئیات مربوط به هر یک را داشته باشید، به صفحه راهنمای خزنده های گوگل (Google crawlers)  که توسط Google ارائه شده است مراجعه کنید (این لیست جزئیات مربوط به هر کدام از خزنده ها (Googlebot) را می دهد).

Googlebot User-agent چیست ؟

در واقع چندین User-agent وجود دارد که ما به بعضی از آنها می پردازیم :

Googlebot (Google web search)

User-agent names: Googlebot

Mozilla/5.0 (compatible; Googlebot/2.1;
+https://www.google.com/bot.html)

 

Googlebot Smartphone

User-agent names: Googlebot

Mozilla/5.0 (iPhone;CPU iPhone OS 8_3 like Mac OS X)
AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70
Safari/600.1.4 (compatible; Googlebot/2.1;
+https://www.google.com/bot.html)

Googlebot Image

User-agent names: Googlebot-Image (Googlebot)

Googlebot-Image/1.0

Googlebot Video

User-agent names: Googlebot-Video (Googlebot)

Googlebot-Video/1.0

برای مشهاده جزئیات بیشتر به صفحه اطلاعات خزندگان وب (Google crawlers) مراجعه کنید.

Googlebot و زبان ها / مکان ها

Googlebot سلام به زبان های مختلف

اگر صفحات شما بسته به موقعیت مکانی زبانها یا محتویات مختلفی را نشان دهند،Googlebot همیشه تمام محتوای شما را مشاهده نمی کند (آنها hreflang توصیه می کنند).

اما این مقاله درباره Googlebot است و آنچه که Googlebot برای محتوای زبان و مکان انجام داده است جالب است.

به این عکس نگاه کنید :

کاربران با زبان ها یا مکان های مختلف

هنگامی که کاربران از صفحه شما بازدید می کنند , اگر صفحات مبتنی بر موقیت مکانی و زبان باشد ، یک کاربر در ایتالیا محتوای ایتالیایی را مشاهده می کند و یک کاربر در آمریکا محتوای انگلیسی را می بیند.

Googlebot در آمریکا مستقر است، پس چگونه کار می کند؟ چگونه محتوای ایتالیایی را ببیند؟

Googlebot با خلع سلاح محلی

Googlebot با استفاده از دو تکنیک اصلی (که گوگل به ما می گوید) خزنده محلی را ایجاد میکند (create locale-aware crawling).

  • Geo-distributed crawling: با استفاده از ip
  • Language-dependent crawling: با استفاده از فیلد  Accept-Language در header سایت

به عبارت دیگر، Googlebot روش هایی را برای ردیابی وب به عنوان کاربر از هر کجا استفاده می کند ,  اما گوگل هنوز hreflang توصیه میکند .

می توانید از این صفحه locale-aware Googlebot crawling  برای کمک و تصمیم گیری استفاده کنید .

دیدگاه ها

دیدگاه ها : 0


متاسفانه فقط اعضای سایت قادر به ثبت دیدگاه هستند

رایگان

اشتراک گذاری در
سورس خرید و فروش ارزهای دیجیتال
ثبت امتیاز
0.8 (6 رای)

برچسب ها
   لطفا صبر کنید ...