آموزش ایندکس سایت در گوگل (12 مرحله مهم)

اگر گوگل وب‌سایت شما را ایندکس نکند، سایت شما برای هیچ جستجویی نمایش داده نمی‌‌شود و هیچ ترافیک ارگانیکی دریافت نمی‌‌کنید.

این مقاله به شما کمک می‌‌کند که چگونه سه مشکل زیر را برطرف کنید:

1. کل وب سایت شما ایندکس نشده است.
2. برخی از صفحات شما ایندکس شده اند، اما برخی دیگر ایندکس نمی‌شوند.
3. صفحاتی که تازه منتشر کرده اید به اندازه کافی سریع ایندکس نمی‌شوند.

خزیدن(crawling) و index کردن چیست؟

گوگل صفحات جدید وب را با خزیدن  در سایت‌ها کشف می‌کند و سپس آن صفحات را به لیست index های خود اضافه می‌کند. آن‌ها این کار را با استفاده از یک ربات عنکبوت به نام Googlebot  انجام می‌دهند.

بهتر است پیش از مطالعه مقاله با این اصطلاحات آشنا شوید:

• خزیدن(crawling) : فرآیند دنبال کردن لینک‌ها در سایت برای کشف محتوای جدید.
• index کردن : فرآیند ذخیره صفحات وب‌سایت در یک پایگاه داده وسیع.
• Web spider : قطعه ای از نرم افزار که برای انجام فرآیند خزیدن طراحی شده‌است.
• Googlebot :  عنکبوت گوگل .

وقتی چیزی را در گوگل جستجو می‌کنید، از گوگل می‌خواهید که تمام صفحات مربوطه را از لیست index های خود برای شما نمایش دهد. از آنجایی که اغلب میلیون‌ها صفحه متناسب با جستجوی شما وجود دارد، الگوریتم رتبه بندی گوگل تمام تلاش خود را می‌کند تا صفحات را مرتب کند تا ابتدا بهترین و مرتبط ترین نتایج را بتوانید مشاهده کنید.

لطفا به این مورد توجه کنید که index کردن و رتبه بندی  دو چیز متفاوت هستند .

ایندکس کردن یک مسابقه است که در آن وب‌سایت‌ها برای نمایش داده شدن رقابت می‌کنند؛ اما رتبه بندی، نتیجه این مسابقه می‌باشد. رتبه یک، برنده این مسابقه است.

شما نمی‌توانید بدون حضور در مسابقه در وهله اول برنده شوید. پس باید ابتدا بتوانید سایت خود را در گوگل ایندکس کنید.

چگونه بررسی کنیم که سایت یا صفحه‌ای خاص در گوگل ایندکس شده است یا خیر

به گوگل بروید، سپس جستجو کنیدsite:yourwebsite.com

این عدد به طور تقریبی نشان می‌دهد که گوگل چه تعداد از صفحات شما را ایندکس کرده است.

اگر می‌‌خواهید وضعیت ایندکس شدن یک URL خاص را بررسی کنید، از  site:yourwebsite.com/web-page-slug  استفاده کنید .

اگر صفحه ایندکس نشده باشد، هیچ نتیجه ای نشان داده نمی‌شود.

اگر کاربر جدید سرچ کنسول گوگل هستید، می‌‌توانید از گزارش Coverage برای دریافت اطلاعات دقیق‌تری از وضعیت ایندکس وب‌سایت خود استفاده کنید.

بروید به بخش :

 Google Search Console > Index > Coverage

به تعداد صفحات معتبر (با و بدون هشدار) نگاه کنید.

اگر مجموع این دو عدد، صفحات معتبر و صفحات معتبر همراه با warning(هشدار)، چیزی غیر از صفر باشد، گوگل برخی از صفحات وب سایت شما را حداقل ایندکس می‌کند. اگر نه، پس سایت شما دچار مشکل شده‌است زیرا هیچ‌یک از صفحات وب شما ایندکس نشده‌است.

همه کسانی که یک وب‌سایت دارند و به دریافت ترافیک از گوگل اهمیت می‌دهند باید از سرچ کنسول گوگل استفاده کنند.

همچنین می‌‌توانید از «سرچ کنسول» برای بررسی ایندکس شدن یک صفحه خاص استفاده کنید. برای انجام این کار،URL را در بخش URL Inspection Tool  قرار دهید .

اگر آن صفحه ایندکس شود، می‌‌گوید ”  URL is on Google”.

 

اما اگر صفحه ایندکس نشده باشد، عبارت «URL is not on Google» را خواهید دید.

نحوه ایندکس شدن توسط گوگل

آیا متوجه شدید که وب سایت یا یک صفحه خاص از سایت شما در گوگل ایندکس نشده است؟

مراحل زیر را انجام دهید:

1. به سرچ کنسول گوگل بروید
2. بهURL Inspection Tool  بروید
3. نشانی اینترنتی را که می‌‌خواهید Google ایندکس کند در نوار جستجو جایگذاری کنید.
4. منتظر بمانید تا گوگل URL را بررسی کند
5. روی دکمه ” Request indexing” (درخواست ایندکس) کلیک کنید

این روش برای زمانی که یک پست یا صفحه جدید منتشر می‌کنید راه حل خوبی است. شما در واقع به گوگل می‌گویید که چیز جدیدی به سایت خود اضافه کرده‌اید و باید به آن نگاهی بیندازد.

با این حال، بعید است که روش درخواست ایندکس کردن، مشکلات اساسی را که مانع ایندکس شدن صفحات قدیمی‌گوگل می‌شود، حل کند. در نتیجه بهتر است چک لیست زیر را برای تشخیص و رفع مشکل خود، دنبال کنید.

1. مواردی که موجب بلاک شدن خزنده‌ها می‌شوند از فایل txt خود حذف کنید
2. تگ‌های noindex را حذف کنید
3. صفحه را در نقشه سایت (سایت مپ) خود قرار دهید
4. ریسپانسیو بودن سایت را بررسی کنید
5. تگ‌های canonical مزاحم را حذف کنید
6. بررسی کنید که صفحه یتیم نباشد(به سایر صفحات یا حداقل یک صفحه لینک شده باشد)
7. لینک‌های داخلی nofollow را برطرف کنید
8. لینک‌های داخلی “قدرتمند” ایجاد کنید
9. سرعت سایت خود را بسنجید
10. اطمینان حاصل کنید که هر صفحه، با ارزش و منحصر به فرد است
11. صفحات با کیفیت پایین را حذف کنید (برای بهینه سازی «بودجه خزش»)
12. ایجاد بک لینک با کیفیت بالا

 

مسدودکننده‌‌های خزنده را از فایلtxt خود حذف کنید

برای بررسی این مشکل، به yourdomain.com/robots.txt  بروید .

به دنبال هر یک از این دو قطعه کد بگردید:

قطعه کد اول :

User-agent: Googlebot

Disallow: /

 

قطعه کد دوم :

User-agent: *

Disallow: /

 

هر دو این موارد به Googlebot می‌‌گویند که ربات‌ها مجاز به خزیدن در هیچ‌یک از صفحات سایت شما نیستند. برای رفع مشکل، لازم است آن‌ها را حذف کنید. به همین  سادگی است!

اگر گوگل یک صفحه وب را ایندکس نمی‌کند، یک بلاک خزنده در robots.txt نیز می‌تواند مقصر باشد. برای بررسی اینکه آیا مشکل از این مورد است، باید URL را در URL Inspection Tool در سرچ کنسول گوگل قرار دهید. روی بخش Coverage کلیک کنید تا جزئیات بیشتر نشان داده شود، سپس به دنبال ارور ” Crawl allowed? No: blocked by robots.txt ” باشید.

این ارور نشان می‌دهد که صفحه مورد نظر در فایل robots.txt مسدود شده است.

اگر اینطور است، ” disallow ” مربوط به صفحه یا بخش فرعی مرتبط را در فایل robots.txt خود دوباره بررسی کنید.

و در صورت لزوم آن تگ‌ها را حذف کنید.

تگ‌های noindex مزاحم را حذف کنید

اگر به ربات‌ها بگویید که یک صفحه را ایندکس نکنند، درنتیجه گوگل آن را ایندکس نمی‌کند. این مورد برای خصوصی نگه داشتن برخی از صفحات وب مفید نیز می‌باشد. دو راه برای استفاده از تگ noindex وجود دارد:

روش 1: متا تگ

صفحاتی که هر کدام از این متا تگ‌ها را در بخش <head> خود دارند توسط گوگل ایندکس نمی‌شوند:

<meta name=“robots” content=“noindex”>

<meta name=“googlebot” content=“noindex”>

 

این یک متا تگ روبات است و مشخص می‌کند که موتورهای جستجو می‌توانند صفحه را ایندکس کنند یا نکنند.

روش 2 : X-Robots-Tag

خزنده‌ها به درخواست HTTP X-Robots-Tag در هدر  احترام می‌گذارند. شما می‌توانید این نوع درخواست را با استفاده از زبان PHP یا هر زبان برنامه نویسی (سمت سرور) دیگری یا در فایل htaccess. خود و یا با تغییر دادن پیکربندی سرور خود پیاده سازی کنید.

URL Inspection Tool در سرچ کنسول به شما می‌گوید که آیا خزیدن Google در یک صفحه به دلیل وجود این نوع از درخواست در هدر مسدود شده است یا خیر. برای مشخص شدن این موضوع فقط لازم است URL خود را وارد کنید، سپس “Indexing allowed? No: ‘noindex’ detected in ‘X-Robots-Tag’ http header ” را پیدا کنید.

صفحه را در سایت مپ خود وارد کنید

نقشه سایت یا همان سایت مپ به گوگل می‌گوید که چه صفحاتی در سایت شما مهم هستند و کدام‌ها مهم نیستند. این فایل همچنین ممکن است راهنمایی‌هایی در مورد تعداد دفعات خزیدن مجدد آن‌ها نیز ارائه دهد.

البته گوگل باید بتواند صفحات وب سایت شما را بدون توجه به اینکه در نقشه سایت شما هستند، پیدا کند.

برای بررسی اینکه آیا یک صفحه در نقشه سایت شما وجود دارد، از URL Inspection Tool  در سرچ کنسول استفاده کنید. اگر خطای «URL is not on Google» و «Sitemap: N/A» را مشاهده کردید، یعنی صفحه موردنظر شما یا در سایت مپ وجود ندارد یا ایندکس نشده‌است.

از سرچ کنسول استفاده نمی‌کنید؟

به URL نقشه سایت خود که معمولاً به صورتyourdomain.com/sitemap.xml  است، بروید و url صفحه موردنظر خود را در نقشه سایت، جستجو کنید.

سایت شما برای موبایل مناسب نیست

سازگاری یک وب‌سایت با موبایل برای ایندکس شدن سایت توسط Google بسیار مهم است .

مهم نیست که محتوای وب سایت شما چقدر عالی باشد، اگر برای مشاهده در تلفن هوشمند یا تبلت بهینه نشده باشد، رتبه و ترافیک را از دست خواهید داد.

تگ‌های canonical مزاحم را حذف کنید

یک تگ canonical به گوگل می‌گوید که نسخه ترجیحی یک صفحه کدام است. چیزی شبیه به لینک زیر:

<link rel=”canonical” href=”/page.html/”>

اکثر صفحات یا فاقد تگ canonical هستند یا تگ self-referencing canonical (خود ارجاع دهنده) نامیده می‌شوند. این تگ به گوگل می‌‌گوید که همین صفحه بهترین و احتمالاً تنها نسخه ازآن می‌باشد و به عبارت دیگر، از گوگل خواسته می‌شود که این صفحه را ایندکس کند.

اما اگر صفحه شما دارای یک تگ canonical است که به درستی گوگل را ارجاع نمی‌دهد، ممکن است به گوگل در مورد نسخه ترجیحی این صفحه که وجود ندارد اطلاعات نادرستی بدهد و در نتیجه، صفحه شما ایندکس نشود.

برای بررسی canonical، از URL Inspection Tool  گوگل استفاده کنید. در صورتی که صفحه canonical  به صفحه دیگری اشاره کند، اخطار ” Alternate page with canonical tag ” (یعنی صفحه جایگزین با تگ canonical) را خواهید دید.

اگر برای این صفحه، نباید جایگزینی وجود داشته باشد و می‌‌خواهید همین صفحه را ایندکس کنید، لازم است  تگ canonical را حذف کنید.

مهم

تگ‌های Canonical همیشه بد نیستند. اکثر صفحاتی که دارای این تگ‌ها هستند به دلایل خاصی از آن‌ها استفاده کرده‌اند. اگر مشاهده کردید که صفحه شما دارای یک مجموعه تگ canonical  است، ابتدا صفحه canonical را بررسی کنید. اگر واقعاً نسخه موجود در تگ، نسخه ترجیحی صفحه است و نیازی به ایندکس کردن صفحه مورد نظر نیست، تگ canonical را نباید حذف نمایید و باید باقی بماند.

بررسی کنید که صفحه یتیم نباشد

صفحات یتیم آن‌هایی هستند که هیچ پیوند داخلی به آن‌ها اشاره نمی‌کند.

از آنجایی که گوگل با خزیدن در وب محتوای جدید را کشف می‌کند، نمی‌تواند صفحات یتیم را از طریق این فرآیند کشف کند؛ در نتیجه بازدیدکنندگان وب سایت نیز نمی‌توانند آن‌ها را پیدا کنند.

می‌توانید صفحات یتیم را به یکی از دو روش زیر اصلاح کنید:

1. اگر صفحه بی اهمیت است، آن را حذف کرده و سپس از نقشه سایت خود نیز حذف کنید.
2. اگر صفحه مهم است، آن را در لینک‌سازی‌های داخلی وب سایت خود بگنجانید.

لینک‌های داخلی nofollow را برطرف کنید

لینک‌های Nofollow لینک‌هایی با تگ rel=“nofollow” هستند. آن‌ها از انتقال رتبه صفحه  به URL مقصد، جلوگیری می‌کنند. گوگل لینک‌های nofollow را crawl نمی‌کند.

باید مطمئن شوید که تمام پیوندهای داخلی به صفحات ایندکس شده به‌صورت follow می‌باشند.

اگر می‌خواهید گوگل صفحه را ایندکس کند، تگ nofollow را از این لینک‌های داخلی حذف کنید. اگر نه، صفحه را حذف کنید یا آن را noindex کنید.

سایت شما به آرامی بارگیری می شود

سایت‌هایی که به آهستگی بارگذاری می‌شوند باعث می‌شوند که گوگل کمتر بخواهد آن‌ها را در نتایج برتر خود نشان دهد. اگر سایت شما زمان زیادی برای بارگذاری نیاز دارد، ممکن است به دلیل عوامل مختلفی باشد. ممکن است محتوای زیادی در صفحه داشته باشید که مرورگر کاربر قادر به مدیریت آن‌ها نیست یا ممکن است سایت شما از یک سرور قدیمی با منابع محدود استفاده می‌کند.

راه حل:

1. از Google Page Speed ​​Insights استفاده کنید – این ابزار به ما کمک می‌کند تشخیص دهیم که چه بخش‌هایی از وب‌سایت نیاز به بهبود سرعت و توجه فوری دارند. این ابزار صفحه سایت شما را توسط پنج عملکرد برتر (که برای سایت‌های سریع بسیار مهم هستند) تجزیه و تحلیل می‌کند، مانند به حداقل رساندن اتصالات، کاهش حجم payload، استفاده از حافظه پنهان مرورگر، و غیره، و به شما پیشنهاد می‌دهد که چگونه می‌توانید هر یک از جنبه‌های آن را بهبود بخشید.
2. از ابزاری مانندorg استفاده کنید – این ابزار به شما اطلاع می دهد که آیا وب سایت شما با سرعت کافی بارگیری می شود یا خیر. همچنین به شما این امکان را می‌دهد که در سایت خود با جزئیات، عناصر خاصی را ببینید که باعث ایجاد مشکل برای شما می‌شوند. امکانات موجود در این ابزار می‌تواند به شما کمک کند تا مشکلات قابل توجه سرعت صفحه را قبل از ایجاد مشکلات جدی شناسایی کنید.
3. از Google’s Page Speed insights استفاده کنید – ببینید کجا می‌توانید برای سرعت بارگذاری در سایت بهبودهایی ایجاد کنید. به عنوان مثال، ممکن است لازم باشد از یک هاست جدید با منابع بیشتر استفاده کنید (سرورهای اختصاصی به مراتب بهتر از سرورهای اتشراکی هستند) یا از یک سرویس CDN استفاده کنید که یک محتوای ثابت را از مکان های مختلف در سراسر جهان ارائه می دهد.

در حالت ایده آل، مطمئن شوید که اعداد سرعت صفحات شما به 70 یا بیشتر برسد. اعداد نزدیک به 100 ایده آل هستند.

پیوندهای داخلی “قدرتمند” را اضافه کنید

گوگل با خزیدن در وب سایت شما محتوای جدید را کشف می‌کند. اگر از پیوند داخلی به صفحه مورد نظر غفلت کنید، ممکن است نتوانند آن صفحه را پیدا کنند.

یک راه حل آسان برای این مشکل اضافه کردن چند لینک داخلی به صفحه است. می‌توانید این کار را از هر صفحه وب دیگری که Google  می‌تواند بخزد و ایندکس کند، انجام دهید. با این حال، اگر می‌‌خواهید Google صفحه را در سریع‌ترین زمان ممکن ایندکس کند، منطقی است که لینک‌سازی داخلی را از یکی از صفحات “قدرتمندتر” خود انجام دهید.

چرا؟ زیرا احتمالاً گوگل چنین صفحاتی را سریع‌تر از صفحات کم اهمیت‌تر بررسی می‌کند

به دنبال صفحات مرتبطی بگردید که از آن‌ها می‌توانید پیوندهای داخلی به صفحه مورد نظر ایجاد کنید.

نکته حرفه ای

صفحه ای که پیوند داخلی را به آن اضافه کرده اید در URL Inspection Tool گوگل قرار دهید. دکمه “درخواست ایندکس کردن” را فشار دهید تا به گوگل اطلاع دهید که چیزی در صفحه تغییر کرده است و باید در اسرع وقت آن را دوباره crawl کند. این ممکن است روند کشف پیوند داخلی و در نتیجه ایندکس کردن صفحه مورد نظر شما را سرعت بخشد.

مطمئن شوید که صفحه با ارزش و منحصر به فرد است

بعید است که گوگل صفحات با کیفیت پایین را ایندکس کند زیرا چنین صفحاتی برای کاربران ارزشی ندارند.

اگر مشکلات فنی را برای ایندکس شدن سایت یا یک صفحه خاص برطرف کرده‌اید، کمبود ارزش صفحه می‌تواند موجب ایندکس نشدن سایت شما شود. بهتر است صفحه خود را مرور کنید و از خود بپرسید: آیا این صفحه واقعاً ارزشمند است؟ آیا اگر کاربر در نتایج جستجو صفحه شما را انتخاب کند، محتوای ارزشمندی را خواهد دید؟

اگر پاسخ به هر یک از این سوالات منفی است، باید محتوای خود را بهبود بخشید.

صفحات با کیفیت پایین را حذف کنید (به‌منظور بهینه سازی “بودجه خزیدن”)

وجود صفحات زیاد با محتوای کیفیت پایین در وب سایت شما فقط باعث هدر رفتن بودجه خزیدن خواهدشد.

بودجه خزیدن چیزی نیست که شما نگران آن باشید اما حذف صفحات با کیفیت پایین از وب‌سایت شما نیز کار بدی نیست، بلکه می‌تواند تأثیر مثبتی بر بودجه خزیدن داشته باشد.

یک لینک‌های با کیفیت بالا بسازید

بک لینکها به گوگل می‌گویند که یک صفحه وب چه میزان اهمیت دارد. از این گذشته، اگر سایت و صفحه‌ای به سایت شما لینک می‌دهد، باید آن سایت هم ارزش داشته باشد. این نوع صفحاتی که بک‌لینک دارند، صفحاتی هستند که گوگل تصمیم دارد ایندکس کند.

گوگل فقط صفحات وبی که بک لینک دارند ایندکس نمی‌کند. صفحات ایندکس شده بسیاری هستند که هیچ بک لینکی ندارد. با این حال، از آنجایی که گوگل صفحاتی که لینک‌های باکیفیت دارند، مهم‌تر می‌‌داند، احتمالاً صفحات دارای بک لینک را سریع‌تر از صفحاتی که بدون این نوع پیوندها هستند، crawl می‌کند و درنهایت منجر به ایندکس سریع‌تر آن‌ها می‌شود.

سوالات متدوال:

 

چه فاکتورهایی برای ایندکس شدن وب سایت مهم هستند؟

نرخ خزش، توانایی گوگل و سایر موتورهای جستجو برای ایندکس کردن و خزیدن در سایت شما، و خطاهایی که گوگل پیدا کرده است (بررسی سرچ کنسول گوگل)

گوگل چگونه سایت شما را ایندکس می کند؟

گوگل از لینک های داخلی و نقشه سایت برای خزیدن در سایت شما استفاده می کند. می‌توانید نقشه سایت خود را در سرچ کنسول قرار دهید.

چرا بازاریابی محتوا برای ایندکس سایت شما توسط گوگل مهم است؟

داشتن ترافیک بیشتر در صفحات می تواند به ایندکس شدن آ‌ن‌ها کمک کند. بنابراین لازم است یک استراتژی بازاریابی محتوا داشته‌باشید و اهدافی برای افزایش ترافیک خود ایجاد کنید.

چه استراتژی‌های مهم محتوایی متناسب با سایت نوپای من هستند؟

اهداف، مخاطبان هدف، انواع محتوا، دفعات انتشار، سیستم مدیریت محتوا و ابزارهایی را که برای انتشار و تبلیغ محتوا استفاده خواهید کرد، شناسایی کنید.