دیر ایندکس شدن صفحات وبسایت در گوگل می‌تواند به عنوان یک چالش برای وبسایت‌های جدید و برای وبسایت‌هایی با مسائل مربوط به سئوی تکنیکال یا کیفیت محتوا باشد. این مقاله به شما کمک می‌کند تا دلایل بالقوه‌ی اینکه چرا ممکن است گوگل با ایندکس شدن سایت شما مشکل داشته باشد را بیابید. گاهی اوقات این مسائل می‌تواند سریع برطرف شود، اما زمان‌هایی وجود دارد که باید عمیق‌تر شوید تا علت اصلی ایندکس نشدن صفحات سایت خود را بیابید. بنابراین در این مقاله دلایل ایندکس نشدن سایت و همچنین مشکلاتی که باعث دیر ایندکس شدن سایت در گوگل می‌شود را بررسی می‌کنیم.

دلایل رایج ایندکس نشدن سایت توسط گوگل

1- کدها غیر از 200 (OK) را پاسخ می‌دهند

در صورتی که صفحات شما یک کد پاسخ سرور 200  (OK) را ایجاد نکنند، انتظار نداشته باشید موتورهای جستجو آنها را ایندکس کنند (OK یا پاسخ موفق، زمانی است که درخواست در وب سرور با موفقیت پردازش شود و محتوا را به مرورگر بازگرداند، اکثرا درخواست های http در این وضعیت هستند). گاهی اوقات URLها که به طور تصادفی ریدایرکت می‌شوند خطاهای 404 یا 500 بسته مسائل CMS، مسائل مربوط به سرور یا خطای کاربر ایجاد می‌کنند. برای اطمینان از اینکه URL برای صفحه شما به درستی بارگذاری شده، یک بررسی سریع انجام دهید. اگر آدرس صفحه بارگذاری می‌شود و شما آن را می بینید، احتمالا خوب است. اما می‌توانید همیشه URLهایی را از طریق HTTPStatus.io برای تأیید راه‌اندازی کنید.

2- توسط Robots.txt بلاک (مسدود) شده است

فایل /robots.txt در وبسایت شما (به عنوان مثال در http://www.domain.com/robots.txt واقع شده) دستورات خزیدن (کراول) به گوگل می‌دهد. اگر صفحه خاصی از وبسایت شما توسط گوگل ایندکس نشده، اینجا اولین مکانی است که باید بررسی کنید. در صورتی که صفحه‌ای بر روی سایت قبلا ایندکس شده است و اکنون توسط robots.txt مسدود شده است، گوگل ممکن است پیامی نشان دهد مبنی بر اینکه «صفحه در دسترس نیست به این دلیل که فایل robots.txt در URL قرار دارد». پیام در تصویر زیر نشان داده شده است:

3- متا تگ ربات‌های Noindex

یکی دیگر از دلایل رایج اینکه چرا ممکن است صفحات در گوگل ایندکس نشوند این است که ممکن است متا تگ « noindex» در صفحه داشته باشید. هنگامی که گوگل این متا تگ robots را می‌بیند یک دستور واضح است که نباید صفحه را ایندکس کند. گوگل همیشه به این دستور احترام می‌گذارد و می‌تواند به چند شکل بسته به نحوه کد گذاری آن باشد:

Noindex، follow

Noindex، nofollow

Noindex، follow، noodp

Noinde، nofollow، noodp

Noinde

در اینجا نمونه ای از اسکرین شات آورده شده است در مورد آنچه که در یک صفحه می‌تواند به نظر برسد:

برای بررسی اینکه صفحه شما آیا دارای متا تگ ربات‌های noindex است، منبع کد را مشاهده کنید و کد را در دنبال کنید. اگر وبسایت شما با جاوا اسکریپت رندر شده است، ممکن است لازم باشد از ویژگی Inspect Element گوگل کروم برای مشاهده به طور صحیح استفاده کنید. 

بیشتر بخوانید: هزینه طراحی سایت    طراحی سایت با وردپرس

4- تگ X-Robots Noindex

شبیه متا تگ robots، یک تگ X-robots توانایی کنترل کردن ایندکس شدن در گوگل را از طریق یک تگ سطح صفحه (page-level tag) فراهم می‌کند. با این حال، این تگ در هدر پاسخ یک صفحه خاص یا سند استفاده می‌شود. این تگ معمولا بر روی صفحات غیر HTML استفاده می‌شود که هیچ وجود ندارد مانند فایل‌های PDF، فایل‌های DOC و سایر فایل‌هایی که وبمستران مایل نیستند در گوگل ایندکس شود. 

5- محتوای تکراری داخلی در وبسایت

تکرار محتوای داخلی یک ریسک برای هر سئو کاری است. محتوای تکراری داخلی ممکن است باعث شود گوگل صفحه شما را ایندکس نکند، اما نسبت‌های زیاد محتوای تکراری در صفحات شما احتمالا باعث خواهد شد که رتبه‌بندی خوبی نگیرید. بنابراین اگر صفحه خاصی دارید که مقدار زیادی محتوای مشابه با صفحه دیگر در سایت شما دارد ممکن است این دلیلی باشد که صفحه شما در گوگل ایندکس نشده و یا رتبه‌بندی خوبی نگیرد. 

برای بررسی محتوای داخلی تکراری، پیشنهاد می‌شود که از ابزار Siteliner برای کراول شدن وبسایت خود استفاده کنید. این ابزار به شما همه صفحات با محتوای تکراری را گزارش می‌دهد و همچنین به شما یه نمایه گرافیکی از اینکه چند محتوا بر روی وبسایت شما تکرار شده است را نشان می‌دهد.

گوگل به وضوح در راهنمای کنسول جستجوی خود بیان می‌کند که وبسایت‌ها باید محتوای مشابه را به حداقل برسانند. ممکن است که صفحاتی بر روی سایت با محتوای بسیار مشابه بتوانند هنوز تا حدی رتبه بگیرند، با این حال صفحاتی که دقیقا محتوای مشابهی دارند احتمالا از نتایج جستجوی گوگل به سرعت جدا خواهند شد. این صفحات ممکن است از نتایج جستجو تحت اطلاعیه‌ای مانند زیر حذف شوند:

6- تکرارهای خارجی

محتوای تکراری خارجی بدان معناست که ممکن است محتوای وبسایت شما از دیگر وبسایت‌ها کپی شده باشد. نسبت‌های زیاد محتوای تکراری یک نشانه مطمئن برای گوگل از محتوایی با کیفیت پایین است و باید با هر هزینه‌ای از آن دوری کرد. مهم نیست که آیا وبسایت شما یک سایت بازاریابی با تولید مشتری راغب (lead generation)، فروشگاه تجارت الکترونیک، پلتفرم انتشار آنلاین یا وبلاگ شخصی  است، برای همه قواعد مشابه اعمال می‌شود.

یک راه برای تشخیص دادن اینکه محتوای شما با سایت‌های دیگر تکراری است این است که یک اسنیپت از محتوا را به صورت نقل قول در جستجوی گوگل قرار دهید که نشان می‌دهد به عنوان مثال توضیحات محصولی با تعدادی از دیگر سایت‌ها تکراری است. اما لازم به ذکر است که برندهای معتبر احتمالا در نتایج جستجوی گوگل با محتوای تکراری رتبه خوبی خواهند داشت. با این حال، سایت‌هایی با اعتبار کمتر ممکن است به طور کامل ایندکس نشوند و یا رتبه خوبی با محتوای تکراری مانند توضیحات محصول ارائه شده توسط تولید کننده در سایت آن نگیرند. 

برای بررسی محتوای تکراری خارجی، پیشنهاد می‌شود که از Copyscape برای اینکه نقشه سایت شما یا یک مجموعه خاصی از URLها کراول می‌شوند یا نه استفاده کنید. این ابزار یک گزارش بسیار مفید در مورد محتوای تکراری سایت شما نسبت با سایت‌های دیگر را گزارش می‌دهد. در تصویر زیر اسکرین شات از آن چیزی است که نشان داده می‌شود.

7- به طور کلی نبود ارزش برای ایندکس شدن از نظر گوگل 

همچنین ممکن است یک صفحه خاص یا کل وبسایت شما بسیار بد باشد تا آنجا که ارزش کافی برای ایندکس شدن از نظر گوگل را نداشته باشد. برای مثال سایت‌های همکاری در فروش (affiliate sites) که چیزی جز تبلیغات پویا ایجاد نمی‌کنند برای کاربر ارزش کمی دارد. گوگل الگوریتم خود را برای جلوگیری از رتبه‌بندی چنین سایت‌هایی تصحیح کرده است. 

8- وبسایت هنوز جدید و تأیید نشده است

وبسایت‌های جدید توسط گوگل و موتورهای جستجوی دیگر به سرعت ایندکس نمی‌شوند. از لینک‌ها و سایر سیگنال‌ها، گوگل ایندکس می‌کند و بنابراین یک وبسایت در نتایج جستجویش رتبه می‌گیرد.  به همین دلیل است که ساخت لینک یا لینک بیلدینگ به ویژه برای وب سایت های جدید بسیار مهم است.

9- زمان بارگذاری صفحه

اگر سایتی دارید که صفحات آن بسیار آهسته بارگذاری می‌شوند و مشکل آنها برطرف نشده گوگل رتبه شما را کاهش داده و حتی ممکن است از فهرست جستجوی موتور خود آن را خارج کند. به طور کلی، صفحه به سادگی رتبه آن پایین می‌آید اما به بدی آن نیست که اصلا ایندکس نشود. 

برای بررسی زمان بارگذاری صفحه می‌توانید از ابزار Google’s Page Speed Insights یا ابزار GTMetrix استفاده کنید. در تصویر زیر نمونه‌ای از گزارش که توسط ابزار گوگل ارائه شده نشان داده شده است:

10- صفحات یتیم (Orphaned)

گوگل، وبسایت شما (و نقشه سایت XML) را برای یافتن لینک‌هایی به مطالب شما، بروز رسانی ایندکس خود کراول می‌کند و رتبه‌بندی‌های سایت شما در نتایج جستجوی خود (از جمله عوامل دیگر) تحت تأثیر قرار می‌دهد. اگر گوگل نتواند لینکی را به مطالب شما یا بر روی سایت شما یا یک سایت خارجی پیدا کند، در نتیجه برای گوگل وجود ندارد و آن ایندکس نخواهد شد. صفحات بدون لینک‌های داخلی به عنوان صفحات یتیم نامیده می‌شوند و آنها می‌توانند دلیل کاهش ایندکس در گوگل باشند. برای تعیین اینکه صفحه یا صفحات شما قابل یافتن هستند، پیشنهاد می‌شود برای کراول شدن سایت خود از ابزاری مانند Screaming Frog استفاده کنید و سپس برای URLهای خاص در سؤال جستجو کنید. در اینجا مثالی از آنچه که می‌بینید آورده شده است:

یک روش قوی‌تر برای بررسی صفحات یتیم این است که URLها را از Screaming Frog crawl فرستاده و یک صفحه گسترده‌ای تهیه کنید که URLها با نقشه سایت XML همگام سازی شوند. این امر به شما اجازه خواهد داد فوری همه URLهایی که در نقشه سایت XML شما وجود دارند را شناسایی کنید اما در طی کراول کشف نمی شوند. به یاد داشته باشید که تنظیمات کراول شما می‌تواند امر کند که URLها کراول شوند.

بیشتر بخوانید: طراحی پورتال    طراحی سایت پزشکی

دلایل دیر ایندکس شدن سایت

1- طراحی نامناسب سایت

اگر ساختار و طراحی سایت به گونه‌ای باشد که گوگل نتواند لینک‌های مورد استفاده شما را در سایت پیدا کند و همچنین برای یافتن محتوای سایت شما دچار مشکل شود، بنابراین ایندکس شدن سایت شما با مشکل روبرو خواهد شد. بسیاری از تکنولوژی های مرتبط با وب نیز ممکن است چنین اختلالی را در سایت شما ایجاد کنند، این موضوع باید توسط برنامه نویس سایت مورد بررسی قرار گیرد و رعایت شود.

2- نبود لینک‌های داخلی و خارجی مناسب در سایت

صفحات وبسایت شما باید حداقل به یکی دیگر از صفحات موجود در وبسایت یا وبسایت‌های دیگر لینک شوند. موتورهای جستجوگر در نتایج خود، صفحاتی را که به صفحه‌ای داخلی همان سایت یا صفحه‌ای خارجی (سایت دیگر) لینک نمی‌شوند را ایندکس نخواهند کرد. به این دلیل که گوگل به راحتی آن صفحه را پیدا نمی‌کند و نمی‌تواند تغییرات آن را دنبال کند. 

3- سرعت بارگذاری سایت

در صورتی که سرعت بارگذاری صفحات سایت شما کند باشد، گوگل به جای ایندکس کردن سایت شما به سراغ سایت‌های دیگری می‌رود که سریع بارگذاری می‌شوند و محتوای آنان را ایندکس می‌کند.

4- استفاده نکردن از نقشه سایت گوگل

با توجه به اینکه روزانه میلیون‌ها مطلب، ویدئو، تصویر و غیره به اینترنت اضافه شده، برای نمایش بهتر آنها در نتایج موتور جستجو باید توسط خزنده‌های موتور جستجو مورد بررسی قرار گیرند، از این رو داشتن نقشه سایت امری ضروری است. بنابراین در صورت نداشتن نقشه سایت، گوگل خودش تصمیم می‌گیرد که با چه سرعتی صفحات سایت شما را کاوش کند و اگر تناوب بروزرسانی سایت شما کم باشد، در صورت تعریف نکردن نقشه سایت، باعث دیر ایندکس شدن مطالب سایت می‌شود. لازم به ذکر است که سایت‌های خیلی بزرگ که مطالب زیادی دارند برخی مواقع توصیه می‌شود به جای استفاده از نقشه سایت اجازه دهند تا گوگل خودش مطالب را ایندکس کند.

5- استفاده نادرست از نقشه سایت گوگل 

نقشه سایت یا Sitemap یکی از قسمت‌های بسیار مهم برای ایندکس شدن صفحات وبسایت است، با کمک نقشه سایت می‌توانید صفحات وبسایت خود را به منظور اطلاع رسانی به گوگل و دیگر موتورهای جستجو، فهرست کنید تا ربات‌های گوگل وبسایت شما را با دقت بیشتری بررسی کنند. همچنین هر زمان که محتوای یک صفحه تغییر می‌کند باید نقشه سایت هم تغییر کند، اما بسیاری از مدیران سایت‌ها به جای نقشه سایت پویا، یک فایل استاتیک و ثابت را به عنوان Sitemap خود به گوگل معرفی می‌کنند و این همان دلیلی است که صفحات شما یا دیر ایندکس می‌شوند و یا ایندکس نخواهند شد. 

6- سرعت بروزرسانی اطلاعات سایت

اگر وبسایت خود را به طور مکرر با محتوای باکیفیت بروزرسانی کنید، موتورهای جستجو به سایت شما علاقه مند خواهند شد. به طور کلی موتورهای جستجو بروزرسانی منظم را دوست دارند و توجه ویژه‌ای به محتوای سایت دارند. موتور جستجوی گوگل سرعت خزنده خود را با سرعت بروزرسانی اطلاعات سایت شما وفق می‌دهد؛ بدین صورت که اگر روزی یک مطلب در سایت خود بگذارید خزنده گوگل هم روزی یکبار به سایت شما سر خواهد زد و اگر روزی 10 مطلب در سایت خود بگذارید خزنده گوگل هم سرعت خود را افزایش می‌دهد تا بتواند مطالب سایت‌تان را ایندکس کند. بنابراین تناوب ایندکس شدن مطالب سایت، به تناوب بروزرسانی سایت شما بستگی دارد.

7- قطعی یا مشکل سرور در سایت

ممکن است برای شما پیش آمده است که به دلیل ایجاد مشکلاتی در سرور و یا اختلال‌هایی در تنظیمات DNS دامنه پیامی مبنی بر عدم دسترسی ربات گوگل به سایت در پنل مدیریت کنسول جستجوی گوگل دیده باشید. این قبیل مشکلات حتما بر روی ایندکس شدن صفحات سایت تأثیر خواهند گذاشت. اما اگر در مدت زمان کوتاهی و سریع این مشکلات را برطرف کنید دسترسی ربات‌های گوگل به صفحات سایت شما ممکن شده و با بازخوانی مجدد، ایندکس مطالب را انجام خواهند داد. لازم به ذکر است در صورت رفع نکردن مشکل، گوگل سایت شما را از نتایج خود حذف می‌کند تا زمانی که سایت دوباره به عالت عادی برگردد که در اینصورت ممکن است مدت زمانی طول بکشد تا سرعت ایندکس شدن صفحات به حالت قبل برگردد.

بیشتر بدانید: طراحی سایت فروشگاهی   شرکت طراحی سایت

روشهای عملی افزایش سرعت ایندکس مطالب سایت در گوگل و سایر موتورهای جست و جو

به صورت خلاصه میتوان این روشها را بصورت زیر تقسیم بندی کرد :

برنامه زمانی برای انتشار مطالب و آپدیت کردن منظم سایت

جلوگیری از انتشار مطالب کپی شده از سایر سایتها و همچنین محتوای کپی در داخل سایت

افزایش دستی سرعت خزش یا crawl rate از پنل وبمستر تولز

ثبت نقشه سایت در وبمستر تولز

فعالیت  و انتشار مطالب سایت در شبکه های اجتماعی

ایجاد لینک داخلی بین صفحات سایت

بهینه سازی تصاویر موجود در مطالب

افزایش سرعت سایت و استفاده از هاست مناسب و قابل اعتماد

بستن مسیر خزنده ها با استفاده از فایل robots.txt

پینگ دستی و خبردار کردن گوگل از انتشار مطالب جدید در سایت

که در ادامه تک تک این روشها را توضیح میدهیم.

برنامه زمانی برای انتشار مطالب جدید:

موتورجستجوگر گوگل از بی نظمی و مطالب تکراری خوشش نمی آید و این را بدانید اعتبار محتوای شما مهم است و این محتوا زمانی معتبر شناخته میشود که تکراری نباشد و جذابیت لازم را داشته باشد و نکات کاربردی و مفید را برای کاربران ارائه دهند، زمانی که کاربر جذب محتوای شما شد، شاخک های گوگل تیز میشود و مطالب را مورد حمایت قرار میدهند. برنامه زمانبندی هم به این معناست که وقتی شما مرتب و طبق برنامه مطالب را قرار میدهید، این باعث میشود ربات ها و خزنده های موتورهای جستجوگر بیشتر شما را رصد کنند و برایشان جالب توجه باشید و مدام به شما سر بزنند.

محتوی مهم ترین بخش از سایت شما و همچنین مهم ترین بخش سایت برای موتورهای جست و جو است که از طریق آن به سایت شما میرسند. هر چه بیشتر محتوی ایجاد کنید و مطالب را در بازه های زمانی کمتری منتشر کنید کمک میکند که نرخ ایندکس سرعت صفحات سایت شما بیشتر شود.
سرعت انتشار بالای محتوا در سایت یکی از مهم ترین عوامل دخیل در افزایش سرعت ایندکس سایتها است و به همین دلیل است که سایتهای خبری نرخ ایندکس بسیار خوبی دارند چون در این سایتها سرعت انتشار مطالب جدید به حدی زیاد است که خزنده گوگل از سایت خارج نمیشود و هنگامی که مطلب جدیدی منتشر میشود بلافاصله آن را ایندکس میکند.

در حالت ایده آل باید 3 مطلب جدید در طول هفته منتشر کنید تا سرعت ایندکس سایت تان مناسب باشد.

مراقب محتوای تکراری باشید

اگر از آن دسته سایتهایی هستید که فقط مطالب دیگر سایتها را کپی و منتشر میکنید پس نباید توقع سرعت ایندکس بالا داشته باشید زیرا وقتی خزنده های گوگل وارد سایت شما میشوند و مطلبی از سایت شما را اسکن میکنند و متوجه میشوند قبلا این مطلب در سایت دیگری منتشر شده پس شما را به عنوان کپی کننده تشخیص میدهند و همین موضوع باعث میشود که به مرور زمان سرعت ایندکس صفحات سایت شما کمتر و کمتر شود.
همچنین باید توجه کنید محتوای داخلی صفحات مختلف سایت شما هم نباید تکراری باشد یعنی نباید هیچ مطلبی در دو صفحه جداگانه از سایت شما منتشر شود چون این کار هم باعث کاهش سرعت ایندکس صفحات سایت میشود.

افزایش سرعت خزش سایت Crawl rate:

گوگل وبمستر تولز ابزاری دارد که شما میتوانید درخواست دهید سایت شما بیشتر توسط خزنده ها مورد بررسی قرار بگیرد و بازدید شود. ممکن است سایت شما مطالب زیادی داشته باشد که مورد توجه قرار نگرفته است. از پنل مدیریتی گوگل وبمستر خود در گزینه تنظیمات crawl rate را انتخاب کنید.البته زیاد کردن این گزینه شاید خیلی هم جالب نباشد چون گوگل خودش میتواند تخمین بزند چقدر به سایت شما سر بزند.

نقشه سایت خود را ثبت کنید:

به روز رسانی در سایت خود را در نقشه سایت خود رسم کنید و آن را لحاظ کنید، اگر تغییراتی در کل سایت ایجاد میکنید لطفا بدانید نقشه سایت عنصر بسیار مهمی است و به نوعی خود شما مسیر ها و آدرس ها را به گوگل و خزنده ها میدهید به نوعی که شناسایی بهتری نسبت به سایت شما خواهند داشت. البته تضمینی برای این نیست که گوگل از شرایط شما پیروی کند اما توصیه کرده که در سایت خود و اکانت گوگل وبمسترتان آن را لحاظ کنید.

هنگامی که نقشه سایت را در وبمستر تولز گوگل ثبت میکنید به خزنده های گوگل کمک میکنید که ساختار و مسیرهای دسترسی به مطالب سایت شما را بهتر تشخیص دهند و بتوانند با سرعت بیشتر مطالب شما را پیدا کرده و در ایندکس گوگل قرار بدهند.

 شبکه های اجتماعی:

اسپایدر ها و خزنده ها در شبکه های اجتماعی هم مشغول گشت و گذار هستند و منتظر فرصتی میباشند که لینک هایی را فراخوانی کنند و زمانی که لینک مطالب شما در شبکه های مختلف اجتماعی وجود دارد به نوعی آن را جذب میکنند و اعتبار سنجی می نمایند. این عمل در ایندکس سریع مطالب اهمیت دارد.وقتی شما مطلبی را در شبکههای اجتماعی منتشر میکنید ممکن است خزنده های موتور جست و جو به آن برخورد کرده و از طریق دنبال کردن لینک آن به سایت