Veb sayt yaratdınız, lakin onu axtarış sistemlərində tapa bilmirsiniz? Problem deyil! Bu yazıda siz Yandex və Google-da saytı ən qısa müddətdə necə indeksləşdirməyi öyrənəcəksiniz. Yəqin ki, axtarış motorlarının indeksinə tez daxil olmağın üstünlükləri haqqında danışmaq lazımsızdır. Axı, hər kəs başa düşür ki, onun saytı axtarış nəticələrində nə qədər tez göstərilsə, bir o qədər tez yeni müştərilər peyda olacaq. Və bunun işləməsi üçün axtarış motorlarının verilənlər bazasına daxil olmalısınız.
Yeri gəlmişkən, düzgün yanaşma sayəsində saytımızın yeni materialları kifayət qədər yaxşıdır və ən əsası, axtarış sistemləri tərəfindən həmişə tez bir zamanda indeksləşdirilir. Yəqin ki, siz də axtarış çubuğunda müvafiq sorğu tətbiq etdikdən sonra bu səhifəyə daxil olmusunuz. Mahnı sözlərindən məşqə keçək.
Saytın indeksləşdirildiyini necə öyrənmək olar?
Ediləcək ilk şey saytın axtarış sistemləri tərəfindən indeksləşdirilib-indekslənmədiyini öyrənməkdir. Ola bilsin ki, sayt sadəcə olaraq daxil etdiyiniz sorğu üçün axtarışın ilk səhifəsində deyil. Bunlar üzərində işləməli olduğunuz yüksək tezlikli sorğular ola bilər, sadəcə olaraq göstəriləcək sayt yaradıb işə salmaq deyil.
Beləliklə, yoxlamaq üçün hər şeyə giririk Axtarış motorları, girməyin mənası var ( Yandex, Google, Mail, Rambler) və saytın ünvanını axtarış sorğusu sətirinə daxil edin.
Resursunuz hələ indekslənməyibsə, axtarış nəticələrində heç nə göstərilməyəcək və ya digər saytlar görünəcək.
Yandex-də bir saytı necə indeksləşdirmək olar?
Başlamaq üçün Yandex-də bir saytı necə indeksləşdirəcəyinizi sizə xəbər verəcəyik. Ancaq resursunuzu əlavə etməzdən əvvəl onun düzgün işlədiyini, bütün cihazlarda düzgün açıldığını və yalnız ehtiva etdiyini yoxlayın unikal məzmun. Məsələn, inkişaf mərhələsində sayt əlavə etsəniz, sadəcə olaraq filtrin altına düşə bilərsiniz - bu, bir dəfə bizimlə baş verdi və biz Yandex-in keyfiyyətli saytımız olduğunu başa düşməsi və sanksiyaları qaldırması üçün tam bir ay gözləməli olduq.
Yandex-i yeni bir sayt haqqında məlumatlandırmaq üçün sizə lazımdır və , resurs haqqında əlavə məlumat üçün birinci alət cavabdehdir ( bölgə, struktur, sürətli bağlantılar) və saytın üzvi buraxılış nəticələrinə baxma tərzi, ikincisi saytda məlumat toplamaq üçün ( davamiyyət, davranış və s.), təcrübəmizə görə, saytın indeksləşdirilməsinə və axtarışdakı mövqeyinə də təsir göstərir. Və sayt xəritəsini hazırladığınızdan və veb ustaları panelində qeyd etdiyinizdən əmin olun.
Google-da bir saytı necə indeksləşdirmək olar?
Çox vaxt Google özü tez bir zamanda yeni saytlar tapır və onları axtarışa aparır, lakin Google-un gəlib bizim üçün bütün işləri görməsini gözləmək çox təkəbbürlüdür, ona görə də gəlin Google-da saytı necə indeksləşdirəcəyimizi anlayaq.
Birincisi, Google Veb Ustalarının İdarə Paneli və . Biz eyni məqsədlərə sadiqik - axtarış sistemlərinə sayt haqqında maksimum məlumat vermək.
Saytlar əlavə edildikdən sonra keçməlidir 3 ilə 7 gün axtarış motorları məlumatları yeniləməzdən və saytı indeksləşdirmədən əvvəl.
Siz həmişə yeni sayt səhifələrinin axtarış nəticələrində mümkün qədər tez görünməsini istəyirsiniz və bunun üçün axtarış sistemlərində sayt səhifələrinin indeksləşdirilməsini sürətləndirməyin bir neçə gizli (və çox sadə) yolu var.
3. 2-ci bənddə təsvir edilən manipulyasiyanı etmək üçün yalnız Google axtarış sistemi üçün Axtarış Konsoluna keçin. "Scan" seçin və "Görün Googlebot"-yeni səhifənin ünvanını əlavə edin və "Scan" düyməsini basın, bundan sonra biz indeksləşdirmə tələb edirik.
Veb saytların indeksləşdirilməsinin təhlili
Sonda qeyd etmək lazımdır ki, saytın axtarış sistemlərində uğurlu indeksləşdirilməsindən sonra da iş bununla bitmir. Saytın indeksləşdirilməsini vaxtaşırı təhlil etmək, həmçinin populyar sorğular üçün mövqeləri silmək lazımdır. Bu, barmağınızı nəbzdə saxlamağa və üzvi buraxılışdan gələn trafikin əhəmiyyətli bir hissəsinin sadəcə yoxa çıxdığı bir vəziyyətdə olmamağa imkan verəcəkdir.
Bu, köhnə tanıtım metodlarından istifadə edən bir çox köhnə saytların başına gələnlərdir. Eyni zamanda, Yandex bu alqoritmi işə saldığını və yenidən optimallaşdırılmış səhifələrin axtarışdan çıxarılacağını əvvəlcədən elan etdi, Google isə heç vaxt yeni alqoritmlərin buraxılması barədə açıqlama vermədi. Buna görə də, yalnız amansız nəzarət sizə mövzunun lideri qalmağa və ya biri olmağa imkan verəcəkdir!
Deməli, siz sayt yaratmısınız, onu unikal məzmunla doldurmusunuz, sonra bu saytı Yandex və Google kimi ən populyar axtarış sistemlərinə əlavə etmisiniz, lakin nədənsə sayt zəif indekslənib və ya ümumiyyətlə indeksləşdirilməyib. Bu yazıda mən sizə saytların zəif indeksləşdirilməsinin əsas səbəbləri haqqında məlumat verəcəyəm, həmçinin sayt səhifələrinin axtarış sistemlərinə daxil edilməsi prosesini sürətləndirə biləcək bəzi məsləhətlər verəcəyəm.
Çaxnaşmaya düşməzdən əvvəl gəlin, saytın axtarış sistemlərində qeyd olunduqdan sonra nə qədər müddətə indeksləşdirilə biləcəyini və nə vaxt əsəbləşməyə başlayacağını öyrənək.
Əksər hallarda sayt 2-4 həftə ərzində haradasa indeksləşdirilməyə başlayır. Bəzən daha sürətli (hətta ertəsi gün!). Əgər sayt bir aydan artıq müddət ərzində indeksləşdirilmirsə, o zaman saytın indeksləşdirilməsinə mane olan səbəbləri aradan qaldırmaq üçün artıq tədbirlər görməyə başlamaq lazımdır. Əlbəttə ki, əvvəlcə belə maneələrin olmadığına əmin olmaq daha yaxşıdır ...
Sayt niyə indekslənmir
Əvvəlcə saytın indeksləşdirilməsinin çətin olmasının əsas səbəblərini nəzərdən keçirək:
Unikal olmayan məzmun. Saytdakı məqalələr unikal olmalıdır, yəni. başqa saytlarda tapılmamalıdır. Xüsusilə axtarış sistemləri, link satan qeyri-adi məzmunlu saytları sevmir. Belə saytlar gec-tez (və Son vaxtlar bu çox tez-tez olur) PS filtrinin altına düşür, ondan çıxmaq demək olar ki, mümkün deyil və bu cür saytların səhifələri axtarışdan əbədi olaraq yox olur. Əgər saytın qeyri-adi məzmunu varsa, lakin oradan keçidlər satılmayıbsa, o zaman saytınızda unikal məqalələr göründükdən sonra saytın indeksləşdirilməsi və normal sıralanması şansı var.
Yenidən optimallaşdırma, spam göndərmə. Məbləği aşmayın əsas ifadələr məqalədə, həmçinin etiketlərdə , , , və s. Hər şey təbii və rahat görünməlidir.
Keyfiyyətsiz məzmun. Düşünürəm ki, keyfiyyətsiz məzmunun nə olduğunu izah etməyə ehtiyac yoxdur. Hər birimiz onun hansı məqalə yazdığını bilirik - insanlar üçün və ya axtarış robotları üçün ...
Sayt başqa saytın güzgüsüdür. Bu, tamamilə unikal məzmunlu bir saytın olduğu vəziyyətə aiddir, lakin məna və quruluş baxımından başqa bir saytı tamamilə və ya qismən kopyalayır. Belə saytlar axtarış sistemləri tərəfindən də filtrlənə bilər. Ən azı, Yandex bu cür saytları çox da sevmir və fərq etsə, onları bütün saytların “əsas güzgüsü” ilə “yapışdırır”.
robots.txt faylında saytın indeksləşdirilməsi qadağandır. Belə olur ki, vebmaster təsadüfən robots.txt faylında saytın indeksləşdirilməsini söndürə bilər. Beləliklə, əvvəlcə bu faylı yoxlayın. Əgər robots.txt-nin nə olduğunu bilmirsinizsə, Yandex.Webmaster xidmətinin "robots.txt-dən istifadə" bölməsində hər şey çox yaxşı təsvir edilmişdir.
Meta teqlərdə saytın indeksləşdirilməsi qadağandır. Sayt səhifəsinin HTML kodunu yoxlamağa əmin olun. Əgər kodda kod varsa , bu o deməkdir ki, axtarış robotlarına noindex əmri ilə göstərildiyi kimi səhifəni indeksləşdirmək və səhifədəki keçidləri izləmək (nofollow əmri) qadağandır. Bənzər bir meta teq var . Bu meta teq həmçinin mətnin indeksləşdirilməsini və səhifədəki keçidləri qadağan edir.
Saytdan linklərin satışı. Yandex sayt sahibinin öz saytından linkləri sataraq az (yaxud çox) qazanmasının əleyhinə deyil. Ancaq həddən artıq çox bağlantı satarsanız (və bunun nə qədəri "çoxdur", yalnız Yandex bilir), bu, indeksdən səhifələrin böyük itkisinə səbəb ola bilər. Onu da başa düşməlisiniz ki, əgər siz linklər sataraq saytda pul qazanmaq istəyirsinizsə, o zaman bu sayt internet istifadəçiləri üçün həqiqətən faydalı olmalıdır (yaxşı və ya bir az da faydalı) və təbii ki, saytda unikal məqalələr olmalıdır. . Google üçün eyni şeyi deyə bilmərəm. Ümumiyyətlə, Google axtarış sistemi mümkün və qeyri-mümkün olan hər şeyi indeksləşdirməyə çalışır - bir növ indeksləşdirmə canavarı (belə olur ki, Google hətta robots.txt faylında indeksləşdirilməsi qadağan edilən səhifələri də indeksləşdirir, əgər onların linkləri varsa), lakin bütün səhifələri yaxşı sıralamır (nəzərə alır). Həm də belə bir fikir var ki, çoxlu xarici keçidlər varsa, səhifənin çəkisi itirilir - bu, saytı bir keçid zibilliyinə çevirməməyin başqa bir səbəbidir.
Bağlantı partlayışı. Bir gözəl gün minlərlə resurs bir anda naməlum sayta keçid etməyə başlasa, bu, axtarış motorlarının həm onların əlaqələndirdiyi saytla, həm də istinad edən saytlarla bağlı ciddi sanksiyalarına səbəb ola bilər. Ümumiyyətlə, hər kəs zərər görür!
Hostinq axtarış motoru robotlarını bloklayır. Təəssüf ki, bu da olur. Beləliklə, yaxşı reputasiyaya malik olan etibarlı hostların xidmətlərindən istifadə edin.
Aldığınız domen əvvəllər axtarış motorları tərəfindən qadağan edilib (bloklanıb). Satın alınan domenin tarixini öyrənmək imkanı varsa, onu öyrənməyə əmin olun.
Sayt səhvən PS filtrinin altına düşüb. Bu tez-tez baş vermir, lakin olur (təxminən 1-2% hallarda). Əgər saytınızın axtarış sistemlərinin keyfiyyət standartının bütün tələblərinə cavab verdiyinə əminsinizsə, o zaman onlara məktub yaza bilərsiniz və bir müddət sonra (bəlkə də uzun yazışmalardan sonra) saytınız indeksləşdiriləcək.
Bir çox başqa səbəblər, o qədər çoxdur ki, hər şey sadəcə bir məqaləyə sığmır. Məntiqi yandırın, saytı təhlil edin və siz saytın PS-də indeksləşdirilməsinə mane olan səbəbləri özünüz müəyyən edə biləcəksiniz.
Saytın indeksləşdirilməsini necə sürətləndirmək olar
Əgər saytınızın oyun qaydalarını pozmadığına əminsinizsə (gəlin onu belə adlandıraq), lakin hələ də kifayət qədər uzun müddət indeksləşdirilməyibsə, axtarış robotları sadəcə saytınızı tapa bilmir. Yaxşı, bacarmırlar və budur! Bu halda, axtarış sisteminə saytınızın səhifələrini tapmaqda kömək etməlisiniz, bundan sonra haqqında danışacağıq.
Beləliklə, Yandex və Google axtarış motorlarında saytların indeksləşdirilməsini necə sürətləndirmək olar:
Addım 3: Sayt xəritəsi faylında indeksləşdirilməsi lazım olan bütün səhifələri göstərin. Bir çox veb ustaları, saytın indeksləşdirilməsi prosesində o qədər də əhəmiyyətli olmadığını, ancaq boş yerə hesab edərək bu faylı laqeyd edirlər. Bəzən saytın indeksləşdirilməsinə kömək edə bilən Sayt Xəritəsi faylıdır. Və bu yaxınlarda mənə iş üçün 3 sayt veriləndə əmin oldum ki, onların bir ümumi problemi var idi - 6 ay ərzində hər saytın Google axtarış sistemində indekslənmiş cəmi 2-3 səhifəsi var idi. Üstəlik, bütün bu saytlar çoxdan Google Webmaster Center və Yandex.Webmaster-ə əlavə edilib və müxtəlif saytlardan bir çox səhifələr artıq əlaqələndirilib. Qəribədir ki, bu saytlar çoxdan Yandex PS-də uğurla indeksləşdirilib, lakin Google nədənsə onlardan yan keçib. Sonra bütün saytlara sayt xəritəsi faylları əlavə etmək qərarına gəldim. Və nə düşünürsünüz - cəmi 2-3 həftə ərzində hər 3 sayt Google-da indeksləşdirilməyə başladı. Onu da qeyd etdim ki, vebmaster panelinə bir sayt əlavə etsəniz və Sayt xəritəsi faylına gedən yolu eyni yerdə qeyd etsəniz, o zaman sayt çox vaxt cəmi 1 günə indekslənir! Sayt xəritəsinin nə olduğunu bilmirsinizsə, bu haqda oxuya bilərsiniz. Demək olar ki, hər bir mühərrikdə Sayt Xəritəsi faylı yaradan öz plaginləri var, lakin mühərrikinizdə bu imkan yoxdursa, XML Sayt Xəritələri Generatoru kimi xüsusi xidmətdən istifadə edərək Sayt Xəritəsi faylı yarada bilərsiniz. Sadəcə saytın ünvanını daxil edin və Start düyməsini basın, sonra bu faylı yükləyin və ftp vasitəsilə saytınızın kök qovluğuna yükləyin. Sonra vebmaster panelində sayt xəritəsi faylına gedən yolu göstərin.
Addım 5 (isteğe bağlı): Xarici keçidlərlə saytın indeksləşdirilməsini sürətləndirin.Ən çox təsirli üsul Xarici keçidlərdən istifadə edərək saytın indeksləşdirilməsi, müxtəlif (tercihen tematik) blogların saytınızın ən əhəmiyyətli səhifələrinə keçid etməsinə əmin olmaqdır, çünki onlar ən sürətli indeksləşdirilir (əgər bloq populyardırsa və tez-tez yenilənirsə, hər 2-dən bir indeksləşdirilə bilər). saat!). Blogun xidmətindən və ya hər hansı digər xidmətlərdən istifadə edərək bloqlardan sayta əbədi keçidlər əldə edə bilərsiniz (hər səhifəyə 2-3 keçid kifayətdir).
Sayt hələ də indeksləşdirilməyibsə nə etməli?
Bütün bu məsləhətlər kömək etmədisə və saytınız daha bir aydan sonra indekslənməyibsə, onda yalnız bir şey qalır - axtarış motoru işçilərinə yazmaq:
- Yandex-ə yazın. Təcrübə göstərir ki, əksər hallarda onlar aşağıdakılara cavab verirlər: "saytınızın keyfiyyətini yaxşılaşdırın ...". Ancaq sizə şablon cavab verilsə, ümidsiz olmayın - bu, çox güman ki, bir şey deməkdir ki, saytı nəzərdən keçirməyə ümumiyyətlə vaxt yox idi. Lazım gələrsə, Yandex ilə uzun yazışmalara girin və hüquqlarınızı müdafiə edin. Saytınızla maraqlandığınızı bildirin. Əgər saytınızın yüksək keyfiyyətli olduğuna tam əminsinizsə, gec-tez filtr oradan silinəcək.
- Google-a yazın. Google-a rus dilində sual verə bilərsiniz, lakin onlar sizə ingilis dilində və çox vaxt standart cavabla cavab verəcəklər. 1-ci cavab belə olacaq: “Biz saytın nəzərdən keçirilməsi üçün sorğunuzu qəbul etdik... və s. və s.". 2-ci cavab, əgər saytınızda hər şey qaydasındadırsa, belə olacaq: “Biz saytınızı nəzərdən keçirdik və spamın olmasını tapmadıq. Saytın indeksləşdirilməsini gözləyin.
Sonda sizə son bir məsləhət vermək istərdim. Müxtəlif forumlarda, bloqlarda və digər resurslarda saytınızın ünvanını verməyin və saytınızın hələ indekslənmədiyini heç kimə deməyin. Vicdansız insanlar saytınızdan bütün məzmunu oğurlayaraq bundan istifadə edə bilərlər. Həmçinin, indekslənməmiş saytı qovluqlarda qeyd etməməlisiniz, çünki. kataloq sahibləri axtarışda səhifələr üçün saytınızı yoxlaya və həmçinin sayt səhifələrini oğurlaya bilərlər.
Uğurlu indeksləşdirmə arzulayıram!
Qeyd Məşhurluq: 34%
Əgər saytın materiallarını bəyəndinizsə və bu resursun müəllifinə təşəkkür etmək istəyirsinizsə, o zaman aşağıdakı banner kodunu köçürün və saytınızın istənilən səhifəsində yapışdırın.
Yazıya 34 şərh "Sayt niyə indekslənmir və ya əvvəlcədən nəyə diqqət yetirilməli idi"
-
Добрый день!
Впервые занялась наполнением собственного сайта, до этого работала копирайтером, то есть писала для других. Сначала сайт располагался на домене 3 ур, а месяц назад его перенесли на нормальный домен. Адрес сайта cool2.ru
Salam 3-cü bənd hesabına mənim ucozda saytım var amma nədənsə Yandex-də cəmi 2 səhifə indekslənib və orda fayllar var
Ümumiyyətlə, ucoz ilə hazırlanan saytlar ucoz-a yüksək inam sayəsində axtarış sistemlərində kifayət qədər yaxşı indekslənir. Bəzən Yandex.Webmaster və Google Webmaster Center-ə sayt əlavə etmək kifayətdir və sayt 2-4 həftə ərzində heç bir problem olmadan indeksləşdirilir, əgər təbii ki, unikal məzmunu varsa. Sayt səhifələrinə keçidləri olan XML Sayt Xəritəsi faylını əlavə etməyə çalışın - bəlkə bu kömək edəcək. Düzdür, ucozdakı saytların belə bir imkanının olub-olmadığını bilmirəm.
Sayt neçə vaxtdır indeksləşdirilmir?
Salam. Məqalə çox yaxşıdır, təşəkkürlər! Amma yenə də heç bir məqalənin cavab verə bilməyəcəyi bir sual var (heç yerdə yazılmayıb). uCoz domenindəki saytım pulsuz və VAREZ mövzusudur. Mən yalnız unikal xəbərləri əlavə edirəm, özüm yazıram, səhvlər yalnız filmlərin və ya oyunların baş qəhrəmanlarının adlarında olur, yəni axtarış sistemi bu adları və ya ifadələri bilmir. Yandex robotları tez-tez bəzi xəbərləri qaçırırlar, mən 10 unikal film əlavə edəcəyəm və 2-ni atlayacağam! Sadəcə atlanır və məsələdə deyil. Bəzən bir neçə aydan sonra bu səhifələrə diqqət yetirir, bəzən də görmür. Həmçinin, yeni xəbərləri skan etmək üçün bir həftədən 2 aya qədər gözləmək lazımdır. Təbii ki, buna görə mən onları NADİRƏLƏR əlavə edirəm, əslində sual budur: Hər gün 1 və ya daha çox yeni unikal xəbər əlavə etsəm, bu problem düzələcəkmi? Saytda yukozun altından 2 sayt xəritəsi xml xəritəsi və faktiki manual xəritəsi var, onun indeksləşdirilməsi lazım olan bütün səhifələrə keçidləri var (mən onu saytı yaratdıqdan 3 ay sonra quraşdırmışam. İndi isə sayt artıq 7 aylıqdır)
yalnız filmlərin və ya oyunların baş qəhrəmanlarının adlarında səhvlər, yəni axtarış sistemi bu adları və ya ifadələri bilmir
Bu səhvləri qəsdən edirsiniz? Bütün adların düzgün olması daha yaxşıdır. Axtarış motorları hələ də adların və başlıqların ən böyük hissəsini bilirlər və əgər ad axtarışda səhv daxil edilibsə, onda PS onu avtomatik olaraq düzəldir. Saytda çoxlu səhv adlar və səhvlər varsa, bu, saytın indeksləşdirilməsinə mənfi təsir göstərə bilər.
Hər gün 1 və ya daha çox yeni unikal xəbər əlavə etsəm, bu problem həll olunacaqmı?
Problem bu deyil. Axtarış motoruna saytın bütün səhifələrini tapmaq üçün sadəcə vaxt lazımdır. Saytın uzun müddət heç bir səhifəni indeksləşdirməməsinin bir çox səbəbi ola bilər. Veb saytının ünvanını belə bilmədiyiniz zaman problemin nə olduğunu söyləmək çətindir. Ancaq yazınıza görə saytınız normal şəkildə indekslənir, lakin istədiyiniz qədər sürətli deyil. Gec-tez saytınızın bütün səhifələri indekslənəcək - sadəcə gözləmək lazımdır
Məlumatın aydın təqdimatına görə təşəkkür edirik!
Amma mən sizə bir sual vermək istərdim: axtarış sistemi saytı qismən indeksləsə nə etməli? Daha doğrusu, bütün unikal məzmunlar 3-4-cü pillədə yerləşsə də, nədənsə ünvan nədənsə 3-cü səviyyədən o tərəfə keçmir...
Axtarış motoru saytı qismən indeksləsə nə etməli? Daha doğrusu, bütün unikal məzmunlar 3-4-cü pillədə yerləşsə də, nədənsə ünvan nədənsə 3-cü səviyyədən o tərəfə keçmir...
Yalnız bir şey qalır - bu məqalədə təqdim olunan üsullardan istifadə edərək indeksləşdirməni sürətləndirmək üçün hər şeyi etmək və sonra səhifələrin indeksləşdirilməsini gözləmək. Əgər 1-2 ay ərzində səhifələr indeksə düşmürsə, deməli nəsə səhvdir - bəlkə də nəsə saytın indeksləşdirilməsinə mane olur. Əvvəlcə robots.txt faylını yoxlayın - çox vaxt saytın səhifələri indeksləşdirməsinə mane olan səhv konfiqurasiya edilmiş robots.txt faylıdır. Məsələn, Səviyyə 3 səhifəsi /indeksaciya-sajta/pochemu-sajt-ne-indeksiruetsya.html adlandırılıbsa və Disallow: /indeksaciya-sajta robots.txt faylında yazılıbsa, bu səhifənin heç vaxt indeksləşdirilməsi ehtimalı azdır. .
Bir daha salam, səhifədə sağ düyməni bloklayan, şəkilləri köçürən və sürükləyən bir skript soruşmaq istərdim, budur:
document.ondragstart = test;
//запрет на перетаскивание
document.onselectstart = test;
//запрет на выделение элементов страницы
document.oncontextmenu = test;
//запрет на выведение контекстного меню
function test() {
Только скрипт почему то не полностью вставился!
Не вставился, потому что при добавлении комментарий автоматически удаляются коды, где присутствуют команды, заключённые в скобки < >. Если бы код вставился, как он есть, то на данной странице, тогда бы заработал данный скрипт. Я подправил, как нужно.
Я его себе установил и закрыл ноу индексем, он не повредит сайт? Роботы будут с ним нормально индексировать страницу? Установил его, чтобы хоть быть на 80% уверенным, что не украдут уник обычные копипастеры, которые зарабатывают на файлообменнике.
Ноуиндексом этот код бесполезно закрывать, т.к. он размещается между тегами
и .noindex лучше убрать. JavaScript легко можно отключить в браузере и скопировать контент не составит тогда особого труда. Единственный способ защитить контент — заверять его в нотариусе и отслеживать, чтобы его не воровали на других сайтах. Роботы должны нормально индексировать такие страницы.Ваш сайт не был проиндексирован из-за запрета в файле robots.txt.?
подскажите что сделать??плиииззз
Объясните по порядку, что случилось???
Евгений, у вас значит сайт на uCoze, нужно в ПУ зайти в «платные услуги» и там купить за 3$ пакет платных услуг на месяц и файл Robots.txt разрешит индексацию страниц.
добрый день! сайт был выложен неделю назад. индексации нет. сайт зарегистрирован через веб-мастер на яндексе. но всё равно не индексируется. уточнение — домен был куплен год назад, могло ли это повлиять на данную ситуацию?
добрый день! сайт был выложен неделю назад. индексации нет. сайт зарегистрирован через веб-мастер на яндексе. но всё равно не индексируется. уточнение - домен был куплен год назад, могло ли это повлиять на данную ситуацию?
То, что домен был куплен когда-то давным-давно, никоим образом не должно влиять на индексацию сайта. Вот если у сайта в течение года и более была всего одна страница, и он был проиндексирован, то индексация может быть затянута, т.к. поисковые роботы в этом случае редко заходят на сайт, потому что знают — на сайте только одна страница и нет смысла заходить на него часто. Если же сайт не был до этого проиндексирован, то волноваться не о чем — через 2−3 недели, если Вы всё сделали правильно, сайт должен проиндексироваться. Прошла всего одна неделя — в большинстве случаев сайты индексируются в Яндексе не раньше, чем через 2 недели.
сайт ikanta.com
два месяца сайту и до сих пор не проиндексировал яндекс. не понятно по какой причине. отправил три письмо Платону. ответили только на последнее — пишут -извините, что мол долго не отвечали, спасибо за сигнал, мы обязательно разберемся, что же не так и почему нет индексации. и все:) шикарный ответ. индексация так и не произошла(
сайт ikanta.com
два месяца сайту и до сих пор не проиндексировал яндекс. не понятно по какой причине. отправил три письмо Платону. ответили только на последнее - пишут -извините, что мол долго не отвечали, спасибо за сигнал, мы обязательно разберемся, что же не так и почему нет индексации. и все:) шикарный ответ. индексация так и не произошла(
Через 1−2 недели Яндекс Вам ответит, почему сайт не индексируется. То письмо, которое Вы получили, присылается всем, кто отправил письмо Платону — оно автоматическое.
Ваш сайт состоит из одних пустых страничек. Такие сайты Яндекс не любит. Я бы на Вашем сайте сделал бы хотя бы 10 информационных страничек. Ещё дал бы ответы на вопросы, чтобы страницы не состояли из одних вопросов без ответов. В таком случае у Вашего сайта будет больше шансов проиндексироваться.
Через 1−2 недели Яндекс Вам ответит, почему сайт не индексируется. То письмо, которое Вы получили, присылается всем, кто отправил письмо Платону - оно автоматическое.
Спасибо за ответ. Простите, а что Вы имеете ввиду — сайт состоит из пустых страничек? На сайте в данный момент 260 вопросов и 160 ответов. Разве 160 ответов — это не информационные странички? Если нет, тогда что вы имеете ввиду. Спасибо за ответ
Спасибо за ответ. Простите, а что Вы имеете ввиду - сайт состоит из пустых страничек? На сайте в данный момент 260 вопросов и 160 ответов. Разве 160 ответов - это не информационные странички? Если нет, тогда что вы имеете ввиду. Спасибо за ответ
Я имел в виду странички, где есть только вопросы. Получается, что на Вашем сайте из 260-ти — 100 страниц пустых. Я думал у Вас меньше ответов. Тогда получает, что на Вашем сайте 160 страниц по 200−700 символов и 100 пустых страниц без ответов. В принципе 160 ответов — это нормальное количество для индексации, пусть, даже если они имеют короткие ответы. Но хотя бы 7−10 страниц по 2000—3000 символов желательно иметь на сайте. Причём эти страницы не должны быть, где то в архиве ответов, а нужно сделать статичные странички, ссылки на которые нужно поставить где-нибудь в меню, чтобы это были страницы 2-ого уровня. Страницы 2-ого уровня — это те, на которые ссылаются с главной страницы. Страницы 3-ого уровня — это те, на которые ссылаются со страниц 2-ого уровня. Это, чтобы было понятно, о чём я говорю. Какие можно сделать странички? Ну, например:
Какими вопросами люди чаще всего задаются?
Как правильно задать вопрос?
Что делать, если не можешь найти ответа на вопрос?
Самые интересные вопросы и ответы на них
Часто задаваемые вопросы маленьких детей
На какие вопросы до сих пор нет ответов
Даже семи таких страничек будет достаточно.
Это я так, что первое пришло в голову, накидал для примера.
Вот эти пункты меню можно в правую колонку запихнуть или левую колонку создать. В разделе «Статьи» также можно добавлять разные интересные статьи обо всём на свете. В общем, задача такая — сделать так, чтобы на сайте помимо страничек с коротким текстом, были информационные страницы по 2000—3000 символов. Необязательно, чтобы их было много, но минимальное количество таких страниц должно быть. Это хорошо с точки зрения оптимизации сайта. Ну и в принципе такие странички не помешают.
Вот эти пункты меню можно в правую колонку запихнуть или левую колонку создать. В разделе «Статьи» также можно добавлять разные интересные статьи обо всём на свете. В общем, задача такая - сделать так, чтобы на сайте помимо страничек с коротким текстом, были информационные страницы по 2000-3000 символов. Необязательно, чтобы их было много, но минимальное количество таких страниц должно быть. Это хорошо с точки зрения оптимизации сайта. Ну и в принципе такие странички не помешают.
Спасибо огромное за помощь! Фронт работы наметил, приступаю к работе. Если интересно, по результатам смогу отписаться здесь — что вышло после проделанной работы.
Спасибо огромное за помощь! Фронт работы наметил, приступаю к работе. Если интересно, по результатам смогу отписаться здесь - что вышло после проделанной работы.
Буду рад, если Вы расскажете о результатах своей работы в данном посте. Буду ждать от Вас вестей о Вашем сайте.)
У Вас также на сайте я заметил, что адреса страниц состоят из русских символов — кириллицы, например: ikanta.com/453/олимпийские-игры-откуда-пошло. Это тоже нежелательно. Лучше всем страницам давать название латинскими буквами, т.е. так: ikanta.com/453/olimpiiskie-igri-otkud-poshlo.
Из-за того, что у Вашего сайта названия страниц состоят из кириллицы. Это также затрудняет индексацию страниц.
Если Платон ответит, что их алгоритмы решили не принимать Ваш сайт в поиск, то сначала модернизируйте сайт, а потом пишите Платону снова. Скажите, что Вы выявили все ошибки сайта, и теперь он соответствует требованиям поисковой системы Яндекс. Если опять Ваш сайт не пройдёт модерацию, то исправляете ещё ошибки и снова пишите Платону. И так до тех пор, пока Ваш сайт не попадёт в индекс.
Добрый день!
Проблема в том, что раньше он индексировался нормально в яндексе. Со сменой домена старый сайт был удален из вебмастера, новый добавлен. Прошел месяц, но «Загруженные страницы» так и показывает «1».
В гугле, как я понимаю, сайт проиндексировался. А вот в яндексе, видимо, не хочет...
Можете подсказать, в чем дело? Заранее спасибо!
Многие пользователи, особенно новички, задают одни и те же вопросы, на различных форумах, сайтах – почему не индексируются страницы поисковыми системами Яндекс и Google , либо же – почему плохо индексируется сайт или совсем перестал индексироваться сайт . В связи с этим разворачиваются огромные споры, так как причин, по этому поводу может быть масса и так сразу дать ответ не получиться, придется анализировать свой ресурс и выявлять конкретную причину.
Поэтому, давайте рассмотрим самый распространенные причины, по которым Ваш сайт может не индексироваться, либо же вылететь совсем из индекса.
Почему сайт не индексируется поисковыми системами?
Ускорение индексации. Не забывайте о том, чтобы Ваш сайт быстрее индексировался, необходимо добавлять , закладки и другие сервисы.
Можно еще добавить ссылку на аддурилку в поисковой системы, но некоторые говорят, что в этом случае, поисковая система поставит Ваш сайт в конец очереди для индексации. Хотя, если на Ваш сайт давно не заходил поисковой робот, то стоит это сделать.
Файл robots. txt. Возможно, у Вас не правильно составлен файл robots.txt, поэтому необходимо его просмотреть (возможно, закрыта в нем страница для индексации или вообще весь сайт).
Мета-теги. Возможно, у Вас страница закрыта от индексации с помощью мета-тегов, таких как: none, noindex, nofollow и так далее. Необходимо проверить и исправить ситуацию.
Вирус на сайте. Может быть такое, что на Вашем сайте поселился вирус, соответственно и выпал из выдачи, либо совсем не индексируется, поэтому Вам стоит .
Структура. У вас совсем не правильная структура на сайте. Возможно, нарушено правило трех кликов. То есть, чтобы добраться до конкретной статьи на сайте (страницы), необходимо произвести больше трех кликов.
Хостинг. Может быть такое, что Ваш проводит какие-то работы, в связи с этим поисковая система не может получить доступ к сайту (поисковой робот не может получить доступ к сайту) и возникают ошибки такого рода. Если поисковой робот Яндекс не может получить доступ к сайту, то прочитайте .
Домен. Может быть и такое, что Вы купили свой домен, на который были наложены санкции со стороны поисковых систем. Вам необходимо проверять доменное имя перед его покупкой.
Контент сайта. Самая распространенная причина, почему Ваш сайт не индексируется – на нем присутствует не уникальный контент. Вам стоит писать качественный и уникальный контент для сайта, а не копировать с других.
Как проверить страницу в индексе поисковых систем?
Существует масса вариантов, масса сервисов, но самый простой – это скопировать часть статьи (ее название или URL) и вставить в строку поиска и найти ее. Если Ваша страница появиться на первых страницах поиска, значит она проиндексирована, если нет – то увы.
Что такое индексирование? Это процесс получения роботом содержимого страниц вашего сайта и включение этого содержимого в результаты поиска. Если обратиться к цифрам, то в базе индексирующего робота содержится триллионы адресов страниц сайта. Ежедневно робот запрашивает миллиарды таких адресов.
Но этот весь большой процесс индексирования Интернета можно разделить на небольшие этапы:
![](https://i2.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.11.52.png)
Во-первых, индексирующий робот должен узнать о появлении страницы вашего сайта. Например, проиндексировав другие страницы в Интернете, найдя ссылки, либо загрузив файл set nemp. О страничке мы узнали, после чего планируем обход этой страницы, отправляем данные к вашему серверу на запрос этой страницы сайта, получаем контент и включаем его в результаты поиска.
Этот весь процесс – это процесс обмена индексирующим роботом с вашим сайтом. Если запросы, которые посылает индексирующий робот, практически не меняются, а меняется только адрес страницы, то ответ вашего сервера на запрос страницы роботом зависит от многих факторов:
- от настроек вашей CMS;
- от настроек хостинг провайдера;
- от работы промежуточного провайдера.
Этот ответ как раз меняется. Прежде всего при запросе страницы робот от вашего сайта получает такой служебный ответ:
![](https://i0.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.12.12.png)
Это HTTP заголовки. В них содержится различная служебная информация, которая дает роботу понять передача какого контента сейчас будет происходить.
Мне хочется остановиться на первом заголовке – это HTTP-код ответа, который указывает индексирующему роботу на статус страницы, которую запросил робот.
Таких статусов HTTP-кодов несколько десятков:
![](https://i0.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.12.22.png)
Я расскажу о самых популярных. Наиболее распространенный код ответа – это HTTP-200. Страница доступна, ее можно индексировать, включать в результаты поиска, все отлично.
Противоположность этого статуса – это HTTP-404. Страница отсутствует на сайте, индексировать нечего, включать в поиск тоже нечего. При смене структуры сайтов и смене адресов внутренних страниц мы советуем настраивать 301 сервер на редирект. Как раз он укажет роботу на то, что старая страница переехала на новый адрес и необходимо включать в поисковую выдачу именно новый адрес.
Если контент страницы не менялся с последнего посещения страницы роботом, лучше всего возвращать код HTTP-304. Робот поймет, что обновлять в результатах поиска страницы не нужно и передача контента тоже не будет происходить.
При кратковременной доступности вашего сайта, например, при проведении каких-либо работ на сервере, лучше всего настраивать HTTP-503. Он укажет роботу на то, что сейчас сайт и сервер недоступны, нужно зайти немножко попозже. При кратковременной недоступности это позволит предотвратить исключение страниц из поисковой выдачи.
Помимо этих HTTP-кодов, статусов страниц, необходимо еще получить непосредственно контент самой страницы. Если для обычного посетителя страница выглядит следующим образом:
![](https://i1.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.12.38.png)
это картиночки, текст, навигация, все очень красиво, то для индексирующего робота любая страница – это просто набор исходного кода, HTML-кода:
![](https://i2.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.12.54.png)
Различные метатеги, текстовое содержимое, ссылки, скрипты, куча всякой информации. Робот собирает ее и включает в поисковую выдачу. Кажется, все просто, запросили страницу – получили статус, получили содержимое, включили в поиск.
Но недаром в службу поискового сервиса в Яндексе приходит более 500 писем от вебмастеров и владельцев сайтов о том, что возникли определенные проблемы как раз с ответом сервера.
Все эти проблемы можно разделить на две части:
Это проблемы с HTTP-кодом ответа и проблемы с HTML-кодом, с непосредственным содержимым страниц. Причин возникновения этих проблем может быть огромное множество. Самая распространенная – это блокировка индексирующего робота хостинг-провайдером.
![](https://i1.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.13.12.png)
Например, вы запустили сайт, добавили новый раздел. Робот начинает посещать ваш сайт чаще, увеличивает нагрузку на сервер. Хостинг-провайдер видит это на своих мониторингах, блокирует индексирующего робота, и поэтому робот не может получить доступ к вашему сайту. Вы заходите на ваш ресурс – все отлично, все работает, странички красивенькие, все открывается, все супер, робот при этом проиндексировать сайт не может. При временной недоступности сайта, например, если забыли оплатить доменное имя, сайт отключен на несколько дней. Робот приходит на сайт, он недоступен, при таких условиях он может пропасть из поисковой выдачи буквально через некоторое время.
Некорректные настройки CMS, например, при обновлении или переходе на другую CMS, при обновлении дизайна, так же могут послужить причиной того, что страницы вашего сайта могут пропасть из выдачи при некорректных настройках. Например, наличие запрещающего метатега в исходном коде страниц сайта, некорректная настройка атрибута canonical. Проверяйте, что после всех изменений, которые вы вносите на сайт, страницы доступны для робота.
В этом вам поможет инструмент в Яндекс. Вебмастере по проверке ответа сервера:
![](https://i0.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.13.30.png)
Можно посмотреть какие HTTP заголовки возвращает ваш сервер роботу, непосредственно содержимое страниц.
![](https://i0.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.13.45.png)
В разделе «индексирование» собрана статистика, где вы можете посмотреть какие страницы исключены, динамику изменения этих показателей, сделать различную сортировку и фильтрацию.
![](https://i0.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.13.55.png)
Так же, уже сегодня говорил об этом разделе, раздел «диагностика сайта». В случае, если ваш сайт стал недоступен для робота, вы получите соответствующее уведомление и рекомендации. Каким образом это можно исправить? Если таких проблем не возникло, сайт доступен, отвечает кодам-200, содержит корректный контент, то робот начинает в автоматическом режиме посещать все страницы, которые он узнает. Не всегда это приводит к нужным последствиям, поэтому деятельность робота можно определенным образом ограничить. Для этого существует файл robots.txt. О нем мы и поговорим в следующем разделе.
Robots.txt
Сам по себе файлик robots.txt – это небольшой текстовый документ, лежит он в корневой папке сайта и содержит строгие правила для индексирующего робота, которые нужно выполнять при обходе сайта. Преимущества файла robots.txt заключаются в том, что для его использования не нужно особых и специальных знаний.
Достаточно открыть Блокнот, ввести определенные правила по формату, а затем просто сохранить файл на сервере. В течении суток робот начинает использовать эти правила.
Если взять пример файла robots.txt простенького, вот он, как раз на следующем слайде:
![](https://i2.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.14.12.png)
Директива User-Agent:” показывает для каких роботов предназначается правило, разрешающие\запрещающие директивы и вспомогательные директивы Sitemap и Host. Немножко теории, хочется перейти к практике.
Несколько месяцев назад мне захотелось купить шагометр, поэтому я обратился к Яндекс. Маркету за помощью с выбором. Перешел с главной страницы Яндекс на Яндекс. Маркет и попал на главную страницу сервиса.
![](https://i0.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.14.31.png)
Внизу вы видите адрес страницы, на которую я перешел. К адресу самого сервиса еще добавился идентификатор меня, как пользователя на сайте.
Потом я перешел в раздел «каталог»
![](https://i2.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.15.38.png)
Выбрал нужный подраздел и настроил параметры сортировки, цену, фильтр, как сортировать, производителя.
Получил список товаров, и адрес страницы уже разросся.
Зашел на нужный товар, нажал на кнопочку «добавить в корзину» и продолжил оформление.
За время моего небольшого путешествия адреса страниц менялись определенным образом.
![](https://i1.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.16.27.png)
К ним добавлялись служебные параметры, которые идентифицировали меня, как пользователя, настраивали сортировку, указывали владельцу сайта откуда я перешел на ту или иную страницу сайта.
Такие страницы, служебные страницы, я думаю, что не очень будут интересны пользователям поисковой системы. Но если они будут доступны для индексирующего робота, в поиск они могут попасть, поскольку робот себя ведет, по сути, как пользователь.
Он переходит на одну страничку, видит ссылочку, на которую можно кликнуть, переходит на нее, загружает данные в базу робота свою и продолжает такой обход всего сайта. В эту же категорию таких адресов можно отнести и личные данные пользователей, например, такие, как информация о доставке, либо контактные данные пользователей.
Естественно, их лучше запрещать. Как раз для этого и поможет вам файл robots.txt. Вы можете сегодня вечером по окончанию Вебмастерской прийти на свой сайт, покликать, посмотреть какие страницы действительно доступны.
Для того, чтобы проверить robots.txt существует специальный инструмент в Вебмастере:
![](https://i0.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.17.05.png)
Можно загрузить, ввести адреса страниц, посмотреть доступны они для робота или нет.
![](https://i1.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.17.17.png)
Внести какие-то изменения, посмотреть, как отреагирует робот на эти изменения.
Ошибки при работе с robots.txt
Помимо такого положительного влияния – закрытие служебных страниц, robots.txt при неправильном обращении может сыграть злую шутку.
Во-первых, самая распространенная проблема при использовании robots.txt – это закрытие действительно нужных страниц сайта, те, которые должны находиться в поиске и показываться по запросам. Прежде чем вы вносите изменения в robots.txt, обязательно проверьте не участвует ли страница, которую вы хотите закрыть, не показывается ли по запросам в поиске. Возможно страница с каким-то параметрами находится в выдаче и к ней приходят посетители из поиска. Поэтому обязательно проверьте перед использованием и внесением изменений в robots.txt.
Во-вторых, если на вашем сайте используются кириллические адреса, в robots.txt их указать не получится в прямом виде, их обязательно нужно кодировать. Поскольку robots.txt является международным стандартным, им следуют все индексирующие роботы, их обязательно нужно будет закодировать. Кириллицу в явном виде указать не получится.
Третья по популярности проблема – это различные правила для разных роботов разных поисковых систем. Для одного индексирующего робота закрыли все индексирующие страницы, для второго не закрыли совсем ничего. В результате этого у вас в одной поисковой системе все хорошо, в поиске нужная страница, а в другой поисковой системе может быть трэш, различные мусорные страницы, еще что-то. Обязательно следите, если вы устанавливаете запрет, его нужно делать для всех индексирующих роботов.
Четвертая по популярности проблема – это использование директивы Crawl-delay, когда в этом нет необходимости. Данная директива позволяет повлиять на чистоту запросов со стороны индексирующего робота. Это практический пример, маленький сайт, разместили его на небольшом хостинге, все прекрасно. Добавили большой каталог, робот пришел, увидел кучу новых страниц, начинает чаще обращаться на сайт, увеличивает нагрузку, скачивает это и сайт становится недоступным. Устанавливаем директиву Crawl-delay, робот видит это, снижает нагрузку, все отлично, сайт работает, все прекрасно индексируется, находится в выдаче. Спустя какое-то время сайт разрастается еще больше, переносится на новый хостинг, который готов справляться с этими запросами, с большим количеством запросов, а директиву Crawl-delay забывают убрать. В результате чего робот понимает, что на вашем сайте появилось очень много страниц, но не может их проиндексировать просто из-за установленной директивы. Если вы когда-либо использовали директиву Crawl-delay, проверьте, что сейчас ее нет и что ваш сервис готов справиться с нагрузкой от индексирующего робота.
![](https://i2.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.17.36.png)
Помимо описанной функциональности файл robots.txt позволяет еще решить две очень важные задачи – избавиться от дублей на сайте и указать адрес главного зеркала. Об этом как раз мы и поговорим в следующем разделе.
Дубли
![](https://i0.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.17.47.png)
Под дублями мы понимаем несколько страниц одного и того же сайта, которые содержат абсолютно идентичный контент. Самый распространенный пример – это страницы со слешом и без слеша в конце адреса. Так же под дублем можно понимать один и тот же товар в различных категориях.
Например, роликовые коньки могут быть для девочек, для мальчиков, одна и та же модель может находиться в двух разделах одновременно. И, в-третьих, это страницы с незначащим параметром. Как в примере с Яндекс. Маркетом эта страничка «идентификатор сессии», такой параметр не меняет контент страницы в принципе.
Чтобы обнаружить дубли, посмотреть к каким страницам робот обращается, вы можете использовать Яндекс. Вебмастер.
![](https://i0.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.18.09.png)
Помимо статистики есть еще и адреса страниц, которые робот загрузил. Вы видите код и последнее обращение.
Неприятности, к которым приводят дубли
Чем же плохи дубли?
Во-первых, робот начинает обращаться к абсолютно идентичным страницам сайта, что создает дополнительную нагрузку не только на ваш сервер, но и влияет на обход сайта в целом. Робот начинает уделять внимание дублирующим страницам, а не тем страницам, которые нужно индексировать и включать в поисковую выдачу.
![](https://i2.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.18.25.png)
Вторая проблема – это то, что дублирующие страницы, если они доступны для робота, могут попасть в результаты поиска и конкурировать с основными страницами по запросам, что, естественно, может негативно повлиять на нахождение сайта по тем или иным запросам.
Как можно бороться с дублями?
Прежде всего я советую использовать “canonical” тег для того, чтобы указать роботу на главную, каноническую страницу, которая должна индексироваться и находиться в поиске по запросам.
Во втором случае можно использовать 301 серверный редирект, например, для ситуаций со слешом на конце адреса и без слеша. Установили перенаправление – дублей нет.
![](https://i2.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.18.42.png)
И в-третьем, как я уже говорил, это файл robots.txt. Можно использовать как запрещающие директивы, так и директиву Clean-param для того, чтобы избавиться от незначащих параметров.
Зеркала сайта
Вторая задача, которую позволяет решить robots.txt – это указать роботу на адрес главного зеркала.
![](https://i0.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.18.57.png)
Зеркала – это группа сайтов, которые абсолютно идентичны, как дубли, только различные два сайта. Вебмастера обычно с зеркалами сталкиваются в двух случаях – когда хотят переехать на новый домен, либо, когда для пользователя нужно сделать несколько адресов сайта доступными.
Например, вы знаете, что пользователи, когда набирают ваш адрес, адрес вашего сайта в адресной строке, часто делают одну и ту же ошибку – опечатываются, не тот символ ставят или еще что-то. Можно приобрести дополнительный домен для того, чтобы пользователям показывать не заглушку от хостинг-провайдера, а показывать тот сайт, на который они действительно хотели перейти.
Остановимся на первом пункте, потому что именно с ним чаще всего и возникают проблемы в работе с зеркалами.
Весь процесс переезда я советую осуществлять по следующей инструкции. Небольшая инструкция, которая позволит вам избежать различных проблем при переезде на новое доменное имя:
Во-первых, вам необходимо сделать сайты доступными для индексирующего робота и разместить на них абсолютно идентичный контент. Так же убедитесь, что о существовании сайтов роботу известно. Проще всего добавить их в Яндекс. Вебмастер и подтвердить на них права.
Во-вторых, с помощью директивы Host указывайте роботу на адрес главного зеркала – тот, который должен индексироваться и находиться в результатах поиска.
Ждем склейки и переноса всех показателей со старого сайта на новый.
![](https://i1.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.19.16.png)
После чего уже можно установить перенаправление со старого адреса на новый. Простенькая инструкция, если вы переезжаете, обязательно используйте ее. Надеюсь, проблем не возникнет с
переездом.
Но, естественно, при работе с зеркалами возникают ошибки.
Прежде всего самая главная проблема – это отсутствие явных указаний для индексирующего робота на адрес главного зеркала, тот адрес, который должен находиться в поиске. Проверьте на ваших сайтах, что в robots.txt у них указана директива хоста, и она ведет именно на тот адрес, который вы хотите видеть в поиске.
Вторая по популярности проблема – это использование перенаправления для того, чтобы сменить главного зеркала в уже имеющейся группе зеркал. Что происходит? Старый адрес, поскольку осуществляет перенаправление, роботом не индексируется, исключается из поисковой выдачи. При этом новый сайт в поиск не попадает, поскольку является неглавным зеркалом. Вы теряете трафик, теряете посетителей, я думаю, что это никому не нужно.
![](https://i1.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-06-11.19.31.png)
И третья проблема – это недоступность одного из зеркал при переезде. Самый распространенный пример в этой ситуации, когда скопировали контент сайта на новый адрес, а старый адрес просто отключили, не оплатили доменное имя и он стал недоступен. Естественно такие сайты склеены не будут, они обязательно должны быть доступны для индексирующего робота.
Полезные ссылки в работе:
- Больше полезной информации вы найдете в сервисе Яндекс.Помощь .
- Все инструменты, о которых я говорил и даже больше – есть бета-версия Яндекс.Вебмастера .
Ответы на вопросы
«Спасибо за доклад. Нужно ли в robots.txt закрывать индексацию CSS-файлов для робота или нет?».
На текущий момент мы не рекомендуем закрывать их. Да, CSS, JavaScript лучше оставить, потому что сейчас, мы работаем над тем, чтобы индексирующий робот начал распознавать и скрипты на вашем сайте, и стили, видеть, как посетитель из обычного браузера.
«Подскажите, а если url’ы адресов сайта будут одинаковые, у старого и у нового – это нормально?».
Да, ничего страшного. По сути, у вас просто обновление дизайна, добавление какого-то контента.
«На сайте есть категория и она состоит из нескольких страниц: слеш, page1, page2, до 10-ти, допустим. На всех страницах один текст категории, и он, получается, дублирующий. Будет ли этот текст являться дубликатом или нужно его как-то закрывать, новый индекс на вторых и далее страницах?».
Прежде всего, поскольку на первой странице пагинации, а на второй странице контент, в целом-то, отличаются, они дублями не будут. Но нужно рассчитывать, что вторая, третья и дальше страницы пагинации могут попасть в поиск и показывать по какому-либо релевантному запросу. Лучше в страницах пагинации я бы рекомендовал использовать атрибут canonical, в самом лучшем случае – на странице, на которой собраны все товары для того, чтобы робот не включал страницы пагинации в поиске. Люди очень часто используют canonical на первую страницу пагинации. Робот приходит на вторую страницу, видит товар, видит текст, страницы в поиск не включает и понимает за счет атрибута, что надо включать в поисковую выдачу именно первую страницу пагинации. Используйте canonical, а сам текст закрывать, думаю, что не нужно.
Источник (видео): Как настроить индексирование сайта - Александр Смирнов
Магомед Чербижев
Поделиться:В этой статье мы расскажем, почему Яндекс может не индексировать конкретную страницу на сайте, раздел или весь проект целиком. Описанные проблемы могут повлиять и на индексацию в Google, и в любых других поисковых системах. Выпадение страниц из индекса – серьезная проблема, поскольку напрямую влияет на потенциальное количество переходов, которое может получить ресурс из поисковых систем.
1. Яндекс не индексирует сайт полностью
Если у вас новый сайт, то он появится в поисковой системе не сразу – может пройти от 2-3 недель до месяца. Как правило, Google быстрее находит и индексирует новые проекты, Яндекс – медленнее.
Если 2-3 недели прошло и все равно Яндекс не индексирует сайт – возможно, он просто о нем не знает:
- Добавьте ссылку на сайт в специальную форму: http://webmaster.yandex.ru/addurl.xml
- Добавьте сайт в сервис Яндекс.Вебмастер: http://webmaster.yandex.ru
- Добавьте на сайт Яндекс.Метрику
- Разместите на сайт ссылки из социальных сетей и блогов (роботы поисковых систем активно индексируют новый контент в социальных сетях и блогах);
1.2. Старый сайт частично или полностью выпал из индекса
Данную проблему вы заметите, сравнив число страниц на сайте и количество страниц в индексе поисковой системы (можно посмотреть через сервис Яндекс.Вебмастер).
Если из индекса выпало большинство страниц, и осталась только главная страница или главная и несколько внутренних – проблема скорее всего в наложенном фильтре АГС . Яндекс посчитал контент вашего сайта неуникальным или мало привлекательном для пользователей. Необходимо переработать содержание сайта.
Помимо наложения фильтров, Яндекс может не индексировать сайт по следующим причинам:
- Случайно запретили индексацию в файле Robots.txt . Проверьте его содержание.
- Робот не может получить доступ к сайту по причине нестабильной работы хостинга или IP-адрес робота случайно забанили (например, сайт отражал DDOS-атаку и робота поисковой системы приняли за атакующего).
2. Яндекс не индексирует страницы на сайте
Данная проблема встречается чаще, чем выпадение всего сайта из индекса. Из типичных проблем, при которых Яндекс может не индексировать страницу, можно выделить:
- Робот поисковой системы не доходит до страницы из-за запутанной структуры сайта или высокого уровня вложенности. Постарайтесь сделать так, чтобы на любую страницу сайта можно было попасть, сделав два щелчка мышкой. Создайте карту сайта.
- На странице мало уникального, интересного контента, и поисковая система не считает ее полезной для посетителей. Проверьте уникальность текста, доработайте его, сделайте более полезным.
- Количество страниц на сайте превышает лимит, выделенный поисковой системой для проекта. Например, Яндекс готов взять в индекс с вашего сайта 10 тысяч страниц, а на вашем проекте – 15 тысяч страниц. В любом случае 5 тысяч страниц в индекс не попадут. Старайтесь развивать проект, чтобы повысить лимит – и закрывайте от индексации ненужные, служебные страницы, чтобы освободить место в индексе для продвигаемых страниц.
- На страницу нет ссылок – соответственно, поисковая система не может ее найти.
- Страница запрещена к индексации в файле Robots.txt . Проверьте содержание файла.
- Страница содержит атрибут noindex в мета-теге robots, поэтому не индексируется поисковыми системами. Проверьте код страницы.
- Меню сайта сделано на флеше, который поисковые системы не обрабатывают. Соответственно, Яндекс не индексирует страницы сайта, ссылки на которые спрятаны во флеше. Необходимо сделать альтернативное меню, ссылки в котором будут доступы для роботов поисковых систем.