Створили сайт, але не можете його знайти у пошукових системах? Не проблема! У цьому матеріалі Ви дізнаєтесь, як проіндексувати сайт у Яндекс та Google, за максимально короткий проміжок часу. Напевно, про плюси швидкого влучення в індекс пошукових систем говорити зайве. Адже будь-який розуміє, що чим раніше його сайт показуватиметься у пошуковій видачі, тим швидше з'являться нові клієнти. І щоб це все запрацювало, необхідно потрапити до бази пошукових систем.
До речі, завдяки правильному підходу, нові матеріали нашого сайту досить добре, а найголовніше завжди швидко індексуються пошуковими системами. Можливо, і Ви потрапили на цю сторінку після звернення відповідним запитом у пошуковому рядку. Від лірики перейдемо до практики.
Як дізнатися чи проіндексований сайт?Перше, що потрібно зробити — дізнатися, чи проіндексований сайт пошуковими системами. Можливо, сайт просто не знаходиться на першій сторінці пошуку за тим запитом, який Ви вводили. Це можуть бути високочастотні запити, щоб показуватися по яких потрібно працювати над , а не просто зробити і запустити сайт.
Отже, для перевірки заходимо у всі пошукові системи, в які має сенс заходити ( Яндекс, Гугл, Мейл, Рамблер) та в рядок пошукового запиту вводимо адресу сайту.
Якщо Ваш ресурс ще не був проіндексований — у результатах видачі нічого не буде показано, або з'являться інші сайти.
Як проіндексувати сайт в Яндексі?Спочатку розповімо, як проіндексувати сайт в Яндексі. Але перш ніж додати свій ресурс, перевірте, щоб він коректно працював, правильно відкривався на всіх пристроях і містив лише унікальний контент. Наприклад, якщо додати сайт на стадії розробки, можна просто потрапити під фільтр — з нами один раз таке траплялося і довелося чекати цілий місяць, щоб Яндекс зрозумів, що у нас якісний сайт та зняв санкції.
Щоб повідомити Яндекс про новий сайт, необхідно і , перший інструмент відповідає за додаткову інформацію про ресурс ( регіон, структура, швидкі посилання) і той, як сайт виглядає в результатах органічної видачі, другий за збір даних по сайту ( відвідуваність, поведінка та інше), що згідно з нашим досвідом, так само впливає на індексацію сайту та його позиції у пошуку. А ще обов'язково зробіть карту сайту та вкажіть її на панелі вебмайстрів.
Як проіндексувати сайт у Google?Найчастіше Google сам досить оперативно знаходить нові сайти і заганяє їх у пошук, але чекати, коли Google прийде і зробить за нас усю роботу – надто самовпевнено, тому давайте розберемося, як проіндексувати сайт у Google.
Спочатку - це панель веб-майстрів Google, і . Дотримуємося тієї ж мети — дати максимум інформації про сайт пошукових систем.
Після того, як сайти додані, має пройти від 3 до 7 днів, перш ніж пошукові системи оновлять дані та проіндексують сайт.
Завжди хочеться, щоб нові сторінки сайту стали показуватися в результатах пошуку якнайшвидше і для цього є кілька секретних (і дуже простих) способів, як прискорити індексацію сторінок сайту в пошукових системах.
3. Щоб виконати маніпуляцію описану в 2-му пункті, тільки для пошукової системи Google, заходимо до Search Console. Вибираємо "Сканування" та "Подивитися, як Googlebot" - додаємо адресу нової сторінки і натискаємо "Сканувати", після цього запитуємо індексацію.
На завершення слід зазначити, що навіть після успішної індексації сайту в пошукових системах, на цьому робота не закінчується. Необхідно періодично робити аналіз індексації сайту, а також знімати позиції за популярними запитами. Це дозволить тримати руку на пульсі і не надати ситуації, коли значна частина трафіку з органічної видачі просто зникла.
Так сталося з багатьма старими сайтами, які використовували старі методи просування після виходу. При цьому Яндекс заздалегідь повідомив про те, що запускає цей алгоритм і переоптимізовані сторінки будуть виключені з пошуку, а той же Google ніколи не повідомляє про вихід нових алгоритмів. Тому лише невпинний контроль дозволить залишатися лідером тематики чи стати ним!
Отже, Ви створили сайт, наповнили його унікальним контентом, після чого додали цей сайт до найпопулярніших пошукових систем, таких як Яндекс і Google, але сайт чомусь погано індексується або не індексується взагалі. У цій статті я розповім Вам про основні причини поганої індексації сайту, а також дам кілька порад, які можуть прискорити процес потрапляння сторінок сайту до пошукових систем.
Перш ніж впадати в паніку, давайте з'ясуємо, як довго може індексуватися сайт після додавання його в пошукових системах, і коли потрібно починати нервувати.
Найчастіше сайт починає індексуватися десь через 2-4 тижні. Буває й швидше (навіть наступного дня!). Якщо ж сайт не індексується довше ніж місяць, то тут уже треба починати вживати заходів щодо усунення причин, що перешкоджають індексації сайту. Краще, звичайно, спочатку подбати про те, щоб перешкод не було…
Чому сайт не індексуєтьсяДля початку, давайте розглянемо основні причини, з яких індексація сайту може бути ускладнена:
Неповторний контент. Статті на сайті мають бути унікальними, тобто. вони не повинні зустрічатись на інших сайтах. Особливо пошукові системи не люблять сайти з унікальним контентом, які торгують посиланнями. Такі сайти рано чи пізно (а Останнім часомце дуже часто відбувається) потрапляють під фільтр ПС, з якого практично неможливо вибратися та сторінки таких сайтів назавжди зникають із пошуку. Якщо сайт мав неунікальний контент, але посилання з нього не продавалися, тобто шанс, що сайт буде нормально індексуватися і ранжуватися, після того, як на Вашому сайті з'являться унікальні статті.
Переоптимізація, переспам. Не варто зловживати кількістю ключових фразу статті, а також тегами , , , і т.д. Все має виглядати природно та невимушено.
Неякісний контент. Думаю, що не треба пояснювати, що таке неякісний контент. Кожен із нас знає, яку він написав статтю — для людей або для пошукових роботів…
Сайт є дзеркалом іншого сайту. Тут мається на увазі ситуація, коли існує сайт із абсолютно унікальним контентом, але за змістом та структурою він повністю або частково копіює інший сайт. Такі сайти можуть потрапити під фільтр пошукових систем. Принаймні Яндекс такі сайти не дуже любить і, якщо помічає, «склеює» їх із «головним дзеркалом» усіх сайтів.
Індексацію сайту заборонено у файлі robots.txt. Буває так, що веб-майстри випадково можуть заборонити індексацію сайту у файлі robots.txt. Отже, в першу чергу перевіряйте саме цей файл. Якщо Ви не знаєте, що таке robots.txt, то в розділі «Використання robots.txt» від сервісу «Яндекс.Вебмайстер» все дуже добре розписано.
Індексація сайту заборонена у мета тегах. Перевірте обов'язково HTML-код сторінки сайту. Якщо в коді є код , то це означає, що пошуковим роботам заборонено індексувати сторінку, про що говорить команда noindex, і переходити за посиланнями на сторінці (команда nofollow). Існує аналогічний мета тег. Цей мета тег також забороняє індексувати текст і переходити за посиланнями на сторінці.
Продаж посилань із сайту. Яндекс не проти того, щоб власник сайту трохи (або багато) заробив на продажу посилань зі свого сайту. Але, якщо Ви продаєте занадто багато посилань (а скільки це «занадто багато», відомо тільки Яндексу), то це може спричинити масове випадання сторінок з індексу. Також Ви повинні розуміти, що якщо Ви хочете заробляти на сайті за рахунок продажу посилань, то цей сайт має бути дійсно корисним для користувачів Інтернету (ну або хоча б трохи корисним), ну і, звичайно, сайт повинен мати унікальні статті. Щодо Гугла таке сказати не можу. Взагалі пошукова система Google намагається індексувати все що можна і що не можна - такий собі монстр індексування (буває, що Google індексує навіть ті сторінки, які заборонені для індексації у файлі robots.txt, якщо на них стоять посилання), але не всі сторінки він добре ранжує (Враховує). Також є думка, що вага сторінки втрачається, якщо на ній занадто багато зовнішніх посилань - це ще один привід для того, щоб НЕ перетворювати сайт на лінк смітник.
Посилання вибух. Якщо одного прекрасного дня на невідомий сайт почнуть посилатися відразу тисячі ресурсів, то це може спричинити жорсткі санкції з боку пошукових систем, як по відношенню до сайту, на який посилаються, так і до сайтів, що посилаються. Загалом, постраждають усі!
Хостинг блокує роботи пошукових систем. На жаль, буває таке. Отже, користуйтеся послугами перевірених хостингів, які мають гарну репутацію.
Домен, який Ви купили, був забанований (заблокований) пошуковими системами. Якщо є можливість вивчити історію домену, що купується, то обов'язково вивчіть її.
Сайт помилково потрапив під фільтр ПС. Таке буває не так часто, але буває (приблизно в 1-2% випадків). Якщо Ви впевнені, що Ваш сайт відповідає всім вимогам стандарту якості пошукових систем, можна написати їм лист, і через деякий час (можливо після довгого листування) Ваш сайт проіндексується.
Багато інших причин, яких так багато, що в одну статтю все просто не поміститься. Включайте логіку, аналізуйте сайт, і Ви самі зможете виявити причини, що перешкоджають індексації сайту у ПС.
Як прискорити індексацію сайтуЯкщо Ви впевнені, що Ваш сайт не порушує правила гри (назвемо це так), але він все одно не індексується досить довгий час, то можливо пошукові роботи просто не можуть знайти Ваш сайт. Ну, не можуть вони і все тут! У цьому випадку Вам потрібно допомогти пошуковій системі знайти сторінки Вашого сайту, про що ми й поговоримо далі.
Отже, як прискорити індексацію сайту в пошукових системах Яндекс і Google:
Крок 3: Вкажіть у файлі Sitemap всі сторінки, які потрібно проіндексувати. Багато веб-майстрів нехтують цим файлом, вважаючи його не настільки значним у процесі індексації сайту, а дарма. Інколи файл Sitemap може посприяти тому, щоб сайт проіндексувався. І в цьому я зовсім недавно переконався, коли мені дали в роботу 3 сайти, які мали одну спільну проблему — протягом 6-ти місяців у кожного сайту проіндексувалося лише по 2-3 сторінки в пошуковій системі Google. Причому всі ці сайти давно були додані до Центру веб-майстрів Google і Яндекс.Вебмайстер, а також на багато сторінок з різних сайтів вже були проставлені посилання. Як не дивно, ці сайти вже давно успішно індексувалися в ПС Яндекс, але Google, з якихось причин обходив їх стороною. Тоді я вирішив додати файли Sitemap на всі сайти. І що Ви думаєте, буквально через 2-3 тижні всі 3 сайти почали індексуватися в Гуглі. Також я помітив, що якщо додати сайт в панель вебмайстра і вказати шлях до файлу Sitemap, то сайт нерідко індексується буквально за 1 день! Якщо Ви не знаєте, що таке файл Sitemap, Ви можете почитати про нього . Практично у кожного движка є свої плагіни, які генерують файл Sitemap, але якщо у Вашого движка немає такої можливості, то Ви можете згенерувати файл Sitemap за допомогою спеціального сервісу, такого як XML Sitemaps Generator. Просто введіть адресу сайту та натисніть Start, після чого скачайте цей файл і завантажте його по ftp у папку коня Вашого сайту. Потім вкажіть шлях до файлу Sitemap на панелі вебмайстра.
Крок 5 (необов'язково): Прискорити індексацію сайту зовнішніми посиланнями. Самий ефективний спосібпроіндексувати сайт за допомогою зовнішніх посилань - це зробити так, щоб на найзначніші сторінки Вашого сайту посилалися різні (бажано тематичні) блоги, оскільки саме вони індексуються найшвидше (якщо блог популярний і часто оновлюваний, то він може індексуватися кожні 2 години!). Отримати вічні посилання з блогів на сайт (достатньо по 2-3 посилання на кожну сторінку) Ви можете за допомогою сервісу Blogun або інших сервісів.
Що робити, якщо сайт все одно не індексується?Якщо всі ці поради не допомогли, і Ваш сайт так і не проіндексувався ще через місяць, то тут залишається тільки одне — написати працівникам пошукових систем:
- Написати Яндексу. Практика показує, що здебільшого відповідають наступне: «поліпшуйте якість свого сайту…». Але не варто впадати у відчай, якщо Вам дали шаблонну відповідь — це означає, швидше за все, одне, що часу на розгляд сайту зовсім не було. Якщо треба буде, вступіть у довге листування з Яндексом та відстоюйте свої права. Дайте зрозуміти, що Вам не байдужий Ваш сайт. Якщо Ви абсолютно впевнені, що Ваш сайт якісний, то рано чи пізно з нього знімуть фільтр.
- Написати Гуглу. Задати питання Гуглу можна російською мовою, але дадуть Вам відповідь англійською і найчастіше стандартною відповіддю. 1-а відповідь буде приблизно такою: «Ми прийняли Вашу заявку на перегляд сайту і т.д. і т.п.". Друга відповідь, якщо з Вашим сайтом все гаразд, буде приблизно такою: «Ми розглянули Ваш сайт і не знайшли присутності спаму. Чекайте, коли сайт проіндексується.
Насамкінець мені хотілося б дати Вам останню пораду. Не давайте адресу Вашого сайту на різних форумах, блогах та інших ресурсах, і не кажіть нікому, що Ваш сайт ще не проіндексувався. Нечесні люди можуть цим скористатися, вкравши повністю контент із Вашого сайту. Також не слід реєструвати непроіндексований сайт у каталогах, т.к. власники каталогів можуть перевірити Ваш сайт на наявність сторінок у пошуку та також поцупити сторінки сайту.
Бажаю Вам успішної індексації!
Популярність нотатки: 34%
Якщо Вам сподобалися матеріали сайту, і Ви хочете віддячити автору даного ресурсу, то скопіюйте код банера, який представлений нижче, та вставте його на будь-якій сторінці Вашого сайту.
34 коментарі до замітки «Чому сайт не індексується, або про що потрібно було подбати заздалегідь»
-
Добридень!
Вперше зайнялася наповненням власного сайту, раніше працювала копірайтером, тобто писала для інших. Спочатку сайт розташовувався на домені 3 ур, а місяць тому його перенесли на домен. Адреса сайту cool2.ru
Привіт я на рахунок пункту 3 у мене сайт на ucoz але чомусь в яндексі проіндексувалося всього 2 сторінки а хоча там присутні файли
Взагалі сайти, зроблені на ucoz, досить добре індексуються в пошукових системах через великий траст до ucoz. Іноді досить просто додати сайт в Яндекс.Вебмастер і Центр веб-майстрів Google і сайт через 2-4 тижні індексується без жодних проблем, якщо він, звичайно, має унікальний контент. Спробуйте додати файл XML Sitemap з посиланнями на сторінки сайту, можливо це допоможе. Щоправда, не знаю, чи є така можливість сайтів на ucoz.
Як давно сайт не може проіндексуватись?
Вітаю. Стаття дуже дякую! Але в мене досі є питання, на яке не може відповісти жодна стаття (ніде про це не написано). Мій сайт на uCoz домен безкоштовний та тематика ВАРЕЗ. Додаю новини лише унікальні, пишу сам, помилки лише в іменах головних героїв фільмів чи ігор, тобто пошуковик не знає ці імена чи фрази. Роботи яндекса часто пропускають деякі новини, додам 10 унікальних фільмів та 2 пропустить! Просто пропускає і у видачі нема. Буває за кілька місяців помічає ці сторінки, а буває ні. Також чекати на нього доводиться від тижня до 2 місяців, щоб просканував нові новини. Звичайно я через це додаю їх РІДКО власне питання: Якщо я щодня додаватиму по 1 і більше нових унікальних новин чи виправитися ця проблема? На сайті стоїть знизу 2 карти sitemap xml самого юкоза і власне ручна карта, в ній є посилання на всі сторінки, які потрібно індексувати (тільки поставив її через 3 місяці створення сайту. А зараз сайту вже 7 місяців)
помилки лише в іменах головних героїв фільмів чи ігор, тобто пошуковик не знає ці імена чи фрази
Ви робите ці помилки спеціально? Найкраще, щоб усі імена були правильні. Пошукові системи все одно знають найбільшу частину імен та назв, і якщо назва неправильно набрана у пошуку, то ПС автоматично виправляє її. Якщо на сайті дуже багато неправильних назв та помилок, то це може несприятливо вплинути на індексацію сайту.
Якщо я щодня додаватиму по 1 і більше нових унікальних новин чи виправитися ця проблема?
Проблема не в цьому. Пошуковику просто потрібен час для того, щоб знайти всі сторінки сайту. Причин того, що сайт не індексує будь-які сторінки довгий час, може бути багато. Важко сказати, в чому проблема, коли навіть не знаєш адреси сайту. Але, судячи з Вашого повідомлення, Ваш сайт нормально індексується тільки не так швидко, як Ви хотіли б. Рано чи пізно всі сторінки Вашого сайту проіндексуються – потрібно лише зачекати
Дякую за зрозумілий виклад інформації!
Але ось хотів би поставити вам питання: що робити, якщо пошуковик частково індексує сайт? Точніше чомусь далі 3 рівня на адресу не йде чомусь, хоча весь унікальний контент розташований саме на 3-4 ярусі...
що робити, якщо пошуковик частково індексує сайт? Точніше чомусь далі 3 рівня на адресу не йде чомусь, хоча весь унікальний контент розташований саме на 3-4 ярусі...
Залишається лише одне — зробити все, щоб прискорити індексацію, використовуючи ті методи, які представлені в цій статті, після чого чекати, коли сторінки проіндексуються. Якщо протягом 1-2 місяців сторінки так і не потраплять в індекс, то щось не так — можливо, щось перешкоджає індексації сайту. Перевірте насамперед файл robots.txt — дуже часто саме неправильно налаштований файл robots.txt є перешкодою індексації сторінок сайту. Наприклад, якщо сторінка 3-го рівня має назву /indeksaciya-sajta/pochemu-sajt-ne-indeksiruetsya.html, а у файлі robots.txt прописано Disallow: /indeksaciya-sajta, то дана сторінка навряд чи коли-небудь проіндексується.
Ще раз привітайте хотів би запитати скрипт, який блокує праву кнопку на сторінці, копіювання та перетягування зображень ось він:
document.ondragstart=test;
//заборона на перетягування
document.onselectstart=test;
//заборона виділення елементів сторінки
document.oncontextmenu=test;
//заборона виведення контекстного меню
function test() (
Тільки скрипт чомусь не повністю вставився!
Не вставився, тому що при додаванні коментар автоматично видаляються коди, де присутні команди, ув'язнені в дужки< >. Якби код вставився, як він є, то на даній сторінці, тоді запрацював би цей скрипт. Я підправив як треба.
Я його встановив і закрив ноу індексом, він не зашкодить сайт? Роботи з ним нормально індексуватимуть сторінку? Встановив його, щоб хоч бути на 80% впевненим, що не вкрадуть унікальні звичайні копіпастери, які заробляють на файлообміннику.
Ноуіндекс цей код марно закривати, т.к. він розміщується між тегами та .noindex краще прибрати. JavaScript легко можна відключити в браузері і скопіювати контент не складе тоді особливих труднощів. Єдиний спосіб захистити контент – завіряти його в нотаріусі та відстежувати, щоб його не крали на інших сайтах. Роботи повинні нормально індексувати такі сторінки.
Ваш сайт не був проіндексований через заборону у файлі robots.txt.?
підкажіть що зробити??плиииззз
Поясніть по порядку, що сталося?
Євгене, у вас означає сайт на uCoze, потрібно в ПУ зайти в «платні послуги» і там купити за 3$ пакет платних послугна місяць та файл Robots.txt дозволить індексацію сторінок.
Добридень! сайт було викладено тиждень тому. індексації немає. сайт зареєстрований через веб-майстер на Яндекс. але все одно не індексується. уточнення — домен було куплено рік тому, чи це могло вплинути на цю ситуацію?
Добридень! сайт було викладено тиждень тому. індексації немає. сайт зареєстрований через веб-майстер на Яндекс. але все одно не індексується. уточнення – домен був куплений рік тому, чи могло це вплинути на цю ситуацію?
Те, що домен був куплений колись давним-давно, аж ніяк не має впливати на індексацію сайту. Ось якщо сайт протягом року і більше була всього одна сторінка, і він був проіндексований, то індексація може бути затягнута, т.к. пошукові роботи в цьому випадку рідко заходять на сайт, тому що знають - на сайті лише одна сторінка і немає сенсу заходити на нього часто. Якщо ж сайт не був до цього проіндексований, то хвилюватися нема про що - через 2-3 тижні, якщо Ви все зробили правильно, сайт повинен проіндексуватися. Пройшов лише один тиждень — у більшості випадків сайти індексуються в Яндексі не раніше, ніж за 2 тижні.
сайт ikanta.com
два місяці сайту і досі не проіндексував яндекс. не зрозуміло з якої причини. відправив три листи Платону. відповіли тільки на останнє - пишуть -вибачте, що мовляв довго не відповідали, дякую за сигнал, ми обов'язково розберемося, що ж не так і чому немає індексації. і все:) розкішна відповідь. індексація так і не відбулася(
сайт ikanta.com
два місяці сайту і досі не проіндексував яндекс. не зрозуміло з якої причини. відправив три листи Платону. відповіли тільки на останнє – пишуть – вибачте, що мовляв довго не відповідали, дякую за сигнал, ми обов'язково розберемося, що ж не так і чому немає індексації. і все:) розкішна відповідь. індексація так і не відбулася(
За 1-2 тижні Яндекс Вам відповість, чому сайт не індексується. Того листа, який Ви отримали, надсилається всім, хто надіслав листа Платону — він автоматичний.
Ваш сайт складається з одних порожніх сторінок. Такі сайти Яндекс не любить. Я б на Вашому сайті зробив хоча б 10 інформаційних сторінок. Ще б дав відповіді на запитання, щоб сторінки не складалися з одних питань без відповідей. У такому випадку Ваш сайт має більше шансів проіндексуватися.
За 1-2 тижні Яндекс Вам відповість, чому сайт не індексується. Того листа, який Ви отримали, надсилається всім, хто надіслав листа Платону - він автоматичний.
Спасибі за відповідь. Вибачте, а що Ви маєте на увазі - сайт складається з порожніх сторінок? На сайті на даний момент 260 запитань та 160 відповідей. Хіба 160 відповідей – це не інформаційні сторінки? Якщо ні, тоді що ви маєте на увазі. спасибі за відповідь
Спасибі за відповідь. Вибачте, а що Ви маєте на увазі - сайт складається з порожніх сторінок? На сайті на даний момент 260 запитань та 160 відповідей. Хіба 160 відповідей – це не інформаційні сторінки? Якщо ні, тоді що ви маєте на увазі. спасибі за відповідь
Я мав на увазі сторінки, де є лише питання. Виходить, що на Вашому сайті з 260-ти – 100 сторінок порожніх. Я думав у Вас менше відповідей. Тоді отримує, що на Вашому сайті 160 сторінок по 200-700 символів та 100 порожніх сторінок без відповідей. У принципі, 160 відповідей — це нормальна кількість для індексації, нехай навіть якщо вони мають короткі відповіді. Але хоча б 7-10 сторінок по 2000-3000 символів бажано мати на сайті. Причому ці сторінки не повинні бути десь в архіві відповідей, а потрібно зробити статичні сторінки, посилання на які потрібно поставити десь в меню, щоб це були сторінки 2-го рівня. Сторінки 2-го рівня – це ті, на які посилаються на головну сторінку. Сторінки 3-го рівня – це ті, на які посилаються на сторінки 2-го рівня. Це щоб було зрозуміло, про що я говорю. Які можна зробити сторінки? Ну наприклад:
Якими питаннями люди найчастіше задаються?
Як правильно поставити запитання?
Що робити, якщо не можеш знайти відповіді на запитання?
Найкращі цікаві питаннята відповіді на них
Часті питання маленьких дітей
На які питання досі немає відповідей
Навіть семи таких сторінок буде достатньо.
Це я так, що перше спало на думку, накидав для прикладу.
Ось ці пункти меню можна в праву колонку запхати або створити ліву колонку. У розділі «Статті» також можна додавати різні цікаві статтіпро все у світі. Загалом завдання таке — зробити так, щоб на сайті крім сторінок з коротким текстом, були інформаційні сторінки по 2000—3000 символів. Необов'язково, щоб їх було багато, але мінімальна кількістьтаких сторінок має бути. Це добре з погляду оптимізації сайту. Та й у принципі такі сторінки не завадять.
Ось ці пункти меню можна в праву колонку запхати або створити ліву колонку. У розділі «Статті» також можна додавати різні цікаві статті про все у світі. Загалом завдання таке - зробити так, щоб на сайті крім сторінок з коротким текстом, були інформаційні сторінки по 2000-3000 символів. Необов'язково, щоб їх було багато, але мінімальна кількість таких сторінок має бути. Це добре з погляду оптимізації сайту. Та й у принципі такі сторінки не завадять.
Дякую за допомогу! Фронт роботи намітив, приступаю до роботи. Якщо цікаво, за результатами зможу відписатися тут, що сталося після виконаної роботи.
Дякую за допомогу! Фронт роботи намітив, приступаю до роботи. Якщо цікаво, за результатами зможу відписатися тут – що сталося після виконаної роботи.
Радий, якщо Ви розповісте про результати своєї роботи в даному пості. Чекатиму від Вас звісток про Ваш сайт.)
У Вас також на сайті я помітив, що адреси сторінок складаються з російських символів - кирилиці, наприклад: ikanta.com/453/ігри-звідки-пішло. Це також небажано. Найкраще сторінкам давати назву латинськими літерами, тобто. так: ikanta.com/453/olimpiiskie-igri-otkud-poshlo.
Через те, що у Вашого сайту назви сторінок складаються з кирилиці. Це також ускладнює індексацію сторінок.
Якщо Платон відповість, що їх алгоритми вирішили не приймати Ваш сайт у пошук, спочатку модернізуйте сайт, а потім пишіть Платону знову. Скажіть, що Ви виявили всі помилки сайту і тепер він відповідає вимогам пошукової системи Яндекс. Якщо знову Ваш сайт не пройде модерацію, виправляєте ще помилки і знову пишіть Платону. І так доти, доки Ваш сайт не потрапить до індексу.
Добридень!
Проблема в тому, що раніше він індексувався нормально в яндексі. Зі зміною домену старий сайт був видалений з вебмайстра, новий доданий. Минув місяць, але "Завантажені сторінки" так і показує "1".
У кулі, як я розумію, сайт проіндексувався. А от у яндексі, мабуть, не хоче...
Можете підказати, у чому річ? Заздалегідь дякую!
Багато користувачів, особливо новачки, задають ті самі питання, на різних форумах, сайтах – чому не індексуються сторінки пошуковими системами Яндекс і Google, або ж – чому погано індексується сайт або зовсім перестав індексуватися сайт. У зв'язку з цим розгортаються величезні суперечки, оскільки причин, з цього приводу може бути маса і так одразу дати відповідь не вийде, доведеться аналізувати свій ресурс і виявляти конкретну причину.
Тому, давайте розглянемо найпоширеніші причини, з яких Ваш сайт може не індексуватися, або вилетіти зовсім з індексу.
Чому сайт не індексується пошуковими системами?
Прискорення індексації. Не забувайте про те, щоб Ваш сайт швидше індексувався, необхідно додавати, закладки та інші сервіси.
Можна ще додати посилання на аддурилку в пошуковій системі, але деякі говорять, що в цьому випадку пошукова система поставить Ваш сайт в кінець черги для індексації. Хоча якщо на Ваш сайт давно не заходив пошуковий робот, то варто це зробити.
Файл robots. txt. Можливо, у Вас неправильно складено файл robots.txt, тому необхідно його переглянути (можливо, закрита в ньому сторінка для індексації або взагалі весь сайт).
Мета-теги. Можливо, у Вас сторінка закрита від індексації за допомогою мета-тегів, таких як: none, noindex, nofollow тощо. Необхідно перевірити та виправити ситуацію.
Вірус на сайті. Може бути таке, що на Вашому сайті оселився вірус, відповідно і випав з видачі, або зовсім не індексується, тому Вам варто .
структура. Ви зовсім не правильна структура на сайті. Можливо, порушено правило трьох кліків. Тобто, щоб дістатися конкретної статті на сайті (сторінки), необхідно зробити більше трьох кліків.
Хостинг. Може бути таке, що Ваш проводить якісь роботи, тому пошукова система не може отримати доступ до сайту (пошуковий робот не може отримати доступ до сайту) і виникають помилки такого роду. Якщо пошуковий робот Яндекс не може отримати доступ до сайту, прочитайте .
Домен. Можливо й таке, що Ви купили свій домен, на який було накладено санкції з боку пошукових систем. Вам необхідно перевіряти доменне ім'я перед його покупкою.
Контент сайту Найпоширеніша причина, чому Ваш сайт не індексується – на ньому є не унікальний контент. Вам варто писати якісний та унікальний контент для сайту, а не копіювати з інших.
Як перевірити сторінку в індексі пошукових систем?
Існує маса варіантів, маса сервісів, але найпростіший – це скопіювати частину статті (її назву або URL) та вставити в рядок пошуку та знайти її. Якщо Ваша сторінка з'явиться на перших сторінках пошуку, то вона проіндексована, якщо ні – то на жаль.
Що таке індексування? Це процес отримання роботом вмісту сторінок вашого сайту та включення цього вмісту до результатів пошуку. Якщо звернутися до цифр, то в базі індексуючого робота міститься трильйони адрес сторінок сайту. Щодня робот вимагає мільярди таких адрес.
Але цей великий процес індексування Інтернету можна розділити на невеликі етапи:
По-перше, робот, що індексує, повинен дізнатися про появу сторінки вашого сайту. Наприклад, проіндексувавши інші сторінки в Інтернеті, знайшовши посилання або завантаживши файл set nemp. Про сторінку ми довідалися, після чого плануємо обхід цієї сторінки, надсилаємо дані до вашого сервера на запит цієї сторінки сайту, отримуємо контент та включаємо його до результатів пошуку.
Цей весь процес – це процес обміну роботом, що індексує, з вашим сайтом. Якщо запити, які посилає робот, що індексує, практично не змінюються, а змінюється тільки адреса сторінки, то відповідь вашого сервера на запит сторінки роботом залежить від багатьох факторів:
- від налаштувань вашої CMS;
- від налаштувань хостинг провайдера;
- від роботи проміжного провайдера.
Ця відповідь якраз змінюється. Насамперед при запиті сторінки робот від вашого сайту отримує таку службову відповідь:
Це HTTP заголовки. Вони містяться різна службова інформація, яка дає роботу зрозуміти передача якого контенту зараз відбуватиметься.
Мені хочеться зупинитись на першому заголовку – це HTTP-код відповіді, який вказує індексуючу роботу на статус сторінки, яку запросив робот.
Таких статусів HTTP-кодів кілька десятків:
Я розповім про найпопулярніші. Найпоширеніший код відповіді – це HTTP-200. Сторінка доступна, її можна індексувати, включати до результатів пошуку, все добре.
Протилежність цього статусу – це HTTP-404. Сторінка відсутня на сайті, індексувати нема чого, включати в пошук теж нема чого. При зміні структури сайтів та зміні адрес внутрішніх сторінокми радимо налаштовувати 301 сервер на редирект. Саме він вкаже роботу на те, що стара сторінка переїхала на нову адресу і необхідно включати в пошукову видачу саме нову адресу.
Якщо контент сторінки не змінювався з останнього відвідування сторінки роботом, краще повертати код HTTP-304. Робот зрозуміє, що оновлювати результати пошуку сторінки не потрібно і передача контенту теж не відбуватиметься.
При короткочасній доступності вашого сайту, наприклад, під час проведення будь-яких робіт на сервері, найкраще налаштовувати HTTP-503. Він вкаже роботу на те, що зараз сайт і сервер недоступні, потрібно зайти трохи пізніше. При короткочасній недоступності це дозволить запобігти виключенню сторінок із пошукової видачі.
Крім цих HTTP-кодів, статусів сторінок, необхідно отримати безпосередньо контент самої сторінки. Якщо для звичайного відвідувача сторінка виглядає так:
це картинки, текст, навігація, все дуже красиво, то для робота, що індексує, будь-яка сторінка - це просто набір вихідного коду, HTML-коду:
Різні метатеги, текстовий вміст, посилання, скрипти, купа будь-якої інформації. Робот збирає її і включає пошукову видачу. Здається, все просто, запросили сторінку – набули статусу, отримали вміст, включили у пошук.
Але недарма до служби пошукового сервісу в Яндексі надходить понад 500 листів від вебмайстрів та власників сайтів про те, що виникли певні проблеми саме з відповіддю сервера.
Всі ці проблеми можна поділити на дві частини:
Це проблеми з HTTP-кодом відповіді та проблеми з HTML-кодом, з безпосереднім вмістом сторінок. Причин виникнення цих проблем може бути безліч. Найпоширеніша - це блокування хостинг-провайдером, що індексує робота.
Наприклад, ви запустили сайт, додали новий розділ. Робот починає відвідувати ваш сайт частіше, збільшує навантаження на сервер. Хостинг-провайдер бачить це на своїх моніторингах, блокує індексуючого робота, і тому робот не може отримати доступ до вашого сайту. Ви заходите на ваш ресурс - все чудово, все працює, сторінки красиві, все відкривається, все супер, робот при цьому проіндексувати сайт не може. При тимчасовій недоступності сайту, наприклад, якщо забули сплатити доменне ім'я, сайт вимкнено на кілька днів. Робот приходить на сайт, він недоступний, за таких умов може пропасти з пошукової видачі буквально через деякий час.
Некоректні налаштування CMS, наприклад, при оновленні або переході на іншу CMS, при оновленні дизайну, також можуть спричинити те, що сторінки вашого сайту можуть зникнути з видачі при некоректних налаштуваннях. Наприклад, наявність забороняючого метатегу у вихідному коді сторінок сайту, некоректне налаштування атрибуту canonical. Перевіряйте, що після всіх змін, які ви вносите на сайт, сторінки доступні для робота.
У цьому вам допоможе інструмент у Яндекс. Вебмайстри з перевірки відповіді сервера:
Можна подивитися які HTTP заголовки повертає ваш сервер роботу, безпосередньо вміст сторінок.
У розділі «індексування» зібрана статистика, де ви можете переглянути, які сторінки виключені, динаміку зміни цих показників, зробити різне сортування та фільтрацію.
Також, вже сьогодні говорив про цей розділ, розділ «діагностика сайту». У випадку, якщо ваш сайт став недоступним для робота, ви отримаєте відповідне повідомлення та рекомендації. Як це можна виправити? Якщо таких проблем не виникло, сайт доступний, відповідає кодам-200, містить коректний контент, робот починає в автоматичному режимі відвідувати всі сторінки, які він дізнається. Не завжди це призводить до потрібних наслідків, тому діяльність робота можна певним чином обмежити. Існує файл robots.txt. Про нього ми й поговоримо у наступному розділі.
Robots.txtСам по собі файлик robots.txt - це невеликий текстовий документ, лежить він у кореневій папці сайту і містить суворі правила для робота, що індексує, які потрібно виконувати при обході сайту. Переваги файлу robots.txt полягають у тому, що для його використання не потрібно спеціальних знань.
Достатньо відкрити Блокнот, ввести певні правила формату, а потім просто зберегти файл на сервері. Протягом доби робот починає використовувати ці правила.
Якщо взяти приклад файлу robots.txt простенького, ось він, якраз на наступному слайді:
Директива User-Agent:” показує для яких роботів призначається правило, що дозволяють\забороняючі директиви та допоміжні директиви Sitemap та Host. Трохи теорії хочеться перейти до практики.
Кілька місяців тому мені захотілося купити крокометр, тому я звернувся до Яндекса. Маркету за допомогою із вибором. Перейшов із головної сторінки Яндекс на Яндекс. Маркет потрапив на головну сторінку сервісу.
Внизу ви бачите адресу сторінки, на яку я перейшов. До адреси самого сервісу ще додався ідентифікатор мене як користувача на сайті.
Потім я перейшов до розділу «каталог»
Вибрав потрібний підрозділ та налаштував параметри сортування, ціну, фільтр, як сортувати, виробника.
Отримав список товарів, і адреса сторінки вже розрослася.
Зайшов на потрібний товар, натиснув на кнопку «додати в кошик» і продовжив оформлення.
За час моєї невеликої подорожі адреси сторінок змінювалися певним чином.
До них додавалися службові параметри, які ідентифікували мене як користувача, налаштовували сортування, вказували власнику сайту, звідки я перейшов на ту чи іншу сторінку сайту.
Такі сторінки, службові сторінки, я думаю, що не дуже будуть цікаві користувачам пошукової системи. Але якщо вони будуть доступні для індексуючого робота, у пошук вони можуть потрапити, оскільки робот поводиться, по суті, як користувач.
Він переходить на одну сторінку, бачить посилання, на яку можна клікнути, переходить на неї, завантажує дані в свою базу робота і продовжує такий обхід всього сайту. До цієї ж категорії таких адрес можна віднести і особисті дані користувачів, наприклад, такі, як інформація про доставку, або контактні дані користувачів.
Звичайно, їх краще забороняти. Саме для цього допоможе вам файл robots.txt. Ви можете сьогодні ввечері після закінчення Вебмайстерні прийти на свій сайт, покликати, переглянути які сторінки дійсно доступні.
Для того, щоб перевірити robots.txt існує спеціальний інструмент у Вебмайстрі:
Можна завантажити, ввести адреси сторінок, переглянути доступні вони для робота чи ні.
Внести якісь зміни, переглянути, як відреагує робот на ці зміни.
Помилки під час роботи з robots.txtКрім такого позитивного впливу – закриття службових сторінок, robots.txt при неправильному поводженні може зіграти злий жарт.
По-перше, найпоширеніша проблема при використанні robots.txt - це закриття дійсно потрібних сторінок сайту, ті, які повинні знаходитися в пошуку та показуватись за запитами. Перш ніж ви вносите зміни в robots.txt, обов'язково перевірте, чи не бере участь сторінка, яку ви хочете закрити, чи не відображається за запитами в пошуку. Можливо, сторінка з якимось параметрами знаходиться у видачі і до неї приходять відвідувачі з пошуку. Тому обов'язково перевірте перед використанням та внесенням змін до robots.txt.
По-друге, якщо на вашому сайті використовуються кирилиці, в robots.txt їх вказати не вийде в прямому вигляді, їх обов'язково потрібно кодувати. Оскільки robots.txt є міжнародним стандартним, ним слідують усі індексуючі роботи, їх обов'язково потрібно буде закодувати. Кирилицю в явному вигляді вказати не вийде.
Третя за популярністю проблема - це різні правила для різних роботів різних пошукових систем. Для одного індексуючого робота закрили всі сторінки, що індексують, для другого не закрили зовсім нічого. В результаті цього у вас в одній пошуковій системі все добре, у пошуку потрібна сторінка, а в іншій пошуковій системі може бути треш, різні сміттєві сторінки, ще щось. Обов'язково слідкуйте, якщо ви встановлюєте заборону, його потрібно робити для всіх роботів, що індексують.
Четверта за популярністю проблема – використання директиви Crawl-delay, коли в цьому немає необхідності. Ця директива дозволяє вплинути на чистоту запитів з боку індексуючого робота. Це практичний приклад, маленький сайт, розмістили його на невеликому хостингу, все чудово. Додали великий каталог, робот прийшов, побачив купу нових сторінок, починає частіше звертатися на сайт, збільшує навантаження, завантажує це та сайт стає недоступним. Встановлюємо директиву Crawl-delay, робот бачить це, знижує навантаження, все чудово, сайт працює, все чудово індексується, перебуває у видачі. Через деякий час сайт розростається ще більше, переноситься на новий хостинг, який готовий справлятися з цими запитами, з великою кількістю запитів, а директиву Crawl-delay забувають забрати. В результаті чого робот розуміє, що на вашому сайті з'явилося багато сторінок, але не може їх проіндексувати просто через встановлену директиву. Якщо ви коли-небудь використовували директиву Crawl-delay, перевірте, що зараз її немає і що ваш сервіс готовий впоратися з навантаженням від робота, що індексує.
Крім описаної функціональності файл robots.txt дозволяє ще вирішити дві дуже важливі завдання - позбутися дублів на сайті та вказати адресу головного дзеркала. Про це якраз ми й поговоримо у наступному розділі.
Дублі
Під дублями ми розуміємо кілька сторінок одного сайту, які містять абсолютно ідентичний контент. Найпоширеніший приклад – це сторінки зі слішом і без слеша наприкінці адреси. Так само під дублем можна розуміти той самий товар у різних категоріях.
Наприклад, роликові ковзани можуть бути для дівчаток, для хлопчиків, та сама модель може перебувати у двох розділах одночасно. І, по-третє, це сторінки з незначним параметром. Як у прикладі з Яндекс. Маркетом цієї сторінки є «ідентифікатор сесії», такий параметр не змінює контент сторінки в принципі.
Щоб виявити дублі, подивитися до яких сторінок робот звертається, ви можете використовувати Яндекс. Вебмайстер.
Крім статистики, є ще й адреси сторінок, які робот завантажив. Ви бачите код та останнє звернення.
Неприємності, до яких призводять дубліЧим же погані дублі?
По-перше, робот починає звертатися до абсолютно ідентичних сторінок сайту, що створює додаткове навантаження не лише на ваш сервер, а й впливає на обхід сайту загалом. Робот починає приділяти увагу дублюючим сторінкам, а не тим сторінкам, які потрібно індексувати та включати у пошукову видачу.
Друга проблема – це те, що дублюючі сторінки, якщо вони доступні для робота, можуть потрапити в результати пошуку та конкурувати з основними сторінками за запитами, що, звісно, може негативно вплинути на знаходження сайту за тими чи іншими запитами.
Як можна боротися із дублями?Насамперед я раджу використовувати “canonical” тег для того, щоб вказати роботу на головну, канонічну сторінку, яка має індексуватися та знаходитися у пошуку за запитами.
У другому випадку можна використовувати 301 серверний редирект, наприклад, для ситуацій зі слішом на кінці адреси і без слеша. Встановили перенапрямок – дублів немає.
І по-третє, як я вже казав, це файл robots.txt. Можна використовувати як забороняючі директиви, так і директиву Clean-param для того, щоб позбавитися незначних параметрів.
Дзеркала сайтуДруге завдання, яке дозволяє вирішити robots.txt – це вказати роботу на адресу головного дзеркала.
Дзеркала – це група сайтів, які абсолютно ідентичні, як дублі, лише різні два сайти. Вебмайстри зазвичай із дзеркалами стикаються у двох випадках – коли хочуть переїхати на новий домен, або коли для користувача потрібно зробити кілька адрес сайту доступними.
Наприклад, ви знаєте, що користувачі, коли набирають вашу адресу, адресу вашого сайту в адресному рядку, часто роблять ту саму помилку – опечатуються, не той символ ставлять або ще щось. Можна придбати додатковий домен для того, щоб користувачам показувати не заглушку від хостинг-провайдера, а показувати сайт, на який вони дійсно хотіли перейти.
Зупинимося на першому пункті, тому що саме з ним найчастіше виникають проблеми в роботі з дзеркалами.
Весь процес переїзду раджу здійснювати за наступною інструкцією. Невелика інструкція, яка дозволить уникнути різних проблем при переїзді на нове доменне ім'я:
По-перше, вам необхідно зробити сайти доступними для індексуючого робота та розмістити на них абсолютно ідентичний контент. Також переконайтеся, що про існування сайтів роботу відомо. Найпростіше додати їх до Яндекс. Вебмайстер та підтвердити на них права.
По-друге, за допомогою директиви Host вказуйте роботу на адресу головного дзеркала – ту, яка має індексуватися та перебувати у результатах пошуку.
Чекаємо на склеювання та перенесення всіх показників зі старого сайту на новий.
Після чого вже можна встановити перенаправлення зі старої адреси на нову. Просте інструкція, якщо ви переїжджаєте, обов'язково використовуйте її. Сподіваюся, проблем не виникне з
переїздом.
Але, природно, під час роботи з дзеркалами виникають помилки.
Насамперед найголовніша проблема – це відсутність явних вказівок для індексуючого робота на адресу головного дзеркала, ту адресу, яка має знаходитися у пошуку. Перевірте на ваших сайтах, що у robots.txt у них вказана директива хоста, і вона веде саме на ту адресу, яку ви хочете бачити у пошуку.
Друга за популярністю проблема – це використання перенаправлення для того, щоб змінити головне дзеркало у вже наявній групі дзеркал. Що відбувається? Стара адреса, оскільки здійснює перенаправлення, роботом не індексується, виключається із пошукової видачі. При цьому новий сайт у пошук не потрапляє, оскільки є неголовним дзеркалом. Ви втрачаєте трафік, втрачаєте відвідувачів, я думаю, що це нікому не потрібне.
І третя проблема – це недоступність одного із дзеркал під час переїзду. Найпоширеніший приклад у цій ситуації, коли скопіювали контент сайту на нову адресу, а стару адресу просто відключили, не сплатили доменне ім'я і він став недоступним. Природно такі сайти не будуть склеєні, вони обов'язково мають бути доступні для індексуючого робота.
Корисні посилання у роботі:- Більше корисної інформаціїви знайдете в сервісі Яндекс.Допомога.
- Усі інструменти, про які я говорив і навіть більше – є бета-версія Яндекс.Вебмайстра.
«Дякую за доповідь. Чи потрібно у robots.txt закривати індексацію CSS-файлів для робота чи ні?».
На даний момент ми не рекомендуємо закривати їх. Так, CSS, JavaScript краще залишити, тому що зараз ми працюємо над тим, щоб індексуючий робот почав розпізнавати і скрипти на вашому сайті, і стилі, бачити, як відвідувач зі звичайного браузера.
«Підкажіть, а якщо URL адреси сайту будуть однакові, у старого і нового – це нормально?».
Та нічого страшного. Насправді, у вас просто оновлення дизайну, додавання якогось контенту.
«На сайті є категорія і вона складається з кількох сторінок: слєш, page1, page2, до 10-ти, допустимо. На всіх сторінках один текст категорії, і він виходить дублюючий. Чи буде цей текст дублікатом чи потрібно його якось закривати, новий індекс на других і далі сторінках?».
Насамперед, оскільки на першій сторінці пагінації, а на другій сторінці контент, загалом, відрізняються, вони дублями не будуть. Але потрібно розраховувати, що друга, третя і далі сторінки пагінації можуть потрапити у пошук і показувати за якимось релевантним запитом. Краще в сторінках пагінації я рекомендував би використовувати атрибут canonical, у найкращому разі – на сторінці, на якій зібрані всі товари для того, щоб робот не включав сторінки пагінації в пошуку. Люди дуже часто використовують canonical на першу сторінку пагінації. Робот приходить на другу сторінку, бачить товар, бачить текст, сторінки в пошук не включає і розуміє за рахунок атрибуту, що треба включати пошукову видачу саме першу сторінку пагінації. Використовуйте canonical, а сам текст закривати, думаю, що не потрібно.
Джерело (відео): Як настроїти індексування сайту- Олександр Смирнов
Магомед Чербіжов
Поділитися:У цій статті ми розповімо, чому Яндекс може не індексувати конкретну сторінку на сайті, розділ чи весь проект. Описані проблеми можуть вплинути на індексацію в Google, і в будь-яких інших пошукових системах. Випадання сторінок з індексу – серйозна проблема, оскільки впливає на потенційну кількість переходів, яка може отримати ресурс з пошукових систем.
1. Яндекс не індексує сайт повністюЯкщо у вас новий сайт, то він з'явиться у пошуковій системі не одразу – може пройти від 2-3 тижнів до місяця. Як правило, Google швидше знаходить та індексує нові проекти, Яндекс – повільніше.
Якщо 2-3 тижнів минуло і все одно Яндекс не індексує сайт - можливо, він просто про нього не знає:
1.2. Старий сайт частково або повністю випав із індексу
Цю проблему ви помітите, порівнявши кількість сторінок на сайті та кількість сторінок в індексі пошукової системи (можна переглянути через сервіс Яндекс.Вебмайстер).
Якщо з індексу випало більшість сторінок, і залишилася тільки головна сторінка або головна і кілька внутрішніх – проблема швидше за все у накладеному фільтрі АГС. Яндекс вважав контент вашого сайту неунікальним або мало привабливим для користувачів. Необхідно переробити зміст сайту.
Крім накладання фільтрів, Яндекс може не індексувати сайт з таких причин:
Ця проблема зустрічається частіше, ніж випадання всього сайту з індексу. З типових проблем, за яких Яндекс може не індексувати сторінку, можна виділити:
