Зміст
Шукачі Інтернету, такі як Google, Yahoo і Bing знаходять інформацію, використовуючи посилання та мапи сайту для інших веб-сайтів. Ці пошукові системи можуть знайти деякі з найбільш незрозумілих відомостей і включити їх у ваш індекс, і така технологія пошуку має переваги та недоліки для користувачів.
Сторінки внутрішньої мережі
Сторінки внутрішніх мереж - це сторінки на веб-сайтах, для яких користувач має бачити багато кліків. Ці сторінки можуть бути продуктами, вмістом або пошуковою базою даних, які пошукові системи не можуть нормально відстежувати. Перевага цього типу технологій, що запобігає скануванню пошукових систем, полягає в тому, що власники веб-сайтів можуть мати продукти, покупки, інформацію та інші важливі посилання, включені в індекс пошукової системи. Це надає власнику веб-сайту більше видимості в Інтернеті.
Особиста інформація
Один з недоліків пошукової системи, яка сканує, - індексування особистої інформації незалежно від конфіденційності. Таку інформацію, як номери безпеки, фінансові дані або географічні розташування, можна індексувати, навіть якщо вона розміщена на особистому веб-сайті. Шукачі надавали користувачам можливість блокувати деяку індексну інформацію, використовуючи файл "robots.txt". Наприклад, такі пошукові системи, як Google, дозволяють користувачам видаляти URL-адреси після того, як власник сайту видалив образливу інформацію, яка видаляється з індексу.
Автоматизація
Власники веб-сайтів можуть індексувати свої сторінки, залишивши деякі посилання на іншому веб-сайті або навіть на своєму сайті. Ця практика називається "зворотним зв'язком". Веб-сайт, який використовує цю функцію, автоматично відстежується пошуковими системами, які можуть відображати та індексувати веб-сайт. Це полегшує становище власників сайтів, оскільки їм не потрібно подавати доменне ім'я до пошукових систем. Автоматизація індексів полегшує пошук читачам Інтернету.
