Што е пребарувач? Роботот алатка "Yandex" и Google

Секој ден на интернет постои огромна сума на нови материјали да се создаде веб-сајтот ажурирани стариот веб страници, испратите фотографии и видео клипови. Без скриени од пребарувачите не може да се најде во World Wide Web, ниту еден од овие документи. Алтернативите како роботски програми во било кое дадено време не постои. Што е робот пребарување, зошто ви треба и како да работат?

Што е робот пребарување

Роботот сајт (пребарување) - тоа е автоматски програма која е во можност да ја посетите милиони веб страни, брзо навигацијата преку интернет без какви било интервенција од операторот. Ботови се постојано скенирање простор на World Wide Web, изнаоѓање на нови веб-страници и редовно веќе посети индексирани. Други имиња за веб-роботи пајаци, роботи, ботови.

Зошто пребарувач пајаци

Главните функции кои вршат пребарувач пајаци - индексирани страници, како и текст, слики, аудио и видео датотеки, кои се на нив. Ботови се провери референци, огледало сајтови (копии) и надградби. Роботи, исто така, се изврши HTML-кодот за контрола на стандардите за сообразност на Светската организација, која се развива и имплементира технолошки стандарди за World Wide Web.

Што е индексирање, и зошто е тоа потребно

Индексирање - е, всушност, е процесот на посета на одредена веб-страница на пребарувачите. На програмата се скенира текстот на овој сајт, слики, видеа, излезни врски, а потоа на страница се појавува во резултатите од пребарувањето. Во некои случаи, на сајтот не може да се скенираат автоматски, тогаш тоа може да се додаде на пребарувач рачно вебмастерот. Обично, тоа се случува во отсуство на надворешни врски на одредена (често само неодамна го создаде) страна.

Како да пребарувач пајаци

Секој пребарувач има свој бот со робот за пребарување на Google може да се разликуваат значително во зависност од механизам работи на сличен програма "Yandex" или други системи.

Во принцип, принципот на работа робот е како што следува: на програмата "доаѓа" на местото и надворешните линкови од главната страница ", се вели" Веб ресурси (вклучувајќи ги и оние во потрага над глава дека не гледа на корисникот). Брод е како да се движите меѓу страниците на еден сајт и се движи кон другите.

На програмата ќе изберете кој сајт да индексира? Почесто отколку не "патување" на пајакот почнува со вести сајтови или големи директориуми ресурси и агрегатори со големи референтна тежина. Роботот континуирано скенира страниците една по една, на стапка и конзистентноста на индексирање на следниве фактори:

• Внатрешен: perelinovka (внатрешни врски помеѓу страните на истиот ресурс), големината на сајт, точниот код, и така натаму user-friendly;
• Надворешни: вкупниот референтна тежина, што доведува до страницата.

Првото нешто пребарувања за пребарување робот на било кој веб-сајт од страна на robots.txt. индексирање понатаму ресурси се врши врз основа на добиени информации дека е од овој документ. Оваа податотека содржи конкретни упатства за "пајаци", кој може да ги зголеми шансите за посети на страници на пребарувачите, и, следствено, да се постигне рана хит сајт во "Yandex" или Google.

Програмата аналози роботи

Често терминот "пребарување робот" се мешаат со интелигентни, корисникот или автономни агенти "мравките" или "црви". Потопен значајни разлики само во споредба со агенти, други дефиниции се однесуваат на слични видови на роботи.

На пример, агенти можат да бидат:

• интелектуална: програмата, кои се движат од сајт до сајт, самостојно одлучуваат како да се продолжи; тие не се многу чести на интернет;
• Автономна: Овие агенти им помогнат на корисникот во изборот на производот, пребарување, или пополнување на формулари, т.н. филтри, кои се малку поврзани со мрежа програми.
• корисникот е програмата да придонесе за корисник интеракција со World Wide Web, на пребарувачот (на пример, Опера, IE, Google Chrome, Firefox), комуникација (Viber, Телеграма) или e-mail програми (MS Outlook и Qualcomm).

"Мравки" и "црви" се повеќе слични со пребарувач "пајаците" на. Првата форма помеѓу мрежа и доследно да комуницирате како оваа мравка колонија, "црви" е во состојба да се реплицираат во други погледи исто како и стандардниот пребарувач.

Различни пребарувач роботи

Се направи разлика помеѓу многу видови на роботите. Во зависност од целта на програмата, тие се:

• "Огледало" - Двојни се гледа веб-сајтови.
• Mobile - се фокусира на мобилни верзии на веб страни.
• Брзо - фикс нови информации брзо од страна на гледање на најновите надградби.
• Суд - референтен индекс, се смета на нивните броеви.
• Indexers различни типови на содржини - специфични програми за текст, аудио, видео, слики.
• "Шпионски" - во потрага по страници, кои се уште не се прикажани во пребарувач.
• "Клукајдрвец" - периодично да го посетите веб-сајтови за да се провери нивната релевантност и ефикасност.
• Национално - сурфање на интернет ресурси наоѓа на една од домени на земјата (на пример, .mobi или .kz .ua).
• Глобал - Индекс на националните сајтови.

Роботи големите пребарувачи

Исто така, постојат некои пребарувач, пајаци. Теоретски, нивната функционалност може да се разликуваат во голема мера, но во пракса програми се речиси идентични. Главните разлики индексирање на веб страници роботи две големи пребарувачите се како што следува:

• На строгост на тестирање. Се верува дека механизмот на Роботот "Yandex" малку построги проценки на сајтот за усогласување со стандардите на World Wide Web.
• Зачувување на интегритетот на сајтот. индекси на Google Роботот на целиот сајт (вклучувајќи и медиумски содржини), "Yandex" исто така може да видите содржината селективно.
• брзина тест нови страници. Google додава нови ресурси во резултатите од пребарувањето во рок од неколку дена, во случај на "на Yandex" процес може да трае две недели или повеќе.
• Фреквенцијата на ре-индексирање. Роботот "Yandex" Провери за надградби два пати неделно, и Google - еден на секои 14 дена.

Интернет, се разбира, не се ограничени на два пребарувачи. Други пребарувачи имаат роботи кои следат сопствените параметри индексирање. Покрај тоа, постојат неколку "пајаци", кој се наменети не големи ресурси за пребарување, и индивидуални тимови или веб-администратори.

заеднички заблуди

Спротивно на популарното верување, "пајаци" не ги процесира информациите. Програма, само го скенира и ги зачувува на веб страници и понатамошна обработка се сосема различни роботи.

Исто така, многу корисници веруваат дека на пребарувачот пајаци да има негативно влијание и "штетни" Интернет. Всушност, некои верзии на "пајаците" може значително да преоптоварување на серверот. Исто така постои и човечкиот фактор - вебмастерот, кој ја создал програма, може да направи грешка во конфигурацијата на робот. Сепак, поголемиот дел од постојните програми се добро дизајнирани и професионално управувана, како и сите нови проблеми веднаш избришани.

Како да се справат со индексирање

Пребарување моторот роботи се автоматизирани програми, но процесот на индексирање делумно може да се контролира од страна на вебмастерот. Ова во голема мера им помага на надворешни и внатрешни оптимизација на ресурсите. Покрај тоа, можете рачно да додадете нов сајт на пребарувач: големи ресурси имаат посебна форма на регистрација на веб страници.