Inaczej robot, pająk, crawler, spider. Jest to specjalny mechanizm wyszukiwarki, którego zdaniem jest przeglądanie i analiza zawartości strony internetowej i indeksowanie jej. Bot, trafiając na  stronę "czyta" ją i "skacze" po linkach do podstron serwisu. Wędrując po stronach internetowych, boty zbierają informacje, które służą do określenia pozycji strony na odpowiednie słowa kluczowe w wynikach wyszukiwania wyszukiwarki. 

Crawler przegląda głównie nowe lub ostatnio uaktualnione/zmodyfikowane strony internetowe. Jego obecność na stronie jest niezbędna do tego, żeby znalazła się ona w indeksie wyszukiwarki oraz, aby zmiany na niej dokonane zostały zaktualizowane w wyszukiwarce.

Roboty przemierzają Internet poruszając się od odnośnika do odnośnika w poszukiwaniu nowych lub świeżo zaktualizowanych stron. Wykonują kopię odwiedzanej strony, która jest później przetwarzana przez pozostałe części złożonego oprogramowania wyszukiwarki i dodawana do indeksu.

Istnieje kilka rodzajów robotów wyszukiwarek różniących się ruchliwością (ilością stron odwiedzanych w tym samym przedziale czasu), długością czasu spędzonego pod danym adresem, celem przemierzania Internetu (prawdopodobnie - roboty aktualizujące informacje, roboty cache'ujące, roboty sprawdzające poprawność stron www, roboty wyszukujące nowe elementy).

Strony internetowe indeksowane są przez crawlery na dwa sposoby, poprzez indeksowanie głębokie i indeksowanie płytkie. Jedną z różnic między nimi jest częstotliwość indeksowania.

Indeksowanie głębokie ma na celu pobranie większej ilości stron i stron znajdujących się głębiej w strukturze witryny. Roboty przy głębokim indeksowaniu są w stanie podążyć za dużą ilością odnośników, aby dotrzeć do wszystkich treści. Takie indeksowanie odbywa się rzadziej niż indeksowanie płytkie.

Indeksowanie płytkie ma na celu odwiedzenie stron najpopularniejszych, najczęściej aktualizowanych lub dokumentów, do których prowadzi najwięcej linków zwrotnych. Może to być strona główna, dokument zawierający aktualności lub strona z popularnym narzędziem. Indeksowaniem płytkim wyszukiwarka dokłada starań, aby jej indeks zawierał aktualne wersje popularnych dokumentów. Robot nie podąża za dużą ilością linków i nie sprawdza mniej istotnych elementów witryny. Ten typ indeksowania występuje częściej niż indeksowanie głębokie. Częstotliwość zależy od wielkości serwisu: może to być codzienne, co kilka godzin lub nawet minut w przypadku naprawdę dużych serwisów informacyjnych.