Een spider is software die ontwikkeld is om websites te doorzoeken en een quotatie toe te kennen. Het proces van het crawlen (of spidering) gebruikt de spider om een website te indexeren. Een spider doorzoekt informatie van een web pagina, volgt dan één van de links naar een volgende pagina, vindt daar meer informatie, net zolang tot de hele website is geindexeerd.