Vad är en internet-spindel?

Förklaring

En internet-spindel eller web crawler genomsöker Internet på information, som sökmotorerna efterföljande kan indexera och använda när användarna söker efter information på Internet. Uppgiften utförs av en bot som är ett datorprogram med artificiell intelligens.