Los motores de búsqueda tienen el propósito principal de indexar 1000 de 1000000 de páginas web. Una vez que busca una palabra o una frase, el motor de búsqueda escanea automáticamente toda la base de datos donde tiene indexadas las páginas almacenadas y le devuelve como resultado una lista que contiene los resultados más relevantes para esa búsqueda. 

Los motores de búsqueda llegaron a algún lugar a principios de los años 90 cuando Alan Emtage, un estudiante de la Universidad McGill en Montreal produjo la primera herramienta similar a un motor de búsqueda. Se llamaba Archie. Su propósito era buscar a través de los datos disponibles en los servidores FTP. Los archivos en estos servidores estaban disponibles para cualquiera, pero uno no podría utilizarlos a menos que conozca la dirección exacta del servidor y del archivo. Archie examinó esta base de datos y acumuló listas de archivos para cada servidor. Fue utilizado por individuos para unir frases y caracteres con el fin de llevarlos a la dirección del servidor donde estaba el archivo que buscaban. 

Archie es hoy una vieja técnica, pero su creación fue el primer paso en el rally de motores de búsqueda que está sucediendo hoy. A medida que el público se hizo más y más consciente de la existencia de la Red, la necesidad de una herramienta de búsqueda se hizo evidente. 

Entonces, primero hubo algunos robots de software, que usaban el concepto de spidering para indexar la web, seguían enlaces de un sitio web a otro y guardaban el texto de todos los sitios visitados en una base de datos. 

Entre 1994 y 1995 aparecieron 3 motores de búsqueda cruciales: Lycos, WebCrawler y AltaVista. Casi al mismo tiempo Yahoo! apareció pero Yahoo! No es un motor de búsqueda. Sí, tiene una rutina de motor de búsqueda, pero Yahoo es, en primer lugar, director o datos y artículos, y ofrece diferentes servicios como correo electrónico y alojamiento. 

Hoy en día los motores de búsqueda están en una competencia incesante. Hay miles de motores de búsqueda, pero solo algunos grandes. Este pequeño grupo de motores de búsqueda principales es responsable de más del 90% de las búsquedas netas. 

Pero surge la pregunta: si los motores de búsqueda son gratuitos y pueden ser utilizados por todos, ¿qué los mantiene económicamente vivos? La respuesta a la pregunta es realmente fácil: publicidad y tráfico. Cuantas más visitas tengan, mayor será el tráfico y más dinero podrán ganar proporcionando espacio de promoción. 

Los motores de búsqueda compiten para desarrollar las mejores fórmulas y algoritmos para evaluar las páginas web de acuerdo con las palabras clave proporcionadas. 

Si alguien busca una posición superior en los motores de búsqueda, debe asegurarse de que su sitio esté proyectado de tal manera que los motores de búsqueda lo descubran fácilmente, siendo relevante para las palabras clave y frases que el propietario desea que se encuentren.