Una vez que un robot entra en una página se lee el código buscando identificar una serie de zonas: la cabecera, el cuerpo… y dentro de éstas, intenta localizar las etiquetas clave, es decir, las palabras que identifican los contenidos, estructuras, archivos, secciones, etc. de la Web. Si por ejemplo, la etiqueta TITLE no es la primera bajo la etiqueta HEAD, no archivará en su base de datos el título de la Web.
SERP viene de Search Engine Results Page (Páginas de Resultados de Buscadores), es la página de los resultados que nos muestra un buscador. Frecuentemente se hace referencia a la lista de resultados de un buscador.
En Google se puede distinguir entre la lista de resultados orgánica y la de pago. La lista de resultados orgánica se basa en las páginas indexadas que rastrea y almacena el crawler o robot, mientras que la lista de lago es aquella que nos aparece como enlaces patrocinados.
Un método habitual, conocido como “peso según frecuencia”, asigna un peso relativo a las palabras para indicar su importancia en cada documento; la asignación de relevancia se basa en la distribución de las palabras y en la frecuencia con que aparecen en cada uno de los sites.
Si queremos que los robots nos visiten más a menudo, consiguiendo tener siempre nuestro contenido actualizado en sus índices, deberemos aumentar el grado de variabilidad o frescura de nuestras páginas modificándolas a menudo y aportando nuevos contenidos de forma regular
El secreto de un sitio Web son sus contenidos y, principalmente, que estos contenidos sean originales, ya que un buscador va a enseñar a los usuarios que hacen búsquedas lo optimo y actual para ellos.
Pero ¿qué usa Google que hace más efectiva su búsqueda?. El análisis de enlaces, constituye la estrategia fundamental de discriminación y a la que mayor peso específico tiene sobre el SEO. Básicamente esta técnica estudia la naturaleza de cada página, si se trata de una “autoridad”(es decir, los enlaces de otras páginas remiten a ella) o si es un “eje” (remite a otras páginas). En otras palabras: la popularidad de la página donde se sitúa el enlace.
Existen diferentes métodos llamados Métodos de Exclusión que permiten evitar que un buscador rastree e indexe nuestra página: