Indexar en Google y crear sitemap.xml y robots.txt

Acabamos de hacer un sitio web y queremos indexarlo en Google, para lo cual deberemos crear un archivo robots.txt y un sitemap.xml

¿Cómo lo hacemos?

1. Primero, entra en la dirección https://www.google.com/webmasters/tools/home?hl=es
2. Añade tu sitio.
3. Descarga el archivo de verificación y súbelo a tu servidor
4. Comprueba que el archivo esta subido correctamente (a través del enlace proporcionado por la página de Google.)
5. Dale a siguiente

Crear un sitemap:

1. Descarga el programa SiteMap Generator  e instálalo.
2. Introduce la web del sitio del que deseas hacer el sitemap en la casilla “Extract links from site” y darle a “Start”.
3. Presionar la pestaña Google Site Map XML y darle a “Save to file”. Lo guardaremos como sitemap.xml
4. Subimos el archivo a nuestro servidor (www.nuestrositio.com/sitemap.xml)

Enviar el sitemap a Google

Volvemos a la página de desarolladores de Google y enviamos el sitemap desde la opción “Sitemaps->Añadir o probar sitemap”.

Crear un archivo robots.txt

A continuación tenemos un ejemplo de un archivo robots.txt:

————————————————————————–

Sitemap: http://www.nuestrositio/sitemap.xml

User-agent: *
Disallow:

User-agent: Google
Disallow:

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
(Googlebot)
Disallow:

User-agent: Googlebot-Mobile
Disallow:

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

Disallow: /politica-de-privacidad/ #
Disallow: /aviso-legal/ #

—————————————————————————

Obviamente, debemos introducir correctamente nuestro sitio web en la primera linea. En la opción “disallow” pondremos aquellas páginas que no deseemos indexar. Este archivo podemos crearlo desde el bloc de notas y guardarlo como robots.txt

A contianución lo subimos a nuestro servidor (www.nuestrositio.com/robots.txt)

De momento esto es todo, ahora debemos esperar unos días para que las arañas de Google ratreen nuestro sitio e indexen sus páginas. Así pues, en unos días volveremos a entrar para comprobar que nuestro sitio ha sido indexado correctamente.

Marisol Perez

www.marisolperez.es