|
| Crea tu propio robot personal |
|
| Construye tu propio archvo de información a los robot |
Es probable que estes siendo penalizado por los robots, cosa que dificulta la clasificación de tu sitio.
Quizás es hora que te enteres cómo se controla la información que se encuentra en tu sitio.
|
El espacio virtual es prácticamente infinito, en el sentido que no parece poder acotarse, de esta forma cualquier método de clasificación de todo lo que hay en él, se hace en forma parcial, por tramos, por volúmenes finitos.
En cada rastreo del robot de Google, éste revisa algo, clasifica algo, el porcentaje de lo que queda sin revisar es desconocido.
Es por ello que Google propone una ayuda para el agobiado Googlebot, con la cual se le puede informar al robot qué cosa exactamente contiene tu sitio que deseas que el robot clasifique.
Es un buen modo de acomodar tus páginas al mínimo tiempo que requiere una clasificación exhaustiva, le ahorras tiempo al robot de Google y te ahorras tiempo de estar revisando qué cosas están tenidas en cuenta y qué no a la hora de la indexación de tu sitio.
Manos a la obra: la idea es construir un archivo en formato .txt que contenga la información ya clasificada tal que el robot de Google levante los datos de los contenidos del sitio sin revisar el contenido completamente.
El robot tomará en cuenta esa información y a su vez, revisará el porcentaje habitual con que se detiene a clasificar el sitio, porque además de clasificarlo, debe revisar que la información sea fidedigna, y que no se hayan cometido penalizaciones graves como que haya información sobre temas no permitidos.
En una primera visita entonces, es conveniente que tener la información inmediata en este archivo especialmente preparado para informar al Robot.
El nombre del archivo es robot.txt, y se escribe simplemente ejecutando el programa Notepad que viene con el Windows.
Dentro del archivo hay que tener en cuenta la clase de cosas que se informan, a quién se informa y el modo de informarlo.
A quienes se informa: A aquellos buscadores que utilizan un tipo de procedimiento automático llamado robot, como Google, Lycos, Excite, Inktomi, Altalavista, etc. Este archivo debe encontrarse en la carpeta principal o raíz de tu sitio.
Como de todos modos los robots indagarán la información por sí mismos mucha gente se preguntará para qué colocar este archivo.
La respuesta es compleja: la verdadera razón no es para que se clasifique información que de todos modos hará, aunque con este archivo se logra mayor rapidez, sino para lo contrario: para lograr que no se vea información o que no se clasifique.
Las razones para desear que esto no ocurra es diversa, en algunos casos porque se cuenta con información no pública, en otros porque es información sobre caso que los buscadores penalizan, en la mayoría porque es información que colocan los usuarios que pueden hacer que un sitios sea penalizado sin que el dueño se entere del hecho, como por ejemplo la copia de información de otro sitio o la duplicación en el mismo sitio por razones estéticas o de decisión del dueño del sitio.
Seguramente el usuario encontrará otras razones.
Lo que hay dentro del archivo son pares de valores escritos de la siguiente manera:
Campo:valor
Se pueden incluir comentarios utilizando el signo numeral o almohadilla: # al comienzo de una línea, todo lo que se encuentre a la derecha del numeral será ignorado por el robot.
Con el título: User-Agent, se indicará a continuación el robot para el cual se inhibe la información, indicado con la palabra Disallow la carpeta o archivo que se desea ocultar.
Ejemplos:
User-agent: *
Disallow: /archivos/
Disallow: /imagenes/
Esto quiere decir: visibilizar para todos los robots (eso significa el asterisco: todos) todo el sitio menos las carpetas: archivos e imagenes.
Si quisiéramos que ocurriera para un solo Robot e incluso un solo archivo en vez de carpetas o directorios:
User-agent: googlebot
Disallow: index.htm
Quiere decir: visibilizar todos el sitio sólo para Googlebot, impidiendo a otros buscadores clasificar el sitio y no clasificar el archivo index.htm
Algo que deberás tener en cuenta a la hora de utilizar el nombre de los robots en vez del carácter asterisco es que hay que conocer el nombre del robot al cual haces referencias, algunos de esos nombres son:
Excite: ArchitextSpider
Altavista: Scooter
Lycos: Lycos_Spider_(T-Rex)
Google: Googlebot
Alltheweb: FAST-WebCrawler/
Inktomi: Slurp
Ana Abregu.
PosicionamientoURL
|
|
|
|
