São dois ficheiros pequenos que falam com os motores de busca, e é muito comum um deles estar errado sem ninguém dar por isso. O robots.txt diz aos robôs por onde podem andar. O sitemap.xml dá-lhes a lista das páginas que quer que conheçam. Nenhum dos dois garante que uma página aparece no Google, mas um erro num deles pode escondê-la.
Uma coisa de cada vez
|
robots.txt |
sitemap.xml |
| Para que serve |
Pedir a um robô que não visite certas pastas. |
Listar as páginas que quer que sejam encontradas. |
| Onde está |
Na raiz do domínio: https://asuaempresa.co.mz/robots.txt |
Costuma estar na raiz também. Quem o indica é o próprio robots.txt ou o Search Console. |
| No WordPress |
Se não existir ficheiro, o WordPress mostra um virtual. |
O WordPress traz um próprio, em /wp-sitemap.xml. Um plugin de SEO pode criar outro. |
| O que não faz |
Não esconde nada: é um pedido público, e só quem quer o cumpre. |
Não obriga o Google a indexar o que lá está. |
Como verificar os dois
| 1 |
Abra o robots.txt no navegador: o endereço do seu domínio seguido de /robots.txt. Tem de abrir como texto simples. Se dá erro 404, não existe ficheiro e vale o virtual do WordPress, ou nada.
|
|
| 2 |
Procure a linha que estraga tudo: Disallow: / sozinha, depois de User-agent: *, pede a todos os robôs que não visitem coisa nenhuma. Fica por esquecimento de quando o site estava em construção.
|
|
| 3 |
Veja a definição do WordPress. Em Definições, Leitura, existe a opção de pedir aos motores de busca que não indexem o site. Se estiver marcada, o site fica invisível. Desmarque-a.
|
|
| 4 |
Abra o sitemap. Tente /wp-sitemap.xml ou o endereço que o seu plugin de SEO indica. Tem de mostrar uma lista de endereços com o domínio certo e https.
|
|
| 5 |
Entregue o sitemap ao Google. No Search Console, na secção Sitemaps, submeta o endereço e veja se é lido sem erros. O passo a passo está em pôr o site no Search Console. O Search Console é um produto da Google, usado por si.
|
|
Um robots.txt razoável para um site WordPress
Para criar o ficheiro, abra o Gestor de Ficheiros, vá à pasta onde está o site e crie um ficheiro chamado robots.txt com este conteúdo:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://asuaempresa.co.mz/wp-sitemap.xml
Troque o endereço pelo do seu domínio. Um ficheiro real manda mais do que o virtual do WordPress.
O robots.txt não serve para esconder páginas. É público: qualquer pessoa o lê, e uma lista de pastas «proibidas» é um mapa para quem procura segredos. E pedir a um robô que não visite uma página não a tira do Google se houver ligações para ela. Para manter uma página fora das pesquisas use a etiqueta noindex, e deixe o robô visitá-la, para ver a etiqueta. Para algo privado de verdade, use uma palavra-passe.
|
Cada subdomínio tem o seu robots.txt. O de https://asuaempresa.co.mz/robots.txt não vale para um subdomínio seu. E, se não quer que robôs de IA leiam o site, é também aqui que se pede: veja robôs de IA a visitar o seu site.
|
|
O robots.txt ou o sitemap dão erro do lado do servidor (404, 403 ou 500)? Diga-nos o endereço e o que aparece.
Abrir um pedido de suporte
|
PRODUTO RECOMENDADO Alojamento de sites com cPanel Domínio e SSL incluídos, cópias diárias e o painel que já conhece. desde 321,75 MT/mês (plano de 3 anos, com cupão) Ver planos |
Português
English
