Use este guia quando você precisar configurar, entender ou validar Como atualizar robots.txt para permitir leitura do site pela IAra na IAra.
Antes de começar na IAra
- Confirme que seu usuário tem permissão para acessar a área citada no artigo.
- Faça a configuração primeiro em um cenário de teste, sempre que o recurso afetar atendimentos reais.
- Se o fluxo envolver WhatsApp, Meta, Twilio, e-mail, domínio, SAML, API ou outro provedor externo, confirme as credenciais e permissões antes de iniciar.
Guia detalhado
IAra usa o Firecrawl internamente para buscar e indexar o conteúdo do seu site. Isso permite que a IAra Assistant responda perguntas usando as informações do seu site.
No entanto, se o robots.txt do seu site tiver regras Disallow, o Firecrawl irá respeitá-las e pular o rastreamento dessas páginas.
Na tela: Depois de liberar a leitura do site, confira em Documentos se a fonte foi adicionada corretamente.
Quando isso acontecer:
-
Nenhum documento do seu site será adicionado a IAra
-
O Assistente não receberá nenhum contexto adicional
-
As respostas podem ficar incompletas ou genéricas
Para garantir que o Assistente funcione corretamente, você precisa permitir que o Firecrawl rastreie seu site.
Etapa 1: verifique seu robots.txt
Visite:
https://seudominio.com/robots.txt
Procure por entradas Disallow: que possam bloquear agentes de usuário.
Etapa 2: adicionar uma regra de permissão para Firecrawl
Peça ao administrador ou desenvolvedor do seu site para adicionar as seguintes linhas ao arquivo robots.txt:
Agente do usuário: FirecrawlAgent
Permitir: /
Isso informa ao Firecrawl que é permitido rastrear todo o seu site, mesmo que outros bots sejam restritos.
Etapa 3: salvar e publicar
Depois de atualizar o robots.txt, certifique-se de que o arquivo esteja implantado e acessível publicamente.
Você pode verificar visitando:
https://seudominio.com/robots.txt
e verificando se as novas regras aparecem.
Como validar na IAra
- Execute o fluxo em uma conta ou conversa de teste.
- Confirme se o resultado aparece para o agente, gestor ou cliente exatamente como esperado.
- Revise se o nome da caixa, time, etiqueta, assistente ou integração está claro para o restante da equipe.
Problemas comuns
- Usuário sem permissão para acessar a configuração.
- Nome de tela diferente entre versões ou contas.
- Recurso dependente de plano, provedor externo ou habilitação pela Digi2B.
- Falta de teste em conversa realista antes de liberar para a equipe.
Checklist final
- [ ] Configuração revisada por um administrador.
- [ ] Teste realizado com dado ou conversa controlada.
- [ ] Impacto para agentes e gestores entendido.
- [ ] Artigos relacionados revisados para evitar links quebrados.