Use este guia quando você precisar configurar, entender ou validar **Como atualizar robots.txt para permitir leitura do site pela IAra** na IAra.
## Antes de começar na IAra

- Confirme que seu usuário tem permissão para acessar a área citada no artigo.
- Faça a configuração primeiro em um cenário de teste, sempre que o recurso afetar atendimentos reais.
- Se o fluxo envolver WhatsApp, Meta, Twilio, e-mail, domínio, SAML, API ou outro provedor externo, confirme as credenciais e permissões antes de iniciar.

## Guia detalhado

IAra usa o **Firecrawl** internamente para buscar e indexar o conteúdo do seu site. Isso permite que a IAra Assistant responda perguntas usando as informações do seu site.

No entanto, se o robots.txt do seu site tiver regras **Disallow**, o Firecrawl irá respeitá-las e pular o rastreamento dessas páginas.

<!-- iara-context-media:agente-ia-documentos-cenarios-mcp-frame-001 -->
**Na tela:** Depois de liberar a leitura do site, confira em **Documentos** se a fonte foi adicionada corretamente.

![documentos.](https://app.digi2b.com/storage/file/2323w8nmu2qbzhovyafscw8z16v6)

Quando isso acontecer:

* Nenhum documento do seu site será adicionado a IAra

* O Assistente não receberá nenhum contexto adicional

* As respostas podem ficar incompletas ou genéricas

Para garantir que o Assistente funcione corretamente, você precisa permitir que o Firecrawl rastreie seu site.

## **Etapa 1: verifique seu robots.txt**

Visite:

```
https://seudominio.com/robots.txt
```

Procure por entradas Disallow: que possam bloquear agentes de usuário.

## **Etapa 2: adicionar uma regra de permissão para Firecrawl**

Peça ao administrador ou desenvolvedor do seu site para adicionar as seguintes linhas ao arquivo robots.txt:

```
Agente do usuário: FirecrawlAgent
Permitir: /
```

Isso informa ao Firecrawl que é permitido rastrear todo o seu site, mesmo que outros bots sejam restritos.

## **Etapa 3: salvar e publicar**

Depois de atualizar o robots.txt, certifique-se de que o arquivo esteja implantado e acessível publicamente.

Você pode verificar visitando:

```
https://seudominio.com/robots.txt
```

e verificando se as novas regras aparecem.

---

## Como validar na IAra

1. Execute o fluxo em uma conta ou conversa de teste.
2. Confirme se o resultado aparece para o agente, gestor ou cliente exatamente como esperado.
3. Revise se o nome da caixa, time, etiqueta, assistente ou integração está claro para o restante da equipe.

## Problemas comuns

- Usuário sem permissão para acessar a configuração.
- Nome de tela diferente entre versões ou contas.
- Recurso dependente de plano, provedor externo ou habilitação pela Digi2B.
- Falta de teste em conversa realista antes de liberar para a equipe.

## Checklist final

- [ ] Configuração revisada por um administrador.
- [ ] Teste realizado com dado ou conversa controlada.
- [ ] Impacto para agentes e gestores entendido.
- [ ] Artigos relacionados revisados para evitar links quebrados.