# Robots.txt profesional - ARPATEL SISTEMAS

# Regla general para todos los robots
User-agent: *
Allow: /

# Bloquear áreas administrativas o privadas
Disallow: /admin/
Disallow: /panel/
Disallow: /login/
Disallow: /private/
Disallow: /config/
Disallow: /backup/
Disallow: /tmp/
Disallow: /cgi-bin/

# Bloquear archivos sensibles
Disallow: *.sql$
Disallow: *.log$
Disallow: *.env$
Disallow: *.bak$
Disallow: *.ini$
Disallow: *.conf$

# Permitir recursos importantes para renderizado
Allow: /css/
Allow: /js/
Allow: /images/
Allow: /assets/

# Control de bots de buscadores principales
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# Bloquear bots agresivos de scraping SEO
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

# Opcional: controlar frecuencia de rastreo
Crawl-delay: 5

# Sitemap del sitio
Sitemap: https://www.arpatelsistemas.com.co/sitemap.php