# robots.txt — Fynqo
# https://fynqo.app/robots.txt
#
# Beleid: marketing-content (landings, portals, uitleg, vergelijken, verhalen)
# is publiek doorzoekbaar voor zowel zoekmachines als AI-crawlers. Auth-gated
# routes (/dashboard, /admin, /api, /coach, /bewind, /ggz, /gemeente werk-flows)
# vragen login en zijn nooit indexeerbaar — die staan ook achter middleware,
# de Disallow hier is een extra signaal.
#
# AI-zoek- en user-retrievalbots mogen publieke content ophalen voor zoeken,
# RAG en citatie. Bekende trainingscrawlers worden afzonderlijk geblokkeerd.
# Auth-routes blijven voor iedere crawler uitgesloten.

# ─── Default — alle reguliere crawlers ──────────────────────────────────────
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Disallow: /coach/inbox
Disallow: /coach/checkins
Disallow: /coach/mesis
Disallow: /bewind/dashboard
Disallow: /bewind/zoeken
Disallow: /bewind/onboarding
Disallow: /bewind/betalingen
Disallow: /bewind/agenda
Disallow: /ggz/caseload
Disallow: /ggz/handoffs
Disallow: /ggz/workspace
Disallow: /ggz/agenda
Disallow: /ggz/dashboard
Disallow: /ggz/clients
Disallow: /gemeente/dashboard
Disallow: /schuldhulp/zaken
Disallow: /schuldhulp/intake
Disallow: /onboarding
Disallow: /settings/
Disallow: /email/
Disallow: /berichten
Disallow: /agenda
Disallow: /transactions
Disallow: /stresstest
Disallow: /premium
Disallow: /bank
Disallow: /referral
Disallow: /dossier-overdracht
Disallow: /reset
Disallow: /login
Disallow: /register
Disallow: /forgot-password
Disallow: /reset-password
Crawl-delay: 1

# ─── AI-crawlers — zoeken/citeren toegestaan, modeltraining geweigerd ────────
# OpenAI training
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: OAI-SearchBot
Allow: /
Disallow: /api/
Disallow: /admin/

# Anthropic training
User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Anthropic search and user-requested retrieval
User-agent: Claude-SearchBot
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: Claude-User
Allow: /
Disallow: /api/
Disallow: /admin/

# Google AI (Gemini, Bard) — los van Googlebot omdat opt-out apart is
User-agent: Google-Extended
Disallow: /

# Perplexity
User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: Perplexity-User
Allow: /
Disallow: /api/
Disallow: /admin/

# Common Crawl (gebruikt door veel LLM-trainings)
User-agent: CCBot
Disallow: /

# Cohere
User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

# Apple Intelligence
User-agent: Applebot-Extended
Disallow: /

# Meta AI
User-agent: FacebookBot
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

# ByteDance / TikTok / Doubao
User-agent: Bytespider
Disallow: /

# Diffbot (bulk knowledge graph ingestion)
User-agent: Diffbot
Disallow: /

# Omgili (Webz.io — news + LLM data)
User-agent: omgilibot
Disallow: /

# Mistral AI
User-agent: MistralAI-User
Allow: /
Disallow: /api/
Disallow: /admin/

# DuckDuckGo Assist (gebruikt diverse LLMs)
User-agent: DuckAssistBot
Allow: /
Disallow: /api/
Disallow: /admin/

# Amazon (Alexa, Q)
User-agent: Amazonbot
Allow: /
Disallow: /api/
Disallow: /admin/

# You.com
User-agent: YouBot
Allow: /
Disallow: /api/
Disallow: /admin/

# ─── Sitemap en AI-discovery-bestanden ──────────────────────────────────────
# /sitemap.xml is de enige gepubliceerde index. Die verwijst alleen naar de
# onderhouden kernroutes en de eerlijke coachmarktplaats-ingangen; bulk lokale
# varianten worden niet als acquisitiebestemming aangeboden.
Sitemap: https://fynqo.app/sitemap.xml

# llms.txt — compacte, vrijwillige product- en statuskaart voor LLM-crawlers.
# LLMs: https://fynqo.app/llms.txt
# LLMs-full: https://fynqo.app/llms-full.txt
#
# ai.txt — AI-gebruiksbeleid (training, RAG, citatie, opt-out).
# AI-policy: https://fynqo.app/ai.txt