# --- Semua crawler dibenarkan akses penuh ---
User-agent: *
Allow: /

# Halang folder sistem / bukan untuk indeks (sesuaikan jika ada)
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
Disallow: /search?
Disallow: /*?s=

# --- Pastikan aset penting TIDAK dihalang (Core Web Vitals) ---
# Google perlu render CSS/JS/imej untuk nilai halaman dengan betul.
Allow: /*.css$
Allow: /*.js$
Allow: /*.webp$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.svg$

# --- Throttle crawler SEO pihak ketiga (jimat resource) ---
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

User-agent: MJ12bot
Crawl-delay: 10

# --- Sitemap (WAJIB ada) ---
Sitemap: https://bantuanmykasih.my/sitemap.xml