Robots.txt
#Se aplica para todos los Crawlers (Googlebot,Bingbot, etc.)
User-agent:*
#Se deshabilita el acceso a los archivos
Disallow:/agenda_ics.php
Disallow:/agendar_asesoria_enviado.php
Disallow:/agendar_enviado.php
Disallow:/arrenda1.php
Disallow:/arrenda2.php
Disallow:/arrenda2b.php
Disallow:/auto1.php
Disallow:/auto2.php
Disallow:/auto2b.php
Disallow:/be.php
Disallow:/be_acceso.php
Disallow:/buzondeintegridadSend.php
Disallow:/catcher.php
Disallow:/catcher_const.php
Disallow:/catcher_mejora.php
Disallow:/catcher_nueva.php
Disallow:/catcher_remodela.php
Disallow:/catcher_tabla.php
Disallow:/catcher_term.php
Disallow:/catcher_terreno.php
Disallow:/cot_arrenda_detalle.php
Disallow:/cot_autos_detalle.php
Disallow:/cot_cofinavit_amort.php
Disallow:/cot_cofinavit_detalle.php
Disallow:/cot_cofinavit_detalle_p.php
Disallow:/cot_cofinavit_pdf.php
Disallow:/cot_cofinavit_tabla.php
Disallow:/cot_const_detalle.php
Disallow:/cot_const_detalle_p.php
Disallow:/cot_const_pdf.php
Disallow:/cot_despega_detalle.php
Disallow:/cot_despega_detalle_p.php
Disallow:/cot_despega_pdf.php
Disallow:/cot_despega1.php
Disallow:/cot_despega2.php
Disallow:/cot_despega3.php
Disallow:/cot_mejora_detalle.php
Disallow:/cot_mejora_detalle_p.php
Disallow:/cot_mejora_pdf.php
Disallow:/cot_min_detalle.php
Disallow:/cot_min_detalle_p.php
Disallow:/cot_min1.php
Disallow:/cot_min2.php
Disallow:/cot_min3.php
Disallow:/cot_min3amo.php
Disallow:/cot_min3t.php
Disallow:/cot_mins_pdf.php
Disallow:/cot_mint1.php
Disallow:/cot_mint2.php
Disallow:/cot_mint3.php
Disallow:/cot_mint3t.php
Disallow:/cot_mints_pdf.php
Disallow:/cot_nueva_detalle.php
Disallow:/cot_nueva_detalle_p.php
Disallow:/cot_nueva_pdf.php
Disallow:/cot_remo_detalle.php
Disallow:/cot_remo_detalle_p.php
Disallow:/cot_remo_pdf.php
Disallow:/cot_term_detalle.php
Disallow:/cot_term_detalle_p.php
Disallow:/cot_term_pdf.php
Disallow:/cot_terreno_detalle.php
Disallow:/cot_terreno_detalle_p.php
Disallow:/cot_terreno_pdf.php
Disallow:/cotizador_arrenda_amortizacion.php
Disallow:/cotizador_arrenda_pdf.php
Disallow:/cotizador_arrendautos_amortizacion.php
Disallow:/cotizador_arrendautos_pdf.php
Disallow:/cotizador_autos_amortizacion.php
Disallow:/cotizador_autos_pdf.php
Disallow:/cotizador_catcher.php
Disallow:/cotizador_cofinavit_1.php
Disallow:/cotizador_cofinavit_2.php
Disallow:/cotizador_cofinavit_3.php
Disallow:/cotizador_const_1.php
Disallow:/cotizador_const_2.php
Disallow:/cotizador_const_3.php
Disallow:/cotizador_const_amort.php
Disallow:/cotizador_mejora_1.php
Disallow:/cotizador_mejora_2.php
Disallow:/cotizador_mejora_3.php
Disallow:/cotizador_nueva_1.php
Disallow:/cotizador_nueva_2.php
Disallow:/cotizador_nueva_3.php
Disallow:/cotizador_pdf.php
Disallow:/cotizador_personal_amortizacion.php
Disallow:/cotizador_personal_cotiza.php
Disallow:/cotizador_personal_cotiza2.php
Disallow:/cotizador_remodel_1.php
Disallow:/cotizador_remodel_2.php
Disallow:/cotizador_remodel_3.php
Disallow:/cotizador_rp_amortizacion.php
Disallow:/cotizador_rp_cotiza.php
Disallow:/cotizador_rp_pdf.php
Disallow:/cotizador_term_1.php
Disallow:/cotizador_term_2.php
Disallow:/cotizador_term_3.php
Disallow:/cotizador_terreno_1.php
Disallow:/cotizador_terreno_2.php
Disallow:/cotizador_terreno_3.php
Disallow:/crossdomain.xml
Disallow:/detectamovil.php
Disallow:/firmania_premios.json
Disallow:/footer.php
Disallow:/geodata.php
Disallow:/header.php
Disallow:/header_home.php
Disallow:/interesado_feedback.php
Disallow:/mediosSend.php
Disallow:/script.php
Disallow:/search.php
Disallow:/simple_html_dom.php
Disallow:/simple-php-captcha.php
Disallow:/validaSAT.php
Disallow:/vartransfer.php
Disallow:/xml_reader.php
Disallow:/xml_reader_interno.php
Disallow:/backend/ubicaciones.php
#Carpetas deshabilitadas
Disallow:/includes/
Disallow:/xmls/
Disallow:/tasasinteres/
#Se permite explicitamente el acceso a estos archivos .css y .js a los crawlers
Allow:/*.css$
Allow:/*.js$
Allow: https://service.force.com/embeddedservice/5.0/esw.min.js
#sitemap
Sitemap: https://www.banregio.com/sitemap.xml
(Nice to have)