Es oficial, en la versión cfdi 3.3 ya no aparece el domicilio fiscal del cliente. Siendo únicamente obligatorio el rfc y el nombre opcional.

Por conveniencia agregamos el email del cliente para enviarle su factura. Este dato es opcional

y como no es algo que estemos inventando, presento una imagen del anexo 20 donde hay tres datos en color amarillo

RFC
Nombre
UsoCFDI

Los otros dos aplican solo cuando el cliente es extranjero y siempre y cuando tengas el Número de Registro de Identidad Fiscal