Quitar frutos de un kinotero o kumquat

[Ulises Malbec]

Hola a todos:
Les consulto, tengo un kinotero o kumquat principalmente como decoración aunque le saque algunos frutos para hacer licor.
La pregunta es la siguiente.
Si dejo mucho tiempo los frutos en el arbolito (que visualmente lo hacen mas atractivo) puedo debilitarlo para la próxima temporada que tendrá menos cantidad de frutos?
O dicho de otra manera:
¿Desde que los frutos están bien anaranjados, cuanto tiempo puedo dejarlos en el arbol?
Gracias
Abrazo