Was für Nachteile sollen das sein? Der Installer für XFCE ist einfach nur ein graphisches Tool, das die Sourcen in der richtigen Reihenfolge für das System kompiliert. Macht nichts anderes als wenn du die Tarballs runterlädst entpackst und selber kompilierst, nur eben automatisch.