Zeig mir mal wie du ohne PA, eine USB-Soundkarte während des abspielens anschliesst, die Ausgabe darauf umleitest und dann wenn du aus Versehen das Kabel abziehst, die Soundausgabe automatisch wieder auf die andere Soundkarte zurückwechselst. Für solche und ähnliche Sachen ist PulseAudio gedacht.

Wie genau hast du dich mit der Materie befasst und genau sagen zu können, dass die Instabilität bei der Benutzung von PulseAudio dem Server zuzuschreiben ist und nicht etwas einem Alsa-Treiber?