Mal 'ne Richtigstellung: "ssh -X" ist kein Netzwerk-X. Der SSH-Server agiert als lokaler (!) X-Server, der SSH-Client als lokaler X-Client. Davon, daß SSH das heimlich übers Netz weiterreicht, merkt Xorg nichts.
Wenn also später mal OpenSSH auf Wayland umgestellt wird, muß Wayland dazu nicht netzwerktransparent sein. (Ist es aber.)
Der Netzwerkverkehr wird allein von SSH erledigt.