ssh forwardet nicht die X-Verbindung zum X-server. Die ssh forwardet den Port (meist 6000 bei DISPLAY=rechner:0)) des X-servers zu dem ssh-server (meist auf port 6010 und setzt die Displayvariable in der loginsession des ssh-Servers auf DISPLAY=localhost:10). Wenn man jetzt auf dem ssh-Server z.B. einen xterm startet, versucht der xterm ein Fenster auf localhost:10 (port 6010) zu öffnen. dort lauscht nun der Tunnelthread von der ssh und dieser leitet die Anfrage an den Xserver weiter (meistens der Desktop, vor dem man sitzt) und die Antworten entsprechend zurück zu dem Client, der auf dem ssh-server läuft. Ob ssh X-Tunneling auch dann funktioniert, wenn X mit -nolisten gestartet wurde, weiß ich nicht, wenn das ginge, dann wäre die ssh auch in der Lage UNIX-Sockets über tcp/ip zu tunneln; das wäre natürlich von Sicherheitsüberlegungen her sehr interessant.
chvt