XFree bezeichnet das gesammte "System" (also das komplette XFree Paket), während der X Server der eigentliche (2D) "Treiber" ist - also der Teil vom X-Window System, der alle Anfragen auf die Graphik-Karte übersetzt.

XFree beinhaltet ja auch noch z.B. twm, einen Fontservrer, ein paar Bibliotheken, die halt zu XFree gehören aber eben keine XServer sind.