Ich hab auch 2GB RAM im Server, doch das hilft Asterisk nichts. Bei VoIP merkst du alles mit einer Latenzzeit über 200ms. Sobald in einer VM anständig Last ist, dann kannst du Asterisk in der anderen VM vergessen. Ich habe mal in der Xen-Maillingliste einen Thread gefunden in der als einzige Lösung zu diesem Problem eine dedizierte CPU für die Asterisk-VM angesprochen wurde. Das war aber vor der Unterstützung der VMs durch Hardware wie Pacifica/VT und deshalb weiß ich nicht ob das noch aktuell ist.
Auf jedenfall sind timingkritische Anwendungen und virtuelle Maschinen ein Feld wo noch einiges an Manpower reingesteckt werden muß.