ja, das geht. Man sollte dabei ein paar Dinge beachten:
Nachdem man alles gebaut hat, was man braucht (nachträgliches kompilieren wird schwierig)
- Debugging-Symbole entfernen (wie im Buch beschrieben).
- Alle Statische Bibliotheken entfernen (Alles was unter /lib und /usr/lib die Endung .a hat).
- Header entfernen (das ganze /usr/include-Verzeichnis)
- Dokumentationen (/usr/share/man /usr/share/info /usr/share/doc) löschen
- Alles andere an Development-Tools wie gcc ld usw. zusammensuchen und löschen.

Eventl. kann man noch Platz sparen, indem man die uClib verwendet. Hab aber keine Ahnung, wie gut das funktioniert.
Vorher aber natürlich sichern. Für den Fall, dass man doch noch was kompilieren muss oder versehentlich zu viel löscht.