Benchmarking mit der Phoronix Test Suite

Wer Windows besitzt und dazu auch noch spielt, kennt das Phänomen: Fast regelmäßig alle zwei Jahre brachte die Firma Futuremark einen neuen Benchmark »3DMark« heraus, der die (Grafik)Karten neu mischte und zum virtuellen Leistungsvergleich aufrief. Das sogenannte »Benchmarking« hat aber auch einen sinnvollen Hintergrund, möchte man die Leistung der Hard- bzw. Software testen, um die optimalen Systemeinstellungen oder Hardwarekomponenten zu finden. Die Phoronix Test Suite (PTS) bietet hierzu die Möglichkeit.

Von Dominik Wagenführ

Einleitung

Phoronix.com ist eine Webseite, die 2004 entstanden ist, um vor allem über den Einsatz von Hardware unter GNU/Linux zu berichten. Nach vier Jahren ist die Seite sehr etabliert und vor allem was Grafiktreiber-Nachrichten angeht, immer ganz vorn dabei. Im Februar 2008 entschloss man sich, die Phoronix-eigene Testumgebung öffentlich zu machen und brachte im April die erste Version 0.1.0 heraus. Im September 2008 wurde Version 1.2.0 der Phoronix Test Suite mit dem Codenamen »Malvik« veröffentlicht.

Wozu ist Benchmarking aber nun gut? Auf dem gleichen System kann man zum einen verschiedene Hardware (z.B. verschiedene Grafikkarten oder Speicherbausteine), aber auch verschiedene Software testen. Unter letzteres fallen dann verschiedene Treiberversionen, um zu schauen, ob der neueste Nvidia- oder ATI-Treiber wirklich die Mehrleistung liefert, die er verspricht. Auch einen selbst gebauten Kernel kann man gegen den Standard-Kernel antreten lassen. Daneben gibt es aber auch die Möglichkeit, zwei grundverschiedene Systeme zu testen, wenn man sich zum Beispiel gerade ein Netbook anschaffen will und nicht weiß, ob Asus, Acer oder HP die bessere Wahl (was die Rohleistung angeht) wäre.

Hinweis: Für diesen Bericht wurde die Git-Version (»Orkdal« v1.4.0a0) vom 13. September 2008 benutzt, da die Version 1.2.1 bei der Installation eines jeden Tests nur

The MD5 check-sum of the downloaded file is incorrect.

meldete. Eine korrigierte Version lag zum Zeitpunkt des Berichtes leider noch nicht als eigenes Archiv oder Paket vor.

Installation

Bevor man sich PTS installiert, sollte man sicherstellen, dass der PHP-CLI (»Command Line Interpreter«) und das PHP-GD-Modul (»Graphics Directly«) installiert ist. Dies geschieht meist über die Pakete php5-cli und php5-gd. Einige der Tests benötigen zusätzlich noch die herkömmlichen Programmierwerkzeuge wie einen C++-Compiler (ggf. über das Paket build-essential installieren) und das Paket time zur Zeitmessung.

Von der Downloadseite lädt man sich dann entweder die Quellen als tar.gz-Archiv herunter oder benutzt das Debian/Ubuntu-Paket, wenn man diese Distribution einsetzt. Der Einfachheit halber wird für den Artikel das Archiv benutzt. Dieses entpackt man nach dem Download am besten ins Homevezeichnis und kann, nachdem man in das Verzeichnis phoronix-test-suite gewechselt hat, auch sofort im Terminal loslegen.

tar xfz phoronix-test-suite*.tar.gz
cd phoronix-test-suite
./phoronix-test-suite

Letztere liefert eine Ausgabe aller Kommandozeilenparameter. Eine grafische Version zum Anhaken der gewünschten Tests gibt es noch nicht.

Benutzung

Zuerst einmal will man sicher wissen, was man alles testen kann. Dazu gibt man

./phoronix-test-suite list-tests

ein, welche alle verfügbaren Tests anzeigt. Möchte man mehr über einen Test erfahren, hilft das Kommando

./phoronix-test-suite info TESTNAME

Neben einer Beschreibung des Tests findet man dort auch die Download- und Installationsgröße.

Dominik Wagenführ

Ein Teil des Tests »Lightsmark 2008«

Testinstallation

Die eben genannten Punkte Downloadgröße und Installationsgröße sind sehr wichtig, was mit der Aufmachung der Benchmark-Suite zu tun hat. Um auf allen Linux-Systemen vergleichbare Ergebnisse zu erhalten, werden die Tests aus dem Netz geladen, ggf. kompiliert und installiert. Das stellt sicher, dass auf zwei Systemen die Testanwendungen auch wirklich identisch sind. Der Nachteil hiervon ist aber, dass der Download der Tests eben einiges an Zeit in Anspruch nimmt, vor allem die Spiele-Benchmarks sind mit ca. 500 MB im Schnitt nicht gerade klein. Will man alle verfügbaren Tests installieren, darf man sich auf einen Download von ca. 12 GB freuen.

Die Installation der Programme findet auch nur lokal im versteckten Verzeichnis ~/.phoronix-test-suite/installed-tests statt, sodass keine Root-Rechte benötigt werden. Ausnahmen gibt es auch hier in Form einiger Pakete, die für einige Tests von der Paketverwaltung automatisch nachinstalliert werden müssen. Beachten sollte man dabei, dass auf der Festplatte also zum einen die Downloadgröße und zum anderen die Installationsgröße zu Buche schlägt.

Wer sich wirklich alle Tests installieren möchte, kann dies über

./phoronix-test-suite install-all

tun und je nach Bandbreite entweder eine Nacht drüber schlafen oder gleich zwei Wochen in Urlaub fahren. Ansonsten installiert man die Tests besser einzeln über

./phoronix-test-suite install TESTNAME

Achtung: Auch wenn in den Installationsdateien oft mehrere Server für den Download eines Tests angegeben sind, passierte es sehr oft, dass ein Server nicht antwortete und das Installationsskript leider keinen Alternativserver nutzte. In dem Fall muss man die Installationsroutine manuell mittels Strg+C abbrechen und neu starten, in der Hoffnung, dass ein anderer Server genommen wird. Wer die Sache gleich selbst in die Hand nehmen will, findet in der XML-Datei ~/phoronix-test-suite/pts/test-resources/TESTNAME/downloads.xml eine kommaseparierte Liste mit den Downloadservern, die man ggf.bearbeiten kann.

Testsuites

Natürlich wäre es auch mitunter etwas langwierig, jeden Test manuell zu installieren und laufen zu lassen. Hierfür gibt es vorgefertige Testsuites, die man im Ordner ~/phoronix-test-suite/pts/test-suites findet. Die XML-Dateien enthalten dabei eine Liste der verfügbaren Tests sowie deren Testparameter. Man kann sich auf diese Art leicht seine eigene Testsuite schreiben. Bei der Infoangabe (siehe oben) eines Tests steht auch immer am Ende dabei, von welchen Suites er eingebunden wird.

Die Testsuites werden ebenso wie die Tests installiert:

./phoronix-test-suite install SUITENAME

Das Info-Argument liefert alle von der Suite abhängigen Tests (oder ggf. Testsuites):

./phoronix-test-suite info SUITENAME