Ich finde die Idee der Phoronix-Test-Suite eigentlich prima, nur haben die Entwickler in meinen Augen einen Riesenfehler gemacht :
In sehr vielen Fällen wird nur die Leistung des Compilers gemessen und nicht die eigentliche Leistung des Systems. Das ist vor allem dann problematisch wenn man nicht die Leistung der Hardware von z.B. zwei Rechnern vergleichen will, sondern einen Vergleich zwischen verschiedenen Distributionen machen will (Ist Distribution A tatsächlich schneller als Distribution B) Besonders idiotisch wird es dadurch, das auch diverse Profile zur Messung der Kompilierzeit verfügbar sind, ohne das ein bestimmte Compiler-Version vorgeschrieben wird. So kommen dann so geniale Aussagen im Stil von "Debian 4.0 ist um 20% schneller beim Kompilieren als andere Distributionen, also ist Debian auch 20% schneller als alle anderen Distributionen!" dabei heraus.
Das zweite Problem an der Test-Suite ist, da die Leute den Messungen blindlings vertrauen und keine kritischen Frage mehr stellen. So hat Phoronix vor einer Weile einen Vergleich zwischen verschiedenen Distributionen gemacht, bei dem herauskam das Ubuntu 7.10 50% als alle anderen Distributionen war. Anstatt aber mal zu überprüfen ob die Ergebnisse überhaupt plausibel sind, wurden lieber seitenweise esoterische Diskussionen über den angeblich so viel schlechteren Scheduler in den neueren Versionen des Kernels geführt. Als dann am Ende aber klar wurde, das die Messungen falsch waren, wurde der fehlerhafte Artikel nicht einmal von der Seite genommen, geschweige eine Fehlerkorrektor gemacht. Keine noch so freundliche Bitte seitens diverser Forenteilnehmer konnte den Betreiber von Phoronix dazu bewegen den Artikel zu korrigieren oder in von der Seite zu nehmen.
>> Als dann am Ende aber klar wurde, das die Messungen falsch waren, wurde der fehlerhafte Artikel nicht einmal von der Seite genommen, geschweige eine Fehlerkorrektor gemacht ...
Traue nur Ergebnissen, die du selbst gefälscht (zurechtgebogen) hast, gell ...!?
> Traue nur Ergebnissen, die du selbst gefälscht (zurechtgebogen) hast, gell ...!? :D
Nö, aber wenn, wie in dem geschilderten Fall ein Pentium-M mit 1.7GHz schneller war wie ein Core2Duo mit 2.0GHz mit , dann ist was faul im Staate Dänemark.
> In sehr vielen Fällen wird nur die Leistung des Compilers gemessen und nicht die > eigentliche Leistung des Systems.
Hmm, die Testsuite besteht doch aus vielen Tests. Compile-Zeit dürfte doch nur einer von vielen sein.
> Das ist vor allem dann problematisch wenn man > nicht die Leistung der Hardware von z.B. zwei Rechnern vergleichen will, sondern > einen Vergleich zwischen verschiedenen Distributionen machen will (Ist Distribution > A tatsächlich schneller als Distribution B)
Ich habe gelesen, dass sie auch eine native Version anbieten wollen, bei denen dann die Pakete der Distributionen benutzt werden. So kann man dann zwei Distributionen vergleichen, wie sie der Anwender vorgesetzt bekommt. Weiss aber nicht ob es die Version schon gibt.
> Besonders idiotisch wird es dadurch, > das auch diverse Profile zur Messung der Kompilierzeit verfügbar sind, ohne das ein > bestimmte Compiler-Version vorgeschrieben wird.
Ich dachte immer die bringen alle benötigten Pakete selbst mit. Also auch den Compiler. Wenn das stimmt was du schreibst wäre das natürlich ungünstig, da ja verschiedene Compiler auch verschieden optimieren. Das würde dann *alle* Tests ungültig machen.
> So kommen dann so geniale Aussagen > im Stil von "Debian 4.0 ist um 20% schneller beim Kompilieren als andere Distributionen, > also ist Debian auch 20% schneller als alle anderen Distributionen!" dabei heraus.
Kannst du den Test mal verlinken? Die Testsuite besteht doch aus zig Tests. Wie kann da so ein wahnsinniger Wert von 20% rauskommen, nur weil *ein* Test wesentlich schneller/langsamer abläuft.
> Ich habe gelesen, dass sie auch eine native Version anbieten wollen, bei denen dann die Pakete der Distributionen benutzt werden. So kann man dann zwei Distributionen vergleichen, wie sie der Anwender vorgesetzt bekommt. Weiss aber nicht ob es die Version schon gibt.
Das wäre mir neu. Wenn es entsprechende Pläne gibt, dann ist das natürlich super. Als ich vor ein paar Wochen diese Sache kritisiert habe, wurde ich vom Entwickler der Suite nur wüst abgekanzelt, das so etwas keinen Sinn machen würde.
In der Zwischenzeit habe ich mir mit ein paar eigenen Test-Profilen geholfen. Dank XML und einer guten Dokumentation ist es sehr leicht eigene Profile zu erstellen.
> Ich dachte immer die bringen alle benötigten Pakete selbst mit. Also auch den Compiler. Wenn das stimmt was du schreibst wäre das natürlich ungünstig, da ja verschiedene Compiler auch verschieden optimieren. Das würde dann *alle* Tests ungültig machen.
Beim "encode-mp3"-Test wird z.B. der Quellcode von LAME heruntergeladen und kompiliert, die Teile die man zu kompilieren benötigt stammen aber vom installierten Betriebssystem. Die Tests welche die Kompilierzeit messen, benutzen ebenfalls den system-eigenen Compiler. Nur der Quellcode des kompilierten Programms wird heruntergeladen. Es gibt zwar genügend Binärtests in der Test-Suite (z.B. Quake4 usw.), die Hälfte der Tests wird aber aus dem Quellcode erstellt.
> Kannst du den Test mal verlinken? Die Testsuite besteht doch aus zig Tests. Wie kann da so ein wahnsinniger Wert von 20% rauskommen, nur weil *ein* Test wesentlich schneller/langsamer abläuft.
Das war jetzt kein spezieller Test, sondern ein leicht verändertes Zitat einer der vielen Aussagen die ich schon im Phoronix-Forum gelesen habe.
Den Test den ich im Speziellen angesprochen habe, findest du hier :
In sehr vielen Fällen wird nur die Leistung des Compilers gemessen und nicht die eigentliche Leistung des Systems. Das ist vor allem dann problematisch wenn man nicht die Leistung der Hardware von z.B. zwei Rechnern vergleichen will, sondern einen Vergleich zwischen verschiedenen Distributionen machen will (Ist Distribution A tatsächlich schneller als Distribution B) Besonders idiotisch wird es dadurch, das auch diverse Profile zur Messung der Kompilierzeit verfügbar sind, ohne das ein bestimmte Compiler-Version vorgeschrieben wird. So kommen dann so geniale Aussagen im Stil von "Debian 4.0 ist um 20% schneller beim Kompilieren als andere Distributionen, also ist Debian auch 20% schneller als alle anderen Distributionen!" dabei heraus.
Das zweite Problem an der Test-Suite ist, da die Leute den Messungen blindlings vertrauen und keine kritischen Frage mehr stellen. So hat Phoronix vor einer Weile einen Vergleich zwischen verschiedenen Distributionen gemacht, bei dem herauskam das Ubuntu 7.10 50% als alle anderen Distributionen war. Anstatt aber mal zu überprüfen ob die Ergebnisse überhaupt plausibel sind, wurden lieber seitenweise esoterische Diskussionen über den angeblich so viel schlechteren Scheduler in den neueren Versionen des Kernels geführt. Als dann am Ende aber klar wurde, das die Messungen falsch waren, wurde der fehlerhafte Artikel nicht einmal von der Seite genommen, geschweige eine Fehlerkorrektor gemacht. Keine noch so freundliche Bitte seitens diverser Forenteilnehmer konnte den Betreiber von Phoronix dazu bewegen den Artikel zu korrigieren oder in von der Seite zu nehmen.
Traue nur Ergebnissen, die du selbst gefälscht (zurechtgebogen) hast, gell ...!?
Nö, aber wenn, wie in dem geschilderten Fall ein Pentium-M mit 1.7GHz schneller war wie ein Core2Duo mit 2.0GHz mit , dann ist was faul im Staate Dänemark.
> eigentliche Leistung des Systems.
Hmm, die Testsuite besteht doch aus vielen Tests. Compile-Zeit dürfte doch nur einer von vielen sein.
> Das ist vor allem dann problematisch wenn man
> nicht die Leistung der Hardware von z.B. zwei Rechnern vergleichen will, sondern
> einen Vergleich zwischen verschiedenen Distributionen machen will (Ist Distribution
> A tatsächlich schneller als Distribution B)
Ich habe gelesen, dass sie auch eine native Version anbieten wollen, bei denen dann die Pakete der Distributionen benutzt werden. So kann man dann zwei Distributionen vergleichen, wie sie der Anwender vorgesetzt bekommt. Weiss aber nicht ob es die Version schon gibt.
> Besonders idiotisch wird es dadurch,
> das auch diverse Profile zur Messung der Kompilierzeit verfügbar sind, ohne das ein
> bestimmte Compiler-Version vorgeschrieben wird.
Ich dachte immer die bringen alle benötigten Pakete selbst mit. Also auch den Compiler. Wenn das stimmt was du schreibst wäre das natürlich ungünstig, da ja verschiedene Compiler auch verschieden optimieren. Das würde dann *alle* Tests ungültig machen.
> So kommen dann so geniale Aussagen
> im Stil von "Debian 4.0 ist um 20% schneller beim Kompilieren als andere Distributionen,
> also ist Debian auch 20% schneller als alle anderen Distributionen!" dabei heraus.
Kannst du den Test mal verlinken? Die Testsuite besteht doch aus zig Tests. Wie kann da so ein wahnsinniger Wert von 20% rauskommen, nur weil *ein* Test wesentlich schneller/langsamer abläuft.
Das wäre mir neu. Wenn es entsprechende Pläne gibt, dann ist das natürlich super. Als ich vor ein paar Wochen diese Sache kritisiert habe, wurde ich vom Entwickler der Suite nur wüst abgekanzelt, das so etwas keinen Sinn machen würde.
In der Zwischenzeit habe ich mir mit ein paar eigenen Test-Profilen geholfen. Dank XML und einer guten Dokumentation ist es sehr leicht eigene Profile zu erstellen.
> Ich dachte immer die bringen alle benötigten Pakete selbst mit. Also auch den Compiler. Wenn das stimmt was du schreibst wäre das natürlich ungünstig, da ja verschiedene Compiler auch verschieden optimieren. Das würde dann *alle* Tests ungültig machen.
Beim "encode-mp3"-Test wird z.B. der Quellcode von LAME heruntergeladen und kompiliert, die Teile die man zu kompilieren benötigt stammen aber vom installierten Betriebssystem. Die Tests welche die Kompilierzeit messen, benutzen ebenfalls den system-eigenen Compiler. Nur der Quellcode des kompilierten Programms wird heruntergeladen. Es gibt zwar genügend Binärtests in der Test-Suite (z.B. Quake4 usw.), die Hälfte der Tests wird aber aus dem Quellcode erstellt.
> Kannst du den Test mal verlinken? Die Testsuite besteht doch aus zig Tests. Wie kann da so ein wahnsinniger Wert von 20% rauskommen, nur weil *ein* Test wesentlich schneller/langsamer abläuft.
Das war jetzt kein spezieller Test, sondern ein leicht verändertes Zitat einer der vielen Aussagen die ich schon im Phoronix-Forum gelesen habe.
Den Test den ich im Speziellen angesprochen habe, findest du hier :
Ubuntu 7.04 to 8.10 Benchmarks: Is Ubuntu Getting Slower?