Der Autor von Phoronix ist bekannt dafür sehr oft handwerkliche Fehler bei seinen Tests zu machen. So gab es im Oktober 2008 einen Vergleich zwischen verschiedenen Ubuntuversionen bei denen die damals neuesten Versionen deutlich schlechter als die älteren Versionen abschnitten. So soll Ubuntu 7.04 in einigen Test bis zu 25% (!) besser als Ubuntu 8.10 abgeschnitten haben.
Am Ende stellte sich noch einigem Diskutieren in Phoronix-Forum heraus, das die Ergebnisse der Test fehlerhaft waren. Durch eine einfache Plausibilitätsprüfung (Langsameres System bringt bessere Ergebnisse unter Ubuntu 8.10 als das im Test verwendete System) wurden die Testergebnisse als komplett falsch entlarvt. Nur ist der fehlerhafte Artikel bis heute online, es fehlt auch jeder Kommentar seitens des Autors zu den fehlerhaften Ergebnissen.
Michael (Der Autor von Phoronix.com) ist dafür bekannt Alles und Jedes mit seiner Phoronix-Test-Suite zu testen, ohne sich auch nur überhaupt einen Gedanken darüber zu machen ob der Testaufbau überhaupt einen Sinn macht.
So werden regelmäßig diverse Distributionen und Betriebssysteme miteinander verglichen, obwohl einzig und allein die verschiedenen Compilerversionen miteinander verglichen werden (z.B. jüngst PC-BSD 8.0 vs. Kubuntu 9.10 bzw. GCC 4.2.1 vs. GCC 4.3.2). Anstatt die System-eigenen Programme zu benutzen um einen wirklichen Vergleich zu haben (z.B. LAME von PC-BSD vs. LAME von Ubuntu 9.10), wird grundsätzlich erst einmal alle benutzte Software kompiliert.
So ein Vorgehen ergibt aber nur dann Sinn, wenn man Hardware miteinander vergleichen will und grundsätzlich immer die gleiche Softwarebasis benutzt. Will man aber eine Distribution miteinander vergleichen (auf identischer Hardware), muss man dafür sorgen das man auch die Programme benutzt die eine Distribution mitliefert. Erst dann kann man sagen "Distribution A ist schneller als Distribution B". Ob die besseren Ergebnisse dann wiederum damit zusammenhängen will eine Distribution wegen eines besseren Compilers die schnelleren Programme hat , spielt dann keine Rolle. Man hat ja dann bewusst die Leistung der gesamten Distribution gemessen.
Wie auch immer, die ganze Diskussion zeigt man wieder sehr schön wie leicht wir Menschen uns von irgendwelchen Zahlen beeinflussen lassen und wie sehr das Lagerdenken im Linux-Umfeld verwurzelt ist.
>> Wie auch immer, die ganze Diskussion zeigt man wieder sehr schön wie leicht wir Menschen uns von irgendwelchen Zahlen beeinflussen lassen und wie sehr das Lagerdenken im Linux-Umfeld verwurzelt ist.
Davon mal abgesehen, dass ich Phoronix für ein sinnfreies Schwanzlängen-Portal halte, wundert es mich jetzt schon, dass ausgerechnet Sie solche Äusserungen tätigen.
Mein Artikel entstand ja gerade in Reaktion auf den fehlerhaften Phoronix-Artikel. Und im Gegensatz zu Phoronix habe ich versucht fair und unvoreingenommen zu sein.
Vor allem dachte ich mir : "Wenn man schon mit Zahlen um sich wirft, dann sollten sie eine solide Grundlage haben!".
Der Autor von Phoronix ist bekannt dafür sehr oft handwerkliche Fehler bei seinen Tests zu machen. So gab es im Oktober 2008 einen Vergleich zwischen verschiedenen Ubuntuversionen bei denen die damals neuesten Versionen deutlich schlechter als die älteren Versionen abschnitten. So soll Ubuntu 7.04 in einigen Test bis zu 25% (!) besser als Ubuntu 8.10 abgeschnitten haben.
Am Ende stellte sich noch einigem Diskutieren in Phoronix-Forum heraus, das die Ergebnisse der Test fehlerhaft waren. Durch eine einfache Plausibilitätsprüfung (Langsameres System bringt bessere Ergebnisse unter Ubuntu 8.10 als das im Test verwendete System) wurden die Testergebnisse als komplett falsch entlarvt. Nur ist der fehlerhafte Artikel bis heute online, es fehlt auch jeder Kommentar seitens des Autors zu den fehlerhaften Ergebnissen.
Michael (Der Autor von Phoronix.com) ist dafür bekannt Alles und Jedes mit seiner Phoronix-Test-Suite zu testen, ohne sich auch nur überhaupt einen Gedanken darüber zu machen ob der Testaufbau überhaupt einen Sinn macht.
So werden regelmäßig diverse Distributionen und Betriebssysteme miteinander verglichen, obwohl einzig und allein die verschiedenen Compilerversionen miteinander verglichen werden (z.B. jüngst PC-BSD 8.0 vs. Kubuntu 9.10 bzw. GCC 4.2.1 vs. GCC 4.3.2). Anstatt die System-eigenen Programme zu benutzen um einen wirklichen Vergleich zu haben (z.B. LAME von PC-BSD vs. LAME von Ubuntu 9.10), wird grundsätzlich erst einmal alle benutzte Software kompiliert.
So ein Vorgehen ergibt aber nur dann Sinn, wenn man Hardware miteinander vergleichen will und grundsätzlich immer die gleiche Softwarebasis benutzt. Will man aber eine Distribution miteinander vergleichen (auf identischer Hardware), muss man dafür sorgen das man auch die Programme benutzt die eine Distribution mitliefert. Erst dann kann man sagen "Distribution A ist schneller als Distribution B". Ob die besseren Ergebnisse dann wiederum damit zusammenhängen will eine Distribution wegen eines besseren Compilers die schnelleren Programme hat , spielt dann keine Rolle. Man hat ja dann bewusst die Leistung der gesamten Distribution gemessen.
Wie auch immer, die ganze Diskussion zeigt man wieder sehr schön wie leicht wir Menschen uns von irgendwelchen Zahlen beeinflussen lassen und wie sehr das Lagerdenken im Linux-Umfeld verwurzelt ist.
>> Wie auch immer, die ganze Diskussion zeigt man wieder sehr schön wie leicht wir Menschen uns von irgendwelchen Zahlen beeinflussen lassen und wie sehr das Lagerdenken im Linux-Umfeld verwurzelt ist.
Davon mal abgesehen, dass ich Phoronix für ein sinnfreies Schwanzlängen-Portal halte, wundert es mich jetzt schon, dass ausgerechnet Sie solche Äusserungen tätigen.
http://glasen-hardt.de/?p=73
Mein Artikel entstand ja gerade in Reaktion auf den fehlerhaften Phoronix-Artikel. Und im Gegensatz zu Phoronix habe ich versucht fair und unvoreingenommen zu sein.
Vor allem dachte ich mir : "Wenn man schon mit Zahlen um sich wirft, dann sollten sie eine solide Grundlage haben!".