Bleib mal schön bei Fakten.MATLAB was Performance angeht derzeit Stand der Technik. Im Besonderen bei Data-Science Aufgaben.
Python ist da Ordnungen lahmer. Das einzige Problem ist, dass es in einer sinnvollen Konfiguration für Data Science im fünfstelligen Bereich liegt. Auf der anderen Seite gibst du bei Spark die gleiche Größenordnung für 3-4 Nodes aus.
PS: 2 Mio Zeilen ist erst einmal keine Einheit. Das allein ist schon ein Hinweis, dass du ein Poser bist.
Bsp: csv-Input-Datei mit 20 Feldern, Dateigröße ca. 65 MB MATLAB 8.4 (R2014b , Windows 7): fId = fopen( 'largeFile.csv' ) ; -> "unable to load file... Out of Memory" Python 3.5 (Windows 7, gleicher PC): df=pd.read_csv(...) -> nach ca. 10 sec eingelesen
Mir ist völlig schnuppe, ob Matlab die Datei in 5 sec. gelesen haben könnte wenn man nur mit Prealloc und chunks gearbeitet hätte. Fakt ist, Matlab konnte die Datei überhaupt nicht einlesen.
Mach dir bitte eine wenig mehr Mühe wenn du lügst.
Der von dir gepostete Code ist nicht einmal MATLAB. Du hast es irgendwo aus dem Internet kopiert ohne nachzudenken. Es ist praktisch eine Grundaufgabe von MATLAB große CSV Datein einzulesen oder zu parsen. Wenn du selbst das nicht vernünftig aus dem Stack-Overflow oder sonstiger schlechter Quelle kopieren kannst ist es deine Schuld.
Um ein Out of Memory (diese Meldung gibt es übrigens nicht einmal so) zu bekommen, müsste die Variable nicht in den Speicher passen. Bei 65 MB ist es unrealistisch. Selbst ein Computer mit 128 MB (!) RAM wird sie einlesen können.
Genau so ist es unrealistisch, dass Python für 65 MB 10 Sekunden braucht. Programmierst du etwa auf einem 386? Bei solch mikrigen Dateien ist es bei Python nicht einmal 1 Sekunde. Selbst mit langsamster Spindel-Festplatte.
Bleib mal schön bei Fakten.MATLAB was Performance angeht derzeit Stand der Technik. Im Besonderen bei Data-Science Aufgaben.
Python ist da Ordnungen lahmer. Das einzige Problem ist, dass es in einer sinnvollen Konfiguration für Data Science im fünfstelligen Bereich liegt. Auf der anderen Seite gibst du bei Spark die gleiche Größenordnung für 3-4 Nodes aus.
PS: 2 Mio Zeilen ist erst einmal keine Einheit. Das allein ist schon ein Hinweis, dass du ein Poser bist.
MATLAB 8.4 (R2014b , Windows 7): fId = fopen( 'largeFile.csv' ) ; -> "unable to load file... Out of Memory"
Python 3.5 (Windows 7, gleicher PC): df=pd.read_csv(...) -> nach ca. 10 sec eingelesen
Mir ist völlig schnuppe, ob Matlab die Datei in 5 sec. gelesen haben könnte wenn man nur mit Prealloc und chunks gearbeitet hätte. Fakt ist, Matlab konnte die Datei überhaupt nicht einlesen.
Mach dir bitte eine wenig mehr Mühe wenn du lügst.
Der von dir gepostete Code ist nicht einmal MATLAB. Du hast es irgendwo aus dem Internet kopiert ohne nachzudenken. Es ist praktisch eine Grundaufgabe von MATLAB große CSV Datein einzulesen oder zu parsen. Wenn du selbst das nicht vernünftig aus dem Stack-Overflow oder sonstiger schlechter Quelle kopieren kannst ist es deine Schuld.
Um ein Out of Memory (diese Meldung gibt es übrigens nicht einmal so) zu bekommen, müsste die Variable nicht in den Speicher passen. Bei 65 MB ist es unrealistisch. Selbst ein Computer mit 128 MB (!) RAM wird sie einlesen können.
Genau so ist es unrealistisch, dass Python für 65 MB 10 Sekunden braucht. Programmierst du etwa auf einem 386? Bei solch mikrigen Dateien ist es bei Python nicht einmal 1 Sekunde. Selbst mit langsamster Spindel-Festplatte.
Geh woanders lügen.