Bsp: csv-Input-Datei mit 20 Feldern, Dateigröße ca. 65 MB MATLAB 8.4 (R2014b , Windows 7): fId = fopen( 'largeFile.csv' ) ; -> "unable to load file... Out of Memory" Python 3.5 (Windows 7, gleicher PC): df=pd.read_csv(...) -> nach ca. 10 sec eingelesen
Mir ist völlig schnuppe, ob Matlab die Datei in 5 sec. gelesen haben könnte wenn man nur mit Prealloc und chunks gearbeitet hätte. Fakt ist, Matlab konnte die Datei überhaupt nicht einlesen.
Mach dir bitte eine wenig mehr Mühe wenn du lügst.
Der von dir gepostete Code ist nicht einmal MATLAB. Du hast es irgendwo aus dem Internet kopiert ohne nachzudenken. Es ist praktisch eine Grundaufgabe von MATLAB große CSV Datein einzulesen oder zu parsen. Wenn du selbst das nicht vernünftig aus dem Stack-Overflow oder sonstiger schlechter Quelle kopieren kannst ist es deine Schuld.
Um ein Out of Memory (diese Meldung gibt es übrigens nicht einmal so) zu bekommen, müsste die Variable nicht in den Speicher passen. Bei 65 MB ist es unrealistisch. Selbst ein Computer mit 128 MB (!) RAM wird sie einlesen können.
Genau so ist es unrealistisch, dass Python für 65 MB 10 Sekunden braucht. Programmierst du etwa auf einem 386? Bei solch mikrigen Dateien ist es bei Python nicht einmal 1 Sekunde. Selbst mit langsamster Spindel-Festplatte.
MATLAB 8.4 (R2014b , Windows 7): fId = fopen( 'largeFile.csv' ) ; -> "unable to load file... Out of Memory"
Python 3.5 (Windows 7, gleicher PC): df=pd.read_csv(...) -> nach ca. 10 sec eingelesen
Mir ist völlig schnuppe, ob Matlab die Datei in 5 sec. gelesen haben könnte wenn man nur mit Prealloc und chunks gearbeitet hätte. Fakt ist, Matlab konnte die Datei überhaupt nicht einlesen.
Mach dir bitte eine wenig mehr Mühe wenn du lügst.
Der von dir gepostete Code ist nicht einmal MATLAB. Du hast es irgendwo aus dem Internet kopiert ohne nachzudenken. Es ist praktisch eine Grundaufgabe von MATLAB große CSV Datein einzulesen oder zu parsen. Wenn du selbst das nicht vernünftig aus dem Stack-Overflow oder sonstiger schlechter Quelle kopieren kannst ist es deine Schuld.
Um ein Out of Memory (diese Meldung gibt es übrigens nicht einmal so) zu bekommen, müsste die Variable nicht in den Speicher passen. Bei 65 MB ist es unrealistisch. Selbst ein Computer mit 128 MB (!) RAM wird sie einlesen können.
Genau so ist es unrealistisch, dass Python für 65 MB 10 Sekunden braucht. Programmierst du etwa auf einem 386? Bei solch mikrigen Dateien ist es bei Python nicht einmal 1 Sekunde. Selbst mit langsamster Spindel-Festplatte.
Geh woanders lügen.