Wielkie pliki - wielkie problemy ??

[Corvis]

Witam,

Natrafiłem na 2 problemy pisząc programy i chciałbym zasięgnąć waszej opinii w tych tematach.

1. Mam program do którego wczytuje dane z pliku *.CSV następnie gdy go wczytam np do wektora iteruje po wektorze wykonując obliczenia. - Wszystko super extra gdy plik zajmuje do 100 MB ale gdy wrzuciłem plik ważący 1GB to chyba mi pamięci zabrakło i wywaliło błąd: external exception eefface. Co skłoniło mnie do wniosku, że można chyba zrobić te obliczenia inaczej - pomijając dodatkowy bufor w postaci wektora. Np. Wybieram plik i zamiast go wczytywać do wektora czy innego bufora, odrazu separuje dane z *.CSV i wykonuje obliczenia. Tylko takie rozwiązanie chyba spowoduje wydłużony czas obliczenia Co myślicie ??


2. Drugi problem wiąże się bezpośrednio z pierwszym gdyż dotyczy rysowania wykresów danych które otrzymuje z danych z pkt1. Wszystko super jeżeli pliki są do 100 MB ale jak narysować wykres danych z pliku 1GB ?

Może ktoś z was przerabiał podobne zagadnienia i może podzielić się doświadczeniami ??


Pozdrawiam

[Cyfrowy Baron]

Nie napisałeś w jaki sposób wczytujesz ten plik, ale zapewne od razu w całości. Być może rozwiązaniem problemu byłoby użycie klasy fstream (ofstream) i wczytywanie kolejnych linii z pliku za pomocą funkcji getline.

---

Wszystko super jeżeli pliki są do 100 MB ale jak narysować wykres danych z pliku 1GB ?

W tym wszechświecie żadne zjawiska nie zachodzą natychmiast, więc 1 GB musi wykonywać się 10 razy wolniej niż 100 MB, gdyż 100 x 10 = 1000 MB.

[Corvis]

Dane wczytuję tak:

viewtopic.php?f=2&t=1087&hilit=Szybki+parser&start=15

Tutaj byłą dyskuja na temat szybkiego wczytywania danych i rysowania.

[Cyfrowy Baron]

Czyli jak rozumiem masz już kod na szybkie wczytywanie. Pewnie bardziej już się tego przyspieszyć nie da. Co do problemu z brakiem pamięci, to oczywiście rozwiązaniem jest to o czym pisałem wcześniej, czyli nie wczytywać całego pliku od razu, ale wczytać kilkaset linii, przetworzyć, wczytać kolejne, itd..

[Cyfrowy Baron]

Nie bardzo rozumiem dlaczego decydujesz się na tworzenie jednego wielkiego pliku. Ja raczej tworzyłbym wiele małych. Pierwszy plik zawierałby ileś tam linii, a po osiągnięciu limitu tworzony byłby wg. jakiegoś klucza kolejny plik. Każdy plik na końcu mógłby umieszczać linię z informacją o lokalizacji kolejnego pliku. Dzięki temu zniknąłby problem z brakiem pamięci. Po przetworzeniu jednego pliku program przechodziłby do kolejnego.

[Corvis]

Ja juz dostałem takie pliki i teraz muszę sobie z nimi poradzić. Zastanawia mnie tylko jedno, przy twojej metodzie mając rocznie np 12 plików po 200 mb każdy potem chce wszystkie do kupy zebrać i obejrzeć na wykresie - to czy twoja metoda nie jest wolniejsza od skakania po 1 dużym pliku ?? Otwieranie każdego kolejnego podbieranie danych zamykanie pliku troche kosztuje.

[polymorphism]

Akurat rozwiązanie z wieloma plikami niewiele tu rozwiązuje, bo jeśli może czytać dane pofragmentowane na mniejsze pliki, to i duży plik może przecież czytać fragmentami.

Jeśli dane są czytane i przetwarzane w sposób sekwencyjny, to nie trzeba ładować ich w całości do pamięci. Wystarczy na bieżąco czytać tyle danych, ile potrzeba do wykonania obliczeń.

[Corvis]

Czyli:

- Rezygnacja z bufora w postaci wektora
- Jeżeli plik ma 1000 lini w kazdej lini 6 kolumn ja chce zobacze na ekranie dane od lini 1 do 10 to odczytuje z pliku te 10 lini i podczas odczytu wydzielam dane w taki sam sposób jak to robię w poście Szybki Parser CSV. - w sumie logiczne i chyba nie bardzo skomplikowane do zrobienia.


Ps. Ale czy taki sposób jest optymalny przy konieczności korzystania z danych cały czas ? Np. Mam te 1 GB danych i chce obliczyć coś z nich z parametrem x. Lece po nich raz mam wynik, następnie chce obliczyć coś z x2 i znowu muszę lecieć i separować...

[polymorphism]

Gorzej jeśli będzie miał 20 000 000 rekordów, a na ekranie będzie chciał zobaczyć rekordy z przedziału np. <18 000 000, 18 000 020> Wtedy trzeba wygenerować plik z indeksami.

Ps. Ale czy taki sposób jest optymalny przy konieczności korzystania z danych cały czas ? Np. Mam te 1 GB danych i chce obliczyć coś z nich z parametrem x. Lece po nich raz mam wynik, następnie chce obliczyć coś z x2 i znowu muszę lecieć i separować...

No a jak inaczej to sobie wyobrażasz? Oczywiście nie wykonujesz rzeczy, które nie są potrzebne, np. jeśli operujesz na jednej kolumnie, to nie konwertujesz pozostałych 5 z tekstu na float, po prostu je pomijasz.

[Corvis]

Dobra to jeszcze jedno pytanie:

Jeżeli już sobie określę odkąd dokąd chce oglądać dane na ekranie (wykresy) to czy w procedurze malowania odczytywanie danych do namalowania bez użycia bufora w postaci wektora to na pewno dobry pomysł ?? W samym malowaniu nie widzę problemów ale np potem przesuwając mysz nad wykresem chce odczytać jego wartość to muszę: wyliczyć w której linii ona jest, skoczyć do niej w pliku i wyseparować daną - a to już chyba będzie bolało.

[polymorphism]

W tym przypadku oczywiście korzystasz z jakiegoś bufora, tyle że nie czytasz do niego całości danych, tylko tyle, ile w danym momencie jest potrzebne.