[BCB C++] Out of memory

[Darek_C++]

Wczytując do THashedStringList "większy" plik często zgłaszany jest wyjątek

Exception class EOutOfMemory with message 'Out of memory'. Process ZliczanieLinii.exe (1588)

Choć pamięci RAM mam 2 x więcej niż teoretycznie wielkość wczytywanego pliku.
Pytanie brzmi czy jest to związane z moim przestarzałym kompilatorem Turbo Explorer C++ i czy idzie jakoś ten limit zmienić ?
Bo przykładowo ten sam plik wczytywany w programiku napisanym w C# "daje radę"

[Cyfrowy Baron]

To jest raczej związane z pojemnością tej listy - jak sądzę ma swoje ograniczenia.

[Darek_C++]

Jak zwykle Masz rację
Zrobiłem symulację wczytywania:

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

vector<String> myVector;
String plik = OpenTextFileDialog1->FileName;
THashedStringList *hList = new THashedStringList;
hList->LoadFromFile(plik);
int n = 0;
for(int jj = 0; jj < 10; jj++)
{
        for(int iix = 0; iix < hList->Count; iix++)
        {
                myVector.push_back(hList->Strings[iix]) ;
        }
        Memo2->Lines->Add((String) myVector.size());
        Application->ProcessMessages();
}
 

2233286
4466572
6699858
8933144
11166430
13399716
15633002
17866288
20099574
22332860
Koniec
0 Czas: 18.969000

I dało radę. Przy 10 x wczytywaniu do THashedStringList zgłaszamy był wyjątek

[Cyfrowy Baron]

Nie bardzo rozumiem na czym polega ta symulacja. Wczytałeś do listy cały plik? Jeżeli wczytał się cały to ograniczenie nie wynika z listy.

Ile wierszy ma plik, który wczytujesz do listy?

[Darek_C++]

Na tym , że przedtem zamiast vector'a byala druga lista THashedStringList która była w pętli zwiększana o kolejną porcję danych wczytanych uprzednio z pliku i w pewnym momencie był zawsze out of memory.

[polymorphism]

Ponowię pytanie: ile jest tych danych, że brakuje Ci pamięci?

[Darek_C++]

Chwila już szykuję odpowiedz....

[Darek_C++]

Scalony plik testowy miał: 11166430 linii i był wielkości 715 MB. Ale teraz jest inaczej, bo jakiś czas temu z powodu Out Of Memory nie mogłem go wczytać do THashedStringList, a teraz mogę
Przy okazji - jak taki duży plik wczytać do vector'a vector<String> myVector; ?

[Cyfrowy Baron]

jak taki duży plik wczytać do vector'a vector<String> myVector; ?

A jaki masz problem z vector? Bo bezpośrednio to nie da się wczytać, musisz użyć np. klasy iftream wczytując plik liniami, np:

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

char Buf[255];
 ifstream infile;
 infile.open("nazwa pliku");
 infile.getline(Buf, 255); // to wstawiasz do wektora

[polymorphism]

Przy okazji - jak taki duży plik wczytać do vector'a vector<String> myVector; ?

Pytanie: po co wczytujesz tak duży plik w całości do pamięci?

[Darek_C++]

W celu:
- usunięcia duplikatów
- przycięcia adresów do domeny np: http://www.programowanie.cal.pl/forum/viewtopic.php?f=2&t=1853 > trim > http://www.programowanie.cal.pl

itd...

[polymorphism]

Do tego nie trzeba czytać pliku w całości do pamięci. Temat duplikatów był na tym forum... chyba nawet to Twój temat był.

[Darek_C++]

Tak to był mój temat z tym, że w tym pytałem pytałem o ten "of out memory", a "duplikaty wyszyły przy okazji".
Ale i tak przy wczytywaniu danych porcjami i ich obrabiani "of out memory" może wystąpić, bo gdzieś dane muszę przechowywać... więc pozwolę sobie za jakiś czas powrócić do tamtego

[Cyfrowy Baron]

Ale i tak przy wczytywaniu danych porcjami i ich obrabiani "of out memory" może wystąpić

Błąd nie wystąpi jeżeli nie będziesz czytał całego pliku, a tylko jego części mieszczące się na liście do której go przepiszesz.

W ogóle to filtrowanie powtarzających się wpisów wydaje się zbędne. Czy program podczas zapisywania danych do pliku nie mógłby ich od razu filtrować, czyli zastępować stary wpis nowym?

[polymorphism]

Ale i tak przy wczytywaniu danych porcjami i ich obrabiani "of out memory" może wystąpić, bo gdzieś dane muszę przechowywać...

W drugim pliku możesz przechowywać, i problemu z brakującą pamięcią nie będzie. Przy tak dużych plikach zastanowiłbym się nad zastosowaniem indeksów, wtedy dodanie wpisu w odpowiednim miejscu w pliku nie będzie się wiązało z przewalaniem jego całej zawartości.