Szybki parser CSV

[Corvis]

Dzięki za pomoc. Nie było mnie pare dni - byłem na premierze RAD STUDIO XE. Dziś max jutro postaram się to sprawdzić. W nowym builderze XE jest możliwość profilowania kodu. Tak więć przepuszcze te 2 kody przez maszynke do profilowania i wkleje wyniki, zobaczymy co działa lepiej hehehe.


Pozdrawiam

[Corvis]

polymorphism

bawię się twoim kodem (tym ostatnim) i mam problem w lini:

Kod: Zaznacz cały

ng.get(p3,p1,file,err,v);

błąd:

[BCC32 Error] FMain.cpp(118): E2285 Could not find a match for 'num_get<char,char *>::get(char *,char *,int,_Iosb<int>::_Iostate,int)'

U ciebie się to kompiluje bez problemu ??

[polymorphism]

Żadnych problemów. Zresztą jak mógłbym zrobić pomiary dla tego kodu bez jego kompilacji?

Pytanie, dlaczego kompilator w trzecim parametrze widzi int a nie ios_base, ergo, dlaczego file nie jest strumieniem?

[Corvis]

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

 std::ifstream file;
          file.open(NazwaPliku.c_str());
          std::vector<double> dane;
          dane.clear();
          if(file.is_open()) {
                typedef num_get<char,char*> num_get_type;
                char cell_text[100];
                char* p2 = cell_text + sizeof(cell_text);
                const num_get_type &ng = std::use_facet<num_get_type >(file.getloc());
                char c = 0;
                int v = 0;
                while(c != EOF) {
                        c = 0;
                        while(c != '\n') {
                                char* p1 = cell_text;

                                while(p1 < p2 &&
                                                (*p1 = file.rdbuf()->sbumpc()) != EOF &&
                                                *p1 != ',' &&
                                                *p1 != '\n') ++p1;

                                if(p1 == p2) throw std::overflow_error("cell is too big!");
                                c = *p1;
                                if(p1 == cell_text)break;

                                char *p3 = cell_text;
                                while(p3 != p1 && isspace(*p3))++p3;

                                ios_base::iostate err = 0;
                                ng.get(p3,p1,file,err,v);

                                if(err & (ios::failbit | ios::badbit)) {
                                        throw invalid_argument("");
                                }
                                dane.push_back(v);
                        }
                }
                file.close();
          } else ShowMessage("Nie można otworzyć pliku");

Tak wygląda mój kod

[polymorphism]

Hmm, nie widzę żadnych błędów... no może poza niekonsekwentnym dodawaniem std::. Być może tu tkwi problem, więc popraw to.

Zakładam, że załączyłeś plik <locale>.

[Corvis]

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

   std::ifstream file;
          file.open(NazwaPliku.c_str());
          std::vector<double> dane;
          dane.clear();
          if(file.is_open()) {
                typedef std::num_get<char,char*> num_get_type;
                char cell_text[100];
                char* p2 = cell_text + sizeof(cell_text);
                const num_get_type &ng = std::use_facet<num_get_type >(file.getloc());
                char c = 0;
                int v = 0;
                while(c != EOF) {
                        c = 0;
                        while(c != '\n') {
                                char* p1 = cell_text;

                                while(p1 < p2 &&
                                                (*p1 = file.rdbuf()->sbumpc()) != EOF &&
                                                *p1 != ',' &&
                                                *p1 != '\n') ++p1;

                                if(p1 == p2) throw std::overflow_error("cell is too big!");
                                c = *p1;
                                if(p1 == cell_text)break;

                                char *p3 = cell_text;
                                while(p3 != p1 && isspace(*p3))++p3;

                                std::ios_base::iostate err = 0;
                                ng.get(p3,p1,file,err,v);

                                if(err & (ios::failbit | ios::badbit)) {
                                        throw std::invalid_argument("");
                                }
                                dane.push_back(v);
                        }
                }
                file.close();
          } else ShowMessage("Nie można otworzyć pliku");

Teraz takie coś:

[BCC32 Warning] FMain.cpp(118): W8006 Initializing std::_Iosb<int>::_Iostate with int [BCC32 Error] FMain.cpp(119): E2285 Could not find a match for 'std::num_get<char,char *>::get(char *,char *,ifstream,std::_Iosb<int>::_Iostate,int)'

Troche zgłupiałem już : - )

[polymorphism]

[BCC32 Warning] FMain.cpp(118): W8006 Initializing std::_Iosb<int>::_Iostate with int

To akurat ostrzeżenie, nic poważnego. Spróbuj tak:

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

std::ios_base::iostate err = std::ios::goodbit;

powinno być git.

Jeśli chodzi o błąd, dodałeś wszystkie niezbędne nagłówki?

[Corvis]

Kod: Zaznacz cały

#include <stdio.h>
#include <iostream>
#include <sstream>
#include <string>
#include <fstream>
#include <vector>

Takie mam. Warning zniknął.

[polymorphism]

A gdzie <locale>, o którym wspomniałem?

Już chyba wiem, co jest przyczyną błędu. Niech v będzie typu long. Nie wiedzieć czemu nie ma wersji metody get, która w ostatnim parametrze przyjmuje int'a, choć - co dziwne - jest wersja dla unsigned int'a Prawdopodobnie u siebie testowałem to na typie unsigned, a na pewno na double.

[Corvis]

dokładnie tu był błąd zmieniłem int na LONG i jest OK - dzięki !!!!!!!!!!

Niewiem tylko czemu plik 92 MB po 8 lini w rzędzie robi na wersji RELEASE obrabia w 1,5 minuty. skoro u ciebie tak szybko ;P ( 7 sec troche mniejszy)
(Procek ( Intel Core Duo 2.GHZ) 3GB ramu.)

[polymorphism]

No przecież masz profiler w nowym środowisku, powinieneś wiedzieć, gdzie jest wąskie gardło. Z drugiej strony trochę to dziwne, że u Ciebie w wersji release trwa to dłużej niż u mnie w wersji debug.

Jeśli plik jest mały po skompresowaniu, to udostępnij go. Sprawdzę u siebie.

[Corvis]

w załączniku

[polymorphism]

Dla 14137568 pozycji:

• debug ~57,5 sek (4μs/pozycję)
• release ~8 sek (0,56μs/pozycję)

Wniosek z tego taki, że albo coś pochrzaniłeś przy przełączaniu na release, i wersja ta nie jest w rzeczywistości wersją release, albo C++ Builder ma wyjątkowo nędzny kompilator tudzież implementację bibliotek (średnio w to wierzę).

[Corvis]

W załączniku program.
Możesz go odpalić otworzyć plik i wcisnąć rozpocznij ?? zobaczymy może to PC.

[polymorphism]

Brak BORLNDMM.DLL, CC32110MT.DLL i DWMAPI.DLL