crowler http

[grigorij89]

witam
Piszę aplikacją będącą pewnym rodzajem http, crowler'a. Ma on na bazie zadanych słów kluczowych zadawać zapytania do wyszukiwarek. Na podstawie wyszukanych linków- tworzy listę i odwiedza strony tworząc raport.
Zacząłem od czegoś takiego. Na dysku tworzę plik w którym wpisywane będą słowa kluczowe. Teraz potrzebowałbym moduł, który mając te słowa zada pytanie do wyszukiwarki( na początek załóżmy do google) i wypisze listę adresów. Skorzystałem z http://programowanie.cal.pl/cyfbar/siec.html#siec10 i porady jak wyciągnąć adresy URL ze stron internetowych. Jednak problemem jest to ,że dla zadanej strony działa on dobrze, jednak z wyszukiwarką nie wypisuje mi url wyszukanych stron.
Jakieś porady, wskazówki co do tej aplikacji ?

[Darek_C++]

Należy zastosować wyrażenia regularne np Boost.Regex do wyciągania adresów lub napisać własny parser wyciągający interesujące cię treści = ciągi znaków o określonej budowie. Należy też pamiętać, że jak zadasz za wiele zapytań w określonej jednostce czasu [krótki czas] z tego samego IP dostaniesz tak zwanego bana na twoje IP.

[grigorij89]

Należy zastosować wyrażenia regularne np Boost.Regex do wyciągania adresów lub napisać własny parser wyciągający interesujące cię treści = ciągi znaków o określonej budowie. Należy też pamiętać, że jak zadasz za wiele zapytań w określonej jednostce czasu [krótki czas] z tego samego IP dostaniesz tak zwanego bana na twoje IP.

Dzięki za pomoc co do parsera to wykorzystałem ten podany przez Cyfrowego Barona w poradach. Jak na razie działa poprawnie, co do RegExp'a to się wstrzymam.
Aplikacja tworzy się i jest już na dość dalekim etapie, natomiast mam problem. Wczytuje sobie z pliku słowa kluczowe (jedno słowo w każdej linijce, albo fraza) do listy TStringList.

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

void __fastcall TForm1::Button3Click(TObject *Sender)
{
        TStringList *Lista = new TStringList;
        if (OpenDialog1->Execute())
        {
                Lista->LoadFromFile(OpenDialog1->FileName);
        }

}

Następnie słowa z tej listy przekazuje do funkcji GetAdressURL po to, aby wyświetlić wyniki na Memo (adresy URL).

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

void __fastcall TForm1::Button1Click(TObject *Sender,TStringList* Lista)
{
        Label2->Visible = True;
        for(int i = 0; i < 100; i++)
        {
                ProgressBar1->Position += 1;
                Sleep(100);
                Application->ProcessMessages();
        }
        for(int i = 0; i < Lista->Count; i++)
       {
            Memo1->Lines = GetAdressURL(urlBing + Lista->Strings[i]);                                                           // dodaje adres url do memo
            Memo1->Lines->Add("#######################################");
            Label2->Visible = False;
            delete Lista;
}

Kompiluje się bez problemu natomiast aplikacja nie działa jak powinna. Jej działanie jakby zawiesza się w momencie kliknięcie przycisku pokaż wynik. Proszę o pomoc pewnie przyczyna jest banalna, ale nie potrafię do niej dojść.

[Cyfrowy Baron]

Jej działanie jakby zawiesza się w momencie kliknięcie przycisku pokaż wynik.

Masz tam dwie pętle, ale tylko w jednej odświeżasz kolejkę komunikatów funkcją Application->ProcessMessages(). Umieść tą funkcję również w drugiej pętli.
Dodatkowe opóźnienie powoduje funkcja Sleep, która po prostu wstrzymuje aplikację. Zastanów się, czy zależy Tabie na tym by obrazować proces parsowania za pomocą ProgressBar, czy raczej wolisz by aplikacja działała szybko. Funkcja Sleep jest tutaj absolutnie zbędna i tylko szkodzi, miast pomagać.

Ten kod zawiera błąd:

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

void __fastcall TForm1::Button1Click(TObject *Sender,TStringList* Lista)
{
        Label2->Visible = True;
        for(int i = 0; i < 100; i++)
        {
                ProgressBar1->Position += 1;
                Sleep(100);
                Application->ProcessMessages();
        }
        for(int i = 0; i < Lista->Count; i++)
       {
            Memo1->Lines = GetAdressURL(urlBing + Lista->Strings[i]);                                                           // dodaje adres url do memo
            Memo1->Lines->Add("#######################################");
            Label2->Visible = False;
            delete Lista;
}

Powinno być:

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

void __fastcall TForm1::Button1Click(TObject *Sender,TStringList* Lista)
{
        Label2->Visible = True;
        for(int i = 0; i < 100; i++)
        {
                ProgressBar1->Position += 1;
                Sleep(100);
                Application->ProcessMessages();
        }
        for(int i = 0; i < Lista->Count; i++)
       {
            Memo1->Lines = GetAdressURL(urlBing + Lista->Strings[i]);    // dodaje adres url do memo
       }                
                                       
            Memo1->Lines->Add("#######################################");
            Label2->Visible = False;
            delete Lista; // <-- BŁĄD !!!
}

Poza tym ta pierwsza pętla jest zbędna gdyż ona tylko porusza ProgressBar-em, który nie odzwierciedla tego co program robi. Zastanawiałeś się wogóle nad tym kodem.

Powinno to wyglądać tak:

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

void __fastcall TForm1::Button1Click(TObject *Sender,TStringList* Lista)
{
        Label2->Visible = True;
       
       int iCount = Lista->Count;
       float fProgress = 100.00 / (float)iCount;
        for(int i = 0; i < iCount; i++)
       {
            Memo1->Lines = GetAdressURL(urlBing + Lista->Strings[i]);    // dodaje adres url do memo
           
            ProgressBar1->Position += (int)fProgress;          

           Application->ProcessMessages();
       }                
                                       
            Memo1->Lines->Add("#######################################");
            Label2->Visible = False;

           // delete Lista; - BŁĄD
}

delete Lista - dlaczego błąd?! Dlatego, że lista jest tworzona w zdarzeniu OnClick przycisku Button3 więc jest obiektem lokalnym niedostępnym poza tym zdarzeniem. Nie rozumiem jak ten kod w zaprezentowanej przez Ciebie postaci mógł się Tobie wogóle skompilować.
Jeżeli lista jest obiektem lokalnym to może być używana tylko lokalnie, jeżeli jest obiektem globalnym to nie należy jej niszczyć w zdarzeniu lokalnym gdyż po zniszczeniu obiekt nie będzie już dostępny.

[polymorphism]

W kwestii zmiennych lokalnych, globalnych i innych. Warto trzymać się pewnej konwencji nazywania zmiennych, szczególnie dotyczy to początkujących.

Czyli:

• g_nazwa_zmiennej - zmienne globalne (g od global (variable))
• m_nazwa_zmiennej - pola klas i struktur (m od (class) member).
• nazwa_zmiennej - zwykłe zmienne lokalne.

Gdybyś trzymał się tej konwencji, szybciej wyłapałbyś błąd, o którym wspomniał Baron. Już nie mówiąc o tym, że kod się łatwiej analizuje.

[grigorij89]

Dzięki wielkie @polymorphism i @Cyfrowy Baron teraz już wszystko działa.
Mam jeszcze pytanie co do memo. Chce żeby wyniki były ładnie formatowane. Tzn jeśli mam w pliku ze słowami kluczowym coś takiego:
auto
bomba
kwiatek

Żeby było tak:
wyniki dla auto:
-
-
-
#############
wyniki dla bomba:
-
-
-
##############
wyniki dla kwiatek:
-
-
-
#############
Po prostu chce żeby mi dopisywał na koniec a nie nadpisywał linijki.

[Cyfrowy Baron]

Dla mnie pytanie o to formatowanie jest niezrozumiałe.

[grigorij89]

Chcę aby w memo pojawiły się wyniki, każdego wywołania funkcji GetAdressURL(urlBing + Lista->Strings[i]), jedno pod drugim oddzielone #################.
Jak dokleić kolejne wyniki aby nie stracić pozostałych. Próbowałem zrobić += ale tak nie można.

[Cyfrowy Baron]

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

void __fastcall TForm1::Button1Click(TObject *Sender,TStringList* Lista)
{
        Label2->Visible = True;
       
       int iCount = Lista->Count;
       float fProgress = 100.00 / (float)iCount;

       for(int i = 0; i < iCount; i++)
       {
            Memo1->Lines->AddStrings( GetAdressURL(urlBing + Lista->Strings[i]) );
            Memo1->Lines->Add("#######################################");
           
            ProgressBar1->Position += (int)fProgress;          

           Application->ProcessMessages();
       }
 
        Label2->Visible = False;

           // delete Lista; - BŁĄD
}