Turbo C++ i WWW

[Cyfrowy Baron]

Po co czytać stronę po kawałku skoro funkcja wczyta ja w całości. Patrz post: posting.php?mode=reply&f=16&t=630#pr3754
Problem niewczytywania strony w całości dotyczy tylko sytuacji, gdy wczytuje się pliki PHP i to w przypadku gdy rozmiar bufora jest ustalany dynamicznie, przy jawnie określonym rozmiarze bufora nie ma problemu z wczytywaniem stron w całości o czym Dante pisał w tym poście: posting.php?mode=reply&f=16&t=630#pr3786

Jeśli jest statycznie podane do zawszę się wczyta.

---

Nigdzie nie widzę tego.

Patrz tutaj: posting.php?mode=reply&f=16&t=630#pr3754

Zresztą jakby opracował od początku to nie byłoby tematu niekompletnego ściągania zawartości www.

Ten temat nie dotyczy niekompletnego wczytywania stron, tylko wczytywania stron z wykorzystaniem biblioteki wininet.dll, a problem niekompletnego wczytywania stron wyniknął dopiero gdy zaproponowałem zastosowanie funkcji HttpQueryInfo do określania rozmiaru bufora na pobieraną zawartość pliku i dotyczy tylko plików PHP i rzeczywiście jest to problem nagłówka (o czym wspominasz), ale i na to jest rozwiązanie, tylko chwilowo nie chce mi się nad tym siedzieć, gdyż i tak dużo czasu poświęciłem temu problemowi, a mi aktualnie nie jest to do niczego potrzebne.

Chcesz pomóc, to poszukaj rozwiązania jak dynamicznie określać rozmiar bufora na pobierane pliki PHP? Z plikami HTML nie stwierdziłem problemu. Przy jawnie określonym rozmiarze bufora nie ma problemu z pobieraniem plików PHP.

[polymorphism]

Kod: Zaznacz cały

Patrz tutaj: posting.php?mode=reply&f=16&t=630#pr3754

No i co, jest tam pojedyncze czytanie do bufora ~100kB. W sumie amatorka trochę...

i rzeczywiście jest to problem nagłówka (o czym wspominasz), ale i na to jest rozwiązanie, tylko chwilowo nie chce mi się nad tym siedzieć, gdyż i tak dużo czasu poświęciłem temu problemowi, a mi aktualnie nie jest to do niczego potrzebne.

Ty chyba sobie żartujesz? Przecież rozwiązaniem jest kod, który podałem.

Chcesz pomóc, to poszukaj rozwiązania jak dynamicznie określać rozmiar bufora na pobierane pliki PHP?

Po pierwsze z serwera nie pobierasz plików PHP, tylko gotową stronę. Po drugie, rozwiązania szukać nie będę, bo dałem inne, rozwiązujące (mam nadzieję) problem. No chyba że mówimy o sztucznym tworzeniu problemów... ale to nie dla mnie.

[Cyfrowy Baron]

Eh, jak widzę nie wiesz nawet jak się za to zabrać. Wbrew temu co piszesz rozwiązania nie podałeś.
Nie chodzi już tutaj tylko o podanie konkretnego rozwiązania, ale o rozwiązanie problemu z pobieraniem plików PHP przy dynamicznie określanym rozmiarze bufora, gdyż Twoje rozwiązanie nie jest żadnym zaskoczeniem ani dla Dante, anie dla mnie.

No i co, jest tam pojedyncze czytanie do bufora ~100kB. W sumie amatorka trochę...

Dante podał przykład, który potem był rozwijany. Pojawił się pomysł z dynamicznym określaniem rozmiaru bufora i to stało się problemem. Ty podałeś rozwiązanie z wczytywaniem strony po kawałku, ale nie to jest teraz istotą problemu.

Ponawiam pytania. Jak pobrać stronę PHP przy dynamicznie określanym rozmiarze bufora? Jak rozwiązać problem nagłówka w przypadku plików PHP?

[polymorphism]

gdyż Twoje rozwiązanie nie jest żadnym zaskoczeniem ani dla Dante, anie dla mnie.

Szczerze w to wątpię. Gdyby tak było, byłaby tam pętla i... prawdopodobnie problemu by nie było. Swoją drogą nie widzę, żeby Dante od czasu podania kodu z pętlą wypowiedział się w tym temacie. Więc może poczekaj, niech sprawdzi kod i się wypowie, Ok?

[...] ale nie to jest teraz istotą problemu.

W tym przypadku istota tworzy problem Ale dobra, jeśli twierdzisz, że ta opcja jest na tyle sensowna, że warto ją forsować, choć sam nie potrafisz znaleźć rozwiązania, to powiedz mi, dlaczego bufor ma być dynamicznie tworzony i wszystko ma być przeczytane jednym wywołaniem funkcji? Gdzie są zalety tego rozwiązania?

Jeśli podasz choć jeden racjonalny powód lub zaletę takiego rozwiązania, pochylę się nad problemem i znajdę rozwiązanie

[Cyfrowy Baron]

Rozwiązanie jest możliwe, gdyż działa w odniesieniu do plików HTML, więc zakładam, że twórcy biblioteki wininet.dll przewidzieli taką możliwość, skoro służy między innymi do zwracania rozmiaru pliku.
Po co to robić, chociażby z chęci poznania nowych rozwiązań.

Gdyby chodziło mi tylko o rozwiązanie problemu, to nie ślęczałbym na biblioteką wininet.dll, tylko skorzystałbym z bibliotek np. INDY TIdHTTP, i nie byłoby najmniejszego problemu.

[polymorphism]

[...] więc zakładam, że twórcy biblioteki wininet.dll przewidzieli taką możliwość, skoro służy między innymi do zwracania rozmiaru pliku.

Widzisz, problem w tym, że protokół HTTP dopuszcza możliwość, że nagłówek odpowiedzi nie będzie zawierać informacji o rozmiarze zawartości (Content-Length). W przypadku strony, z którą są problemy tej wartości w nagłówku nie ma, a co za tym idzie HttpQueryInfo zwróci błąd. W tym przypadku, inaczej niż czytając fragmentami, nie przeczytasz tego poprawnie. Oczywiście możesz sobie założyć, że strony zawsze mieszczą się w 100KB i wtedy czytać je w jednym wywołaniu, ale to jest naiwne, błędogenne rozwiązanie.

[GoldWolf]

Gdyby chodziło mi tylko o rozwiązanie problemu, to nie ślęczałbym na biblioteką wininet.dll, tylko skorzystałbym z bibliotek np. INDY TIdHTTP, i nie byłoby najmniejszego problemu.

Tak jak ja, tylko akurat używam Turbo i nie mam takiej możliwości.

Kod: Zaznacz cały

     DWORD   szSizeBuffer;
    DWORD   dwLengthSizeBuffer = 32;
    DWORD   dwBytesRead;

    String m_strURL = "http://programowanie.cal.pl/forum/index.php";
    HINTERNET Sesja;
    Sesja = InternetOpen(Application->Name.c_str(), INTERNET_OPEN_TYPE_DIRECT, NULL, NULL, 0);
    if(Sesja !=  NULL)
    {
      HINTERNET Serwis;
      Serwis = InternetOpenUrl(Sesja, m_strURL.c_str(), NULL, 0, 0, 0);
      if(Serwis != NULL)
      {
       if(!HttpQueryInfo( Serwis, HTTP_QUERY_CONTENT_LENGTH,   (LPVOID)szSizeBuffer,   &dwLengthSizeBuffer,   NULL))
       {
        void *cRead = new char[szSizeBuffer];
        InternetReadFile(Serwis,   cRead,   szSizeBuffer,   &dwBytesRead);
        String str = (LPSTR)cRead;
        Memo1->Text = (LPSTR)cRead;
        Memo1->Lines->Add(str.Length());
        delete cRead;
       }
      }else Memo1->Lines->Add("Błąd");

      InternetCloseHandle(Sesja);
    }


Cyfrowy to rozwiązanie nie działa, wczytuje tylko 1 znaki.

Ale zastosowałem wczytanie strony bezINDY. Na razie działa poprawnie .

Kod: Zaznacz cały

AnsiString Url = "http://programowanie.cal.pl/forum/index.php";
URLOpenBlockingStream(0, Url.c_str(), &pStream, 0, 0);
std::auto_ptr<TOleStream> oStream(new TOleStream(pStream));
Memo1->Lines->LoadFromStream(oStream.get());
// UsuwajTagi(Memo1->Text.c_str());

Czy można jakoś zastąpić od razu tą linijkę Memo1->Lines->LoadFromStream(oStream.get());, by można było od razu użyć UsuwajTagi(string);

[Cyfrowy Baron]

Czy można jakoś zastąpić od razu tą linijkę Memo1->Lines->LoadFromStream(oStream.get());, by można było od razu użyć UsuwajTagi(string);

Pytasz, czy można tak:

Kod: Zaznacz cały

UsuwajTagi(Memo1->Lines->LoadFromStream(oStream.get()))

Jeżeli o to pytasz, to nie można, gdyż z kodu wynika, że funkcja oczekuje parametry typy String: UsuwajTagi(String text);
Obiekt typy TMemo niczego nie zwraca, więc nie możesz wstawić obiektu typu TMemo, tam gdzie oczekiwana jest wartość typu String.

---

Co do tego, że funkcja nie wczytuje pliku w całości, to ma to związek z nagłówkiem pliku PHP. Funkcja nie jest w stanie prawidłowo określić rozmiaru pliku PHP.

---

Ale zastosowałem wczytanie strony bezINDY, z tym, że nadal jest problem z tym forum. Na razie działa poprawnie

Jaki problem?

U mnie funkcja URLOpenBlockingStream ładuje cała zawartość strony głównej serwisu.

[polymorphism]

Cyfrowy to rozwiązanie nie działa, wczytuje tylko 1 znaki.

Nie działa, bo tam jest błąd w warunku z HttpQueryInfo. Oczywiście kod będzie działał tylko z odpowiedziami o określonym rozmiarze.

Sprawdzałeś kod z pętlą?

Czy można jakoś zastąpić od razu tą linijkę Memo1->Lines->LoadFromStream(oStream.get());, by można było od razu użyć UsuwajTagi(string);

Przecież oStream to strumień. Odczytaj z niego dane do stringa i już.

[GoldWolf]

Czy można jakoś zastąpić od razu tą linijkę Memo1->Lines->LoadFromStream(oStream.get());, by można było od razu użyć UsuwajTagi(string);

Pytasz, czy można tak:

Kod: Zaznacz cały

UsuwajTagi(Memo1->Lines->LoadFromStream(oStream.get()))

Jeżeli o to pytasz, to nie można, gdyż z kodu wynika, że funkcja oczekuje parametry typy String: UsuwajTagi(String text);
Obiekt typy TMemo niczego nie zwraca, więc nie możesz wstawić obiektu typu TMemo, tam gdzie oczekiwana jest wartość typu String.

---

Nie, chodziło mi o to by to zastąpić. Po prostu nie wiem jak oStream bezpośrednio zamienić na stringa.

---

Ale zastosowałem wczytanie strony bezINDY, z tym, że nadal jest problem z tym forum. Na razie działa poprawnie

Jaki problem?
U mnie funkcja URLOpenBlockingStream ładuje cała zawartość strony głównej serwisu.

Wszystko działa poprawnie, źle poprawiłem posta.

[Witold]

Gdyby chodziło mi tylko o rozwiązanie problemu, to nie ślęczałbym na biblioteką wininet.dll, tylko skorzystałbym z bibliotek np. INDY TIdHTTP, i nie byłoby najmniejszego problemu.

Tak jak ja, tylko akurat używam Turbo i nie mam takiej możliwości.

Raczej masz, Turbo C++ Explorer ma zainstalowaną indy (v9.0.50), tyle że komponentów nie ma na palecie, trzeba je tworzyć przez new.

Kod: Zaznacz cały

#include <IdHTTP.hpp>
#pragma comment(lib,"indy.lib") // lub #pragma link "indy.lib"
//---------------------------------------------------------------------------
__fastcall TfrmMain::TfrmMain(TComponent* Owner)
   : TForm(Owner)
{
   TIdHTTP * indyHttp = new TIdHTTP(this);
   Caption =  indyHttp->Version;
   indyHttp->Host = "benchmark.pl";
   indyHttp->HandleRedirects = true;
   Memo1->Text =  indyHttp->Get("http://benchmark.pl/");
}
//---------------------------------------------------------------------------


[GoldWolf]

Kod: Zaznacz cały

Memo1->Text =  indyHttp->Get("http://programowanie.cal.pl/forum/index.php");

Ze stroną Cyfrowego wywala błąd .

[Cyfrowy Baron]

Nie, chodziło mi o to by to zastąpić. Po prostu nie wiem jak oStream bezpośrednio zamienić na stringa.

Można, ale obiekt oStream można sobie darować, gdyż nie ma sensu kopiowanie najpierw zawartości obiektu klasy IStream do obiektu oStream a potem przepisywanie tego do zmiennej typu String, można od razu posłużyć się obiektem klasy IStream, a odpowiedź na właściwie mogłeś znaleźć w poradzie, którą się posługujesz.

Kod: Zaznacz cały

String Url = "http://programowanie.cal.pl/forum/index.php";

IStream* pStream;

URLOpenBlockingStream(0, Url.c_str(), &pStream, 0, 0);

LARGE_INTEGER liZero = { 0 }; // Aby odnosic sie wzgledem poczatku strumienia
ULARGE_INTEGER CurPos; // Do zapisania pozycji wskaźnika

//Zapisujemy bierzaca pozycje wskaznika
pStream->Seek(liZero, STREAM_SEEK_CUR, &CurPos);

// Sprawdzamy wielkość strumienia
ULARGE_INTEGER SizeOfFile;
pStream->Seek(liZero, STREAM_SEEK_END, &SizeOfFile);

// Przywracamy wskaznik na poprzednią pozycje
LARGE_INTEGER Pos;
Pos.QuadPart = CurPos.QuadPart;
pStream->Seek(Pos, STREAM_SEEK_SET, NULL);

//Tworzymy bufor przejsciowy dla strumienia
char *data = new char[SizeOfFile.QuadPart];
pStream->Read(data, SizeOfFile.QuadPart, NULL);

String  tekst = (String)data;

/UsuwajTagi(tekst); // <--

Memo1->Text = tekst; //sprawdzanie co zawiera tekst


Musisz jednak wiedzieć o jednej rzeczy. Gdy wczytujesz z pamięci tekst do obiektu Memo to obiekt ten dobiera odpowiednie kodowanie (w przypadku z przykładu) UTF-8 i prawidłowo wyświetli zawartość pliku. Zmienna typu String nie jest w stanie przechować znaków UNICODE, więc po przepisaniu pliku do zmiennej typu String pojawią się krzaczki i żadna konwersja z UTF8 na Ansi tutaj raczej nie pomoże, gdyż zmienna String nie pomieści znaków z zakresu UTF8.

Pozostaje jeszcze problem kwadracików, które są jak przypuszczam znakami końca linii. Po pobraniu pliku do zmiennej String pojawią się kwadraciki w miejsce znaków końca linii, ale nie w każdym miejscu. Nie wiem z czym to jest związane i jak to zmienić.

[polymorphism]

ale obiekt oStream można sobie darować, gdyż nie ma sensu kopiowanie najpierw zawartości obiektu klasy IStream do obiektu oStream a potem przepisywanie tego do zmiennej typu String

Gwoli ścisłości, TOleString jest wrapperem na IStream, więc nie ma mowy o kopiowaniu zawartości.

[GoldWolf]

Musisz jednak wiedzieć o jednej rzeczy. Gdy wczytujesz z pamięci tekst do obiektu Memo to obiekt ten dobiera odpowiednie kodowanie (w przypadku z przykładu) UTF-8 i prawidłowo wyświetli zawartość pliku.

Stosując rozwiązanie :

Kod: Zaznacz cały

IStream* pStream;
std::string Url = "http://onet.pl";
URLOpenBlockingStream(0, Url.c_str(), &pStream, 0, 0);
std::auto_ptr<TOleStream> oStream(new TOleStream(pStream));
Memo1->Lines->LoadFromStream(oStream.get());
UsuwajTagi(Memo1->Text.c_str());

Nie musisz się tym przejmować wszystko jest poprawnie wczytane i wyświetlane.