Turbo C++ i WWW

[Cyfrowy Baron]

Dziwne. Pobrałem stronę za pomocą przeglądarki i niczym szczególnym się nie wyróżnia.

[GoldWolf]

Wiem, jest to zwyczajna strona. Jedyna różnica, to jej długi adres. Twoją stronę pobiera bez problemu.

[polymorphism]

Tu nie chodzi o krzaczki, gdyż akurat ten problem rozwiązuje funkcja Utf8Decode, problem stanowią kwadraciki, które są znakami końca linii.

Ok, przeoczyłem, że chodzi o znaki końca linii. Co do reszty posta, podtrzymuję to co napisałem.

Może zamiast się wymądrzać wreszcie napiszesz coś konstruktywnego.

No to dałem. Co zresztą sam na początku oprotestowałeś, żeby później, po wielu postach, przyznać mi rację dając kod, który jest podobny do mojego. W zasadzie reszta tego tematu, począwszy od mojego posta, to kręcenie się wokół rozwiązanego problemu.

[Cyfrowy Baron]

Co zresztą sam na początku oprotestowałeś, żeby później, po wielu postach, przyznać mi rację dając kod, który jest podobny do mojego. W zasadzie reszta tego tematu, począwszy od mojego posta, to kręcenie się wokół rozwiązanego problemu.

Ten kod opracowałem już dawno temu i umieściłem w serwisie, dlatego poszukiwałem nowych rozwiązań. Przyznaję poległem na tym polu, więc na razie pozostaje rozwiązanie z wczytywaniem plików w częściach.

A Ty zamiast wałkować w kółko to samo może mógłbyś się skupić na problemie.

Powiem tak to jeszcze nie koniec problemu. Zacząłem testować sobie rozwiązania i przy tej stronie:

Kod: Zaznacz cały

Url = "http://www.bet-at-home.com/odd.aspx?action=toggleEventGroup&SportID=1&EventGroupID=222";

Wysypuje mi się w tym miejscu:

Kod: Zaznacz cały

    IStream* pStream;
    URLOpenBlockingStream(0, URL.c_str(), &pStream, 0, 0);
    std::auto_ptr<TOleStream> oStream(new TOleStream(pStream));
    Form4->Memo1->Lines->LoadFromStream(oStream.get());    // <-- BŁĄD !!!

Drugie z prezentowanych rozwiązań wczytuje część podanej strony.
Jednak po kilku niepowodzeniach druga metoda wczytała całość.

Drugie rozwiązanie to te podobne do Twojego. Problem wydaje się być rozwiązany, ale dopóki nie będzie wiadomo, czemu akurat przy tej stronie tak się dzieje, to problem zawsze może się pojawić ponownie.

[polymorphism]

A Ty zamiast wałkować w kółko to samo może mógłbyś się skupić na problemie.

To samo czyli co?

Kod ze strumieniem ma jedną zasadniczą wadę: brak jakiejkolwiek obsługi błędów. Zakłada, że URLOpenBlockingStream zawsze zadziała, co w przypadku kwestii związanych z siecią jest sporą naiwnością. Czyli jeśli już, to:

Kod: Zaznacz cały

IStream* pStream;

if(URLOpenBlockingStream(0, URL.c_str(), &pStream, 0, 0) == S_OK)
{
   std::auto_ptr<TOleStream> oStream(new TOleStream(pStream));
   Form4->Memo1->Lines->LoadFromStream(oStream.get());
}
else
{
   //DAMN!!!
}

Drugie z prezentowanych rozwiązań wczytuje część podanej strony. [...]

Drugie rozwiązanie to te podobne do Twojego. [...]

U mnie zassało całość. W prawdzie testowałem po 21, wtedy link miał już nie działać, ale jaką bym sobie stronę nie wymyślił, to ściąga bez problemu.

[GoldWolf]

Zakłada, że URLOpenBlockingStream zawsze zadziała,

Faktycznie twoje rozwiązanie pokazuje, że jest problem nie w tym miejscu gdzie ja pokazywałem tylko wcześniej:

Kod: Zaznacz cały

if (URLOpenBlockingStream(0, Url.c_str(), &pStream, 0, 0) == S_OK)

Nie wiem czy dobrze kombinuje ale przetestowałem kilka adresów:

Kod: Zaznacz cały

std::string Url = "http://programowanie.cal.pl/forum/index.php", p;
//Url = "http://www.bet-at-home.com/odd.aspx?action=toggleEventGroup&SportID=1&EventGroupID=222";
Url = "http://docs.embarcadero.com/products/rad_studio/delphiAndcpp2009/HelpUpdate2/EN/html/delphivclwin32/idx.html";
Url = "http://www.dotnetheaven.com/uploadfile/mahesh/commonwininetapi05242005064319am/commonwininetapi.aspx";
//   Url = "http://www.microsoft.com/downloads/details.aspx?familyid=413744D1-A0BC-479F-BAFA-E4B278EB9147&displaylang=en";
Url = "http://tv.wp.pl/programy.html?katn=Lista+kana%B3%F3w&ticaid=18dea";
//Url = "http://sms.idea.pl/default.aspx?SENDER=&RECIPIENT=&SHORT_MESSAGE=&err=inbox_was_deleted";

Zakomentowane to te które nie działają. I dochodzą do wniosku, że chodzi o znak "&". Jeśli występuje więcej takich znaków to dana strona nie działa. Więc samo rozwiązanie URLOpenBlockingStream ma jakiś problem.

PS jednak teorię tą szybko obala następująca strona:

Kod: Zaznacz cały

Url = "http://www.google.pl/search?hl=pl&client=firefox-a&rls=org.mozilla:en-US:official&hs=Rbr&q=URLOpenBlockingStream&start=20&sa=N";

tak, czy siak problem wywołuje URLOpenBlockingStream.

[polymorphism]

Faktycznie przy stronie microsoftu URLOpenBlockingStream nie zawsze działa. Być może konieczne jest użycie IBindStatusCallback, żeby poprawnie zareagować na jakiś problem z pobieraniem zawartości. Opcja z InternetReadFile prawie zawsze działa... W zasadzie to zawsze działa, ale nie zawsze ściąga tę zawartość, o którą chodzi. Myślę, że wiem gdzie leży problem, ale muszę jeszcze zrobić parę testów, wtedy napiszę coś konkretnego (problem w tym, że muszę trafić na ten moment, kiedy nie czyta mi tego, co chcę, a to nie występuje za często )

I dochodzą do wniosku, że chodzi o znak "&"

Ten znak służy do rozdzielania parametrów, jakie klient przekazuje do serwera w URL-u:

<adres>?<parametr>=<wartość>&<parametr>=<wartość>&<parametr>=<wartość>

[polymorphism]

Dobra, tu masz kod otwierający połączenie dla InternetReadFile:

Kod: Zaznacz cały

HINTERNET http_open_url(HINTERNET session,const char *address)
{
   HINTERNET   hUrl;
   char      url_str[512];
   int         max_refreshes = 5;

   strcpy(url_str,address);

   while(hUrl = InternetOpenUrl(session, url_str, NULL, 0, 0, 0))
   {
      char   data[512];
      DWORD   size = 512;
      float   time;

      if(HttpQueryInfo(hUrl,HTTP_QUERY_REFRESH,(LPVOID)data,&size,NULL))
      {
         int res = sscanf(data,"%f; url=%s",&time,url_str);
         if(res <= 0)
         {
            InternetCloseHandle(hUrl);
            return NULL;
         }
         
         if(time > 1.0f)break;
         InternetCloseHandle(hUrl);
         if(--max_refreshes < 0)return NULL;
         Sleep(time * 1000.0);
      }
      else break;
   }

   return hUrl;
}

Testowałem to tylko na stronie microsoft'u, bo na innych nie występuje u mnie ten problem.

[GoldWolf]

Trochę nie zrozumiałeś. To co przedstawiłeś to ja mam, Cyfrowego rozwiązanie działa. Mówimy o bibliotece wininet!
Ale nie działa jak sam zauważyłeś rozwiązanie oparte o urlmon.h.
Chciałem mieć dwa rozwiązanie. Widać muszę zrezygnować z urlmon.h, ze względu na problemy ze strumieniem przy dłuższych adresach internetowych i tak właściwie nie wiadomo co jest przyczyną.

Jeszcze raz wszystkim Wam dziękuje za pomoc. Myślę, że kilka postów było offtop, ale dla mnie ważne, że uzyskałem to co powinienem.