Turbo C++ i WWW

[Witold]

Zmienna typu String nie jest w stanie przechować znaków UNICODE, więc po przepisaniu pliku do zmiennej typu String pojawią się krzaczki i żadna konwersja z UTF8 na Ansi tutaj raczej nie pomoże, gdyż zmienna String nie pomieści znaków z zakresu UTF8.

Chyba namieszłeś. ZTCW, jakim typem jest String , wskazuje odpowiedni typedef w BC < BC2009 to typedef AnsiString String, w BC >= BC2009, typedef UnicodeString String.

Hmm, w BCB6 jest typedef AnsiString UTF8String;.

Typ AnsiString obsługuje kodowanie 8bitowe (ANSI) oraz MBCS (Multibyte Character Set).

[Cyfrowy Baron]

wskazuje odpowiedni typedef w BC < BC2009 to typedef AnsiString String, w BC >= BC2009, typedef UnicodeString String.

W C++ 2009 TAK, ale ja korzystam z C++ 2007 i tutaj już tak nie jest.

Tak wyświetlane są znaki UTF-8 w Memo w środowisku C++ Builder 2009.

memo_utf8.png

Pokaż jak wyświetlić w Memo znaki kodowane w UTF-8, ale nie w Memo z C++ Builder 9, lecz we wcześniejszych wersjach, oraz jak przepisać z zmiennej typu AnsiString (Memo->Text = AnsiString) do Memo, w taki sposób by wyświetlić znaki UTF-8

---

Wrócę jeszcze na chwilę do funkcji InternetReadFile. Rozwiązanie problemu znajdowało się cały czas w poradzie: ► patrz serwis: Cyfrowy Baron dział: porady sieć - internet Wyciąganie adresów URL ze stron internetowych.

Kod: Zaznacz cały

#include "wininet.h"


#pragma comment(lib, "wininet.lib")
AnsiString ReadFile(AnsiString Url)
{
AnsiString result = "";
HINTERNET hSession = NULL;
hSession = InternetOpen("ReadFile", INTERNET_OPEN_TYPE_DIRECT, NULL, NULL, 0);
if(hSession)
{
  HINTERNET hService = NULL;
  hService = InternetOpenUrl(hSession, Url.c_str(), NULL, 0, 0, 0 );
  if(hService)
  {
   while(1)
   {
    char lpBuffer[1024 + 1];
    DWORD dwBytesRead;
    InternetReadFile(hService, lpBuffer, 1024, &dwBytesRead);
    if(dwBytesRead == 0) break;
    lpBuffer[dwBytesRead] = 0;
    result += lpBuffer;
   }
  }
  InternetCloseHandle(hService);
}
InternetCloseHandle(hSession);
return result;
}
void __fastcall TForm1::Button3Click(TObject *Sender)
{
String m_strURL = "http://programowanie.cal.pl/forum/index.php";

UsuwajTagi(ReadFile(m_strURL));


String tekst = ReadFile(m_strURL); //tylko celem sprawdzenia
Memo1->Text = tekst; //tylko celem sprawdzenia

}
//---------------------------------------------------------------------------


Mechanizm jest podobny do tego, który przedstawił polymorphism.

To rozwiązanie wdaje mi się najlepsze, z dotychczas zaproponowanych, szczególnie, że jak zauważysz, znika problem "kwadracików" i możesz przekazać do funkcji UsuwajTagi od razu funkcję ReadFile z jednym tylko argumentem - adresem strony.

[Witold]

Pokaż jak wyświetlić w Memo znaki kodowane w UTF-8, ale nie w Memo z C++ Builder 9, lecz we wcześniejszych wersjach, oraz jak przepisać z zmiennej typu AnsiString (Memo->Text = AnsiString) do Memo, w taki sposób by wyświetlić znaki UTF-8

Czemu ? Odnosiłem się do tego że rzekomo AnsiString nie może przechowywać UTF-8. Jeśli AnsiString zawierałby dane UTF-8, to funkcja
AnsiString __fastcall Utf8ToAnsi(const UTF8String S); powinna pomóc (np. dla znaków PL, oczywiście nie wszystko da się dopasować).

Tak wyświetlane są znaki UTF-8 w Memo w środowisku C++ Builder 2009.

Wszystko dobrze poustawiałeś?

[Cyfrowy Baron]

No więc mi dokładnie o to samo chodziło. Źle się wyraziłem, chodzi o to, że zmienna AansiString nie wyświetla prawidłowo znaków UTF-8, ale wyświetla krzaczki, czyli jednak coś tam przechowuje.
Co się tyczy funkcji Utf8ToAnsi to niestety nie tłumaczy tych krzaczków na polskie znaki. Problem dałoby się rozwiązać pisząc własną funkcję podmieniającą znaki.

---

Wszystko dobrze poustawiałeś?

Próbowałem różnych ustawień, ale nie da rady. Co ciekawe Notatnik prawidłowo interpretuje pliki zapisane w Memo z kodowaniem UTF-8. Prawdopodobnie dopiero C++ Builder 2009 wprowadza obsługę tego kodowania do Memo.

[GoldWolf]

U mnie tylko to rozwiązanie jest zadowalające:

Kod: Zaznacz cały

Memo1->Lines->LoadFromStream(oStream.get());

w innych ma kwadraciki.

[Cyfrowy Baron]

Rzeczywiście, u mnie też, przez pomyłkę wywoływałem inną funkcję.
Swoją drogą ciekaw jestem czemu tak się dzieje...

[GoldWolf]

Nie umiem tego zrozumieć, z jednej strony mamy metodę która wczytuje od razu ze strumienia,

Kod: Zaznacz cały

Memo1->Lines->LoadFromStream(oStream.get());

a z drugiej AnsiString result. Nie chce używać Memo1, ale jeśli będę musiał to spowoduje dodatkowe komplikacje.

PS

Swoją drogą ciekaw jestem czemu tak się dzieje...

- widzę, że czytasz w moich myślach ...


DZIĘKUJE WSZYSTKIM ZA PORADY WSZYSTKO DZIAŁA DOKŁADNIE TAK JAK CHCE, OWSZEM W MEMO SĄ KWADRACIKI, ALE W PLIKU TEKSTOWYM ICH NIEMA. Z TEGO WSZYSTKIE ZAPOMNIAŁEM CO CHCĘ UZYSKAĆ I DO CZEGO DĄŻĘ. JAK TO WSZYSTKO UPORZĄDKUJĘ TO POSTARAM SIĘ PODAĆ WSZYSTKIE WASZE ROZWIĄZANIA.

[Cyfrowy Baron]

Chciałem zaproponować rozwiązanie ostateczne eliminujące konieczność stosowania obiektu Memo i eliminujące "kwadraciki".
Zadanie będzie realizowane za pomocą funkcji ReadFile, która pobiera argument typu String będący adresem pobieranej strony WEB i zwraca wartość również typu String, bez "kwadracików" i mało tego funkcja dekoduje znaki UTF-8 na znaki polskie, jednak co do pozostałego kodowania stron (mam na myśli zestawy znaków ISO-, Windows-, itp), to sprawa wygląda dokładnie tak jak w przypadku otwierania plików HTML w Notatniku, trzeba by stworzyć funkcję sprawdzającą w nagłówku jakiego kodowania użyto i w zależności od tego podstawiać polskie znaki.
pliki PHP kodowane w UTF-8 jednak dekodują się bez problemu w efekcie dając polskie znaki:

Kod: Zaznacz cały

#include "wininet.h"
#include <memory>

#pragma comment(lib, "wininet.lib")
//---------------------------------------------------------------------------
String ReadFile(String Url)
{
IStream* pStream;

URLOpenBlockingStream(0, Url.c_str(), &pStream, 0, 0);

std::auto_ptr<TOleStream> oStream(new TOleStream(pStream));
std::auto_ptr<TStrings> sMemo(new TStringList());

sMemo->LoadFromStream(oStream.get());

String Result = UTF8Decode(sMemo->Text);
if(!Result.IsEmpty()) return Result;

return  sMemo->Text;
}
//---------------------------------------------------------------------------
void __fastcall TForm1::Button5Click(TObject *Sender)
{
//String sUrl = "http://cyfbar.republika.pl/index.html"; // strona kodowana w ISO-88592
String sUrl = "http://programowanie.cal.pl/forum/index.php"; // strona kodowana w Unicode UTF-8

String tekst = ReadFile(sUrl);

UsuwajTagi(ReadFile(sUrl));

Memo1->Text =  tekst; //sprawdzanie co zawiera tekst
}
//---------------------------------------------------------------------------


[Witold]

Co się tyczy funkcji Utf8ToAnsito niestety nie tłumaczy tych krzaczków na polskie znaki.

Potem użyłeś UTF8Decode i jak rozumiem już tłumaczyła.

Funkcja Utf8ToAnsi w BCB6 wywołuje Utf8Decode:

function Utf8ToAnsi(const S: UTF8String): string;
begin
Result :=Utf8Decode(S); <---------------------------------
end;

????

[Cyfrowy Baron]

W C++ Builder 2007 użycie funkcji Utf8ToAnsi nie daje żadnych efektów, nic się nie zmienia, ale jeżeli przekaże się do funkcji tekst nie zawierający kodowania UTF-8 to nic nie zwraca, dlatego w funkcji ReadFile umieściłem warunek:

Kod: Zaznacz cały

String Result = UTF8Decode(sMemo->Text);
if(!Result.IsEmpty()) return Result;

return  sMemo->Text;

Jeżeli tekst zawiera kodowanie UTF-8 to funkcja zwraca zdekodowany tekst, w przeciwnym razie zwraca tekst bez zmian.

---

Wrócę jeszcze do tych kwadracików, które nie pojawiają się gdy plik jest przepisywany do obiektu typu TString bezpośrednio ze strumienia, a pojawiają się gdy ze strumienia przepisuje się to do zmiennej typu char:

Kod: Zaznacz cały

    char lpBuffer[1024 + 1];
    DWORD dwBytesRead;
    InternetReadFile(hService, lpBuffer, 1024, &dwBytesRead);


Zakładam, że wina leży właśnie po zmiennej typu char, gdyż ten typ nie jest już w stanie przechować kodowania UTF-8, dlatego wstawia znak zastępczy.
Gdyby dało się zastąpić ten typ innym to funkcja zwracała by tekst prawidłowo.
Próbowałem z typem wchar_t, ale efekt był jeszcze gorszy - żadnych liter.

[polymorphism]

Zakładam, że wina leży właśnie po zmiennej typu char, gdyż ten typ nie jest już w stanie przechować kodowania UTF-8, dlatego wstawia znak zastępczy.

Nic nie wstawia. Krzaczki masz dlatego, bo dwubajtowy znak traktujesz jak dwa znaki w kodowaniu ansi.

Typ char[] jest jak najbardziej odpowiedni do przechowywania tekstu w kodowaniu utf-8.

Próbowałem z typem wchar_t, ale efekt był jeszcze gorszy - żadnych liter.

Żeby próbować z typem wchar_t, musiałbyś najpierw przekonwertować litery z kodowania utf-8 na utf-16. Zwykłe przepisanie char -> wchar_t jest błędem dla kodów powyżej wartości 127.

[Cyfrowy Baron]

Tu nie chodzi o krzaczki, gdyż akurat ten problem rozwiązuje funkcja Utf8Decode, problem stanowią kwadraciki, które są znakami końca linii. Gdy zawartość pliku jest ładowana bezpośrednio do zmiennej String, to kwadracików nie ma, gdy w pobieraniu danych pośredniczy zmienna typu char kwadraciki się pojawiają.

Nic nie wstawia. Krzaczki masz dlatego, bo dwubajtowy znak traktujesz jak dwa znaki w kodowaniu ansi.

Czepiasz się drobiazgów. Jest oczywiste, że zmienna nic sobie nie wstawi. Pisząc, że wstawia znak zastępczy, chodziło mi o to. że zamiast znaku końca linii widoczne są kwadraciki, zamiast pozostawić puste pole, znak spacji, czy coś podobnego.

Problem krzaczków już rozwiązałem, pozostał problem tych kwadracików, dla zmiennej char jest to chyba wartość '\0'.

Marnujesz tylko mój czas, przedkładając nic nie wnoszące uwagi ponad konkretne rozwiązania problemu. Pisząc o nic nie wnoszących uwagach mam na myśli, że do niczego nie prowadzą i problem pozostaje nierozwiązany.

Może zamiast się wymądrzać wreszcie napiszesz coś konstruktywnego.

[GoldWolf]

Powiem tak to jeszcze nie koniec problemu. Zacząłem testować sobie rozwiązania i przy tej stronie:

Kod: Zaznacz cały

Url = "http://www.bet-at-home.com/odd.aspx?action=toggleEventGroup&SportID=1&EventGroupID=222";

Wysypuje mi się w tym miejscu:

Kod: Zaznacz cały

IStream* pStream;
URLOpenBlockingStream(0, URL.c_str(), &pStream, 0, 0);
std::auto_ptr<TOleStream> oStream(new TOleStream(pStream));
Form4->Memo1->Lines->LoadFromStream(oStream.get());    // <-- BŁĄD !!!

Drugie z prezentowanych rozwiązań wczytuje część podanej strony.
Jednak po kilku niepowodzeniach druga metoda wczytała całość.

PS podany link będzie działać do ok 21, a potem to nie wiem dokładnie, ale dopiero po kilku dniach.

[Cyfrowy Baron]

Jednak po kilku niepowodzeniach druga metoda wczytała całość.

Druga, czyli która?

[GoldWolf]

Wykorzystująca wininet.

Kod: Zaznacz cały

#include "wininet.h"
#pragma comment(lib, "wininet.lib")
AnsiString ReadFile(AnsiString Url)
{
AnsiString result = "";
HINTERNET hSession = NULL;

Trochę testowałem i jest ok, przynajmniej z tymi kilkoma stronami, które brałem pod uwagę.

A pierwsze metoda ma błąd w tym miejscu dla w/w strony:

Kod: Zaznacz cały

Form4->Memo1->Lines->LoadFromStream(oStream.get());    // <-- BŁĄD !!!

Dodam tylko, że sMemo nie potrafię zastosować. Aczkolwiek błąd dotyczy strumienia.