Najprostszy sposób na pobranie pliku z internetu

[unloco]

Witam. Spędziłem dzisiaj parę godzin na szukaniu rozwiązania mojego problemu:

Otóż planuję sobie napisać program, który ściągnie mi z internetu wybrany plik.

Założenia:

Wpisuję adres internetowy w pole TEdit i wciskam buttona.
Pojawia mi się okienko gdzie chcę zapisać plik (TOpenDialog zapewne trzeba wykorzystać, jak mniemam).
Miłoby było, gdyby ktoś jeszcze podpowiedział jak tutaj zastosować pasek postępu, ale nie jest to konieczne

Opcjonalnie w pola Edit1 i Edit2 mogę wpisać login i hasło, jeśli jest konieczne, aby ściągnąć plik.

Kombinowałem sam, na google znalazłem http://www.programuj.com/forum/viewtopic.php?p=14576 (ostatni listing - użytkownika PabloX), ale pojawia mi się error: Connection Timed out.

Proszę o pomoc. Jestem w kropce.

[Cyfrowy Baron]

Ściąganie i Wysyłanie plików poprzez protokół FTP.
Ściąganie plików z Internetu przez protokół HTTP (bez INDY).

[Mironas]

TOpenDialog zapewne trzeba wykorzystać, jak mniemam.

Nie TOpenDialog tylko TSaveDialog, przecież chcesz zapisać plik na dysku, a nie otworzyć go.

Do przykładów Cyfrowego Barona dodałbym jeszcze pobieranie pliku za pomocą TIdHTTP (z pakietu Indy):

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

  if ( SaveDialog1->Execute() )
  {
    TMemoryStream* strm = new TMemoryStream();
    IdHTTP1->Get(Edit1->Text, strm);
    strm->SaveToFile(SaveDialog1->FileName);
    delete strm;
  }
 

A jeśli do tego chcesz pokazać proces pobierania na pasku to masz do tego takie zdarzenia komponentu TIdHTTP:

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

void __fastcall TForm1::IdHTTP1WorkBegin(TObject *ASender, TWorkMode AWorkMode, __int64 AWorkCountMax)
{
  ProgressBar1->Position = 0;
  ProgressBar1->Max = AWorkCountMax;
  Application->ProcessMessages();
}
//---------------------------------------------------------------------------
void __fastcall TForm1::IdHTTP1Work(TObject *ASender, TWorkMode AWorkMode, __int64 AWorkCount)
{
  ProgressBar1->Position = AWorkCount;
}
//---------------------------------------------------------------------------
void __fastcall TForm1::IdHTTP1WorkEnd(TObject *ASender, TWorkMode AWorkMode)
{
  ShowMessage("Pobrano!");
}
//---------------------------------------------------------------------------
 

[_wędkarz_]

Pozwolę sobie podłączyć się do tematu.
Muszę pobrać kursy walut, znalazłem taką stronę, wydaje się najbardziej odpowiednia. http://nbp.pl/Kursy/KursyA.html
I tu moje pierwsze pytanie, dane wyciągać jakoś z html tej strony czy ściągać te dane w xml(na dole strony jest taka możliwość)
Kursy da się jakoś wyciągnąć na internecie czy muszę ściągnąć plik na kompa? Tutaj zastosować albo IdHTTP lub urlmon.h a może coś innego?
Jak potem to wyszukać? Jeśli z html to może po numerze wiersza i wtedy jakoś ten kurs wyciągnąć? czy może jakis parser XML(nic o tym nie wiem, tylko słyszałem) w necie znalazłem jakiś TinyXML

[Cyfrowy Baron]

Niezależnie od wybranego sposobu musisz albo pobrać plik XML a potem go parsować - w C++Builder 6, chyba nie ma do tego bibliotek, albo musisz wczytać źródło strony i też je parsować. Źródło strony można wczytać od razu do pamięci, czyli wczytać podobnie jak to robi przeglądarka.
Zapoznaj się z tym tematem: Wyciąganie adresów URL ze stron internetowych. - Musisz stworzyć coś podobnego, ale nie do wyciągania adresów lecz innych potrzebnych informacji.
Przydałyby się tutaj regex'y, ale nie będę ci tego komplikował.

[polymorphism]

czy może jakis parser XML

Najsensowniej. Po to zresztą udostępniają to w XML-u, żeby można było sobie te dane jakość sensownie pobrać i poddać dalszej obróbce.

w necie znalazłem jakiś TinyXML

Powinien wystarczyć. Jest to prosta w instalacji i użyciu biblioteka.

[Darek_C++]

Możesz parsować za pomocą TinyXML lub wyrażeń regularnych i Boost.Regex. Możesz też wyciągając dane posługując się metodami klasy AnsiString jak Pos, Delete, SubString wyciągając coraz mniejsze bloki danych z danej struktury danych.

Jeśli chcesz pobierać z XML'a musisz najpierw pobrać adres do XML'a z http://nbp.pl/Kursy/KursyA.html na dole masz link:
<p class="file print_hidden"><a href="/kursy/xml/a252z121231.xml" target="_blank">Powyższa tabela w formacie .xml</a></p>
Jak chodzi o pobieranie:

TOpenDialog zapewne trzeba wykorzystać, jak mniemam.

Do przykładów Cyfrowego Barona dodałbym jeszcze pobieranie pliku za pomocą TIdHTTP (z pakietu Indy):

rób to w osobnym wątku, bo w wypadku większego pliku, lub wolnego łącza / serwera będziesz miał blokowanie całego programu co dosyć kiepsko wygląda w praktyce.
I jeszcze jedno metoda

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

IdHTTP1->Get(Edit1->Text, strm);

może generować wyjątki które powinieneś obsłużyć

[Mironas]

Do przykładów Cyfrowego Barona dodałbym jeszcze pobieranie pliku za pomocą TIdHTTP (z pakietu Indy):

rób to w osobnym wątku, bo w wypadku większego pliku, lub wolnego łącza / serwera będziesz miał blokowanie całego programu co dosyć kiepsko wygląda w praktyce.

Można też dodać na formę TIdAntiFreeze oraz dodać Application->ProcessMessages(); do IdHTTP1Work:

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

void __fastcall TForm1::IdHTTP1Work(TObject *Sender, TWorkMode AWorkMode,
      const int AWorkCount)
{
  ProgressBar1->Position = AWorkCount;
  Application->ProcessMessages();
}
 

[polymorphism]

Jeśli chcesz pobierać z XML'a musisz najpierw pobrać adres do XML'a z http://nbp.pl/Kursy/KursyA.html na dole masz link:
<p class="file print_hidden"><a href="/kursy/xml/a252z121231.xml" target="_blank">Powyższa tabela w formacie .xml</a></p>

Nie musi tego robić, ponieważ NBP udostępnia bezpośredni dostęp do pliku XML http://nbp.pl/Kursy/xml/LastA.xml

[Cyfrowy Baron]

Oto przykładowy kod pobierający kursy walut z pliku LastA.xml bezpośrednio z internetu bez ściągania pliku na dysk i bez konieczności stosowania dodatkowych bibliotek. Cały kod zawarłem w pliku źródłowym:

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

//---------------------------------------------------------------------------

#include <vcl.h>
#pragma hdrstop

#include "Unit1.h"

#include "wininet.h"
#include "memory"
//---------------------------------------------------------------------------
#pragma package(smart_init)
#pragma resource "*.dfm"

#pragma link "Wininet.lib"

TForm1 *Form1;
//---------------------------------------------------------------------------
__fastcall TForm1::TForm1(TComponent* Owner)
        : TForm(Owner)
{
}
//---------------------------------------------------------------------------

AnsiString ReadFileURL(AnsiString Url)
{
 AnsiString result = "";
 HINTERNET hSession = NULL;
 hSession = InternetOpenA("ReadFileURL", INTERNET_OPEN_TYPE_DIRECT, NULL, NULL, 0);
 if(hSession)
 {
  HINTERNET hService = NULL;
  hService = InternetOpenUrlA(hSession, Url.c_str(), NULL, 0, 0, 0 );
  if(hService)
  {
   while(1)
   {
        char lpBuffer[1024 + 1];
        DWORD dwBytesRead;
        InternetReadFile(hService, lpBuffer, 1024, &dwBytesRead);
    if(dwBytesRead == 0) break;
    lpBuffer[dwBytesRead] = 0;
    result += lpBuffer;
   }
  }
  InternetCloseHandle(hService);
 }
 InternetCloseHandle(hSession);
 return result;
}
//---------------------------------------------------------------------------
AnsiString NazwaWaluty(AnsiString Value)
{
 int start = Value.Pos("<nazwa_waluty>") + 14;
 int end = Value.Pos("</nazwa_waluty>") - start;

 return Value.SubString(start, end);
}
//---------------------------------------------------------------------------
AnsiString Przelicznik(AnsiString Value)
{
 int start = Value.Pos("<przelicznik>") + 13;
 int end = Value.Pos("</przelicznik>") - start;

 return Value.SubString(start, end);
}
//---------------------------------------------------------------------------
AnsiString KodWaluty(AnsiString Value)
{
 int start = Value.Pos("<kod_waluty>") + 12;
 int end = Value.Pos("</kod_waluty>") - start;

 return Value.SubString(start, end);
}
//---------------------------------------------------------------------------
AnsiString KursSredni(AnsiString Value, int &pos)
{
 int start = Value.Pos("<kurs_sredni>") + 13;
 int end = Value.Pos("</kurs_sredni>") - start;

 pos = end + start + 13;

 return Value.SubString(start, end);
}
//---------------------------------------------------------------------------
std::auto_ptr<TStringList> GetExchangeRates(AnsiString Url)
{
 AnsiString Value = ReadFileURL( Url );

 std::auto_ptr<TStringList> Result (new TStringList);

 int pos = 14;

 while( pos > 13 )
 {
  Result->Add( NazwaWaluty( Value) + " - " +
               Przelicznik( Value ) + " - " +
               KodWaluty( Value ) + " - " +
               KursSredni( Value, pos)
                         );

  Value = Value.Delete(1, pos);
 }

 Result->Delete( Result->Count - 1 ); /* kasuje ostatni pusty wiersz */
 return Result;
}
//---------------------------------------------------------------------------
void __fastcall TForm1::Button1Click(TObject *Sender)
{
 Screen->Cursor = crHourGlass;

 Memo1->Lines->Assign( GetExchangeRates("http://nbp.pl/Kursy/xml/LastA.xml").get() );

 Screen->Cursor = crDefault;
}
//---------------------------------------------------------------------------

---

[_wędkarz_]

OK, kod już rozszyfrowałem i powoli przyswajam do łba co by w przyszłości móc samemu napisać(ten też oczywiście kod zmienię, gdyż potrzebuję tylko kilku walut i żeby one były przypisane do zmiennej i wyświetlone w tablicy ale to myślę, że nie będzie już dla mnie problem).

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

AnsiString KodWaluty(AnsiString Value)
{
 int start = Value.Pos("<kod_waluty>") + 12; //Tutaj +12 jest po to, żeby przeszukiwało wiersz, który ma zawartość"<kod_waluty>" dopiero od 12 znaku??
 int end = Value.Pos("</kod_waluty>") - start; // tutaj ma nam przeszukiwać wiersz, który ma zawartość"</kod_waluty>"  ale wyłaczając zmienną start czyli pierwsze 12 znaków??

 return Value.SubString(start, end); // tutaj polecenie które mam nam zwrócić to co jest pomiędzy właśnie startem a endem?
}
//---------------------------------------------------------------------------

 

Czemu deklaracja jest jako int? Chodzi o to że wartość jest przechowywana jako kod binarny? Bo nie mam pojęcia tutaj

KOD cpp:   �  UKRYJ  �

KOD cpp:   �  POKAŻ  �

AnsiString KursSredni(AnsiString Value, int &pos) //  "int &pos" chodzi tutaj o adres wskaźnika?
{
 int start = Value.Pos("<kurs_sredni>") + 13;
 int end = Value.Pos("</kurs_sredni>") - start;

 pos = end + start + 13;// o co w tym chodzi? potem jest to też odczytywane w resultacie

 return Value.SubString(start, end);

edit: Jeszcze gdybyś mógł to pokrótce proszę opisz funkcje ReadFileURL

[Cyfrowy Baron]

Odnośnie pierwszego kodu - te liczby służą do określenia pozycji w której znajduje się tylko wartość między tagami, a nie wartość plus tagi. Funkcja SubString wycina tekst z wyrażenia i oczekuje jako argumentów początku i końca od którego tekst ma być wycinany przy czym koniec musi uwzględniać pozycję początku stąd end - start. start + 12 gdyż wyrażenie "<kod_waluty>" ma długość 12 znaków, w funcja Pos szuka co prawda tego wyrażenia, ale zwraca pozycję jego początku a nie końca, dlatego gdybym nie zrobił przesunięć to SubString wyciąłby nie tylko kod waluty, ale również tagi - poeksperymentuj.

Dlaczego int &pos, bo przekazuję do funkcji zmienną int pos zadeklarowaną w funkcji GetExchangeRates po to by sterowała pętlą while, po przeszukaniu całego pliku pętla musi się przecież zatrzymać i służy do tego zmienna pos. Niezależnie od tego, czy pobierasz całą tabelę, czy wybrane waluty przeszukać i tak musisz cały plik. W każdym obiegu pętli pos określa pozycję ostatniego wyszukiwanego elementu i z całego pliku usuwa wszystko co jest przed tą pozycją - funkcja Delete(1, pos). W kolejnym obiegu pętli zawartość pliku jest więc już krótsza, gdyż zostało z niego usunięte to co zostało już przeszukane. Gdyby tak nie było funkcja Pos zawsze zatrzymywałaby się na pierwszym elemencie tabeli, gdyż ta funkcja zatrzymuje się na pierwszym znalezionym elemencie.

Co do tego binarnego, to nie wiem skąd ci to przyszło do głowy!?

[cezarrek]

W jaki sposób można by przerobić kod Cyfrowego Barona, który pobierałby kursy walut, ale według określonej daty

[polymorphism]

Tu masz opis tego, jak pobierać dane z różnych dat ze strony NBP http://www.nbp.pl/home.aspx?f=/kursy/in ... walut.html

[cezarrek]

Cześć raz jeszcze.
Czy pobierałbym bezpośrednio do pamięci czy przepisywał od razu do jakiegoś obiektu lub nawet zapisywał do pliku i potem otwierał to w każdym przypadku wychodzą takie krzaczki i zawsze ma się do pierwszej linii.
A chodzi o ten plik: http://www.nbp.pl/kursy/xml/dir.txt

c001z020102
h001z020102
a001z020102
b001z020102
...