C++11, bestand met globale variabele wordt niet gevuld

[Roel911]

Hallo, ik ben een programma in C++11 aan het schrijven en de logfile (globale variabele wordt niet gevuld maar de sourcefile niet, hoe kan ik dit oplossen? Op beide bestanden zijn er schrijfrechten. Het liefste gebruik ik beide output bestanden globaal, zodat ik deze niet in elke loop opnieuw hoef te sluiten en heropenen.

De broncode:

C++: bot.cpp

#include <curl/curl.h>
#include <iostream>
#include <fstream>
#include <sstream>
#include <cstdlib>
#include <pthread.h>
#include <string>
#include <mutex>
//compile instruction: g++ bot.cpp -lcurl -lpthread -std=c++11 -O2
std::fstream logfile;
std::mutex mtx;
std::string validurlchar= "abcdefghijklmnopqrstuvwxyz0123456789-";
// callback function writes data to a std::ostream
static size_t data_write(void* buf, size_t size, size_t nmemb, void* userp)
{
if(userp)
{
std::ostream& os = *static_cast<std::ostream*>(userp);
std::streamsize len = size * nmemb;
if(os.write(static_cast<char*>(buf), len))
return len;
}

return 0;
}


CURLcode curl_read(const std::string& url, std::ostream& os, long timeout = 360L)
{
CURLcode code(CURLE_FAILED_INIT);
CURL* curl = curl_easy_init();

if(curl)
{
if(CURLE_OK == (code = curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, &data_write))
&& CURLE_OK == (code = curl_easy_setopt(curl, CURLOPT_NOPROGRESS, 1L))
&& CURLE_OK == (code = curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, 1L))
&& CURLE_OK == (code = curl_easy_setopt(curl, CURLOPT_FILE, &os))
&& CURLE_OK == (code = curl_easy_setopt(curl, CURLOPT_TIMEOUT, timeout))
//&& CURLE_OK == (code = curl_easy_setopt(curl, CURLOPT_TIMEOUT_MS, timeout))
&& CURLE_OK == (code = curl_easy_setopt(curl, CURLOPT_URL, url.c_str())))
{
code = curl_easy_perform(curl);
}
curl_easy_cleanup(curl);
}
return code;
}

void writeurltofile(std::string url)
{
//std::string url="http://google.com";


/*std::ofstream ofs(url);
if(CURLE_OK == curl_read("http://"+url, ofs))
{
// Web page successfully written to file
std::cout << url << std::endl;
}*/
//std::cout<<url<<std::endl;
std::ostringstream oss;
if(CURLE_OK == curl_read("http://"+url, oss))
{
// Web page successfully written to string
std::cout << url << std::endl;
std::string html = oss.str();
mtx.lock();
std::fstream sourcefile;
sourcefile.open("source.bin",std::fstream::binary | std::ofstream::out | std::ofstream::app);
sourcefile << html;
sourcefile.close();


logfile << url << std::endl;

mtx.unlock();
//std::cout << html << std::endl;
}
    

//else std::cout << "Error: " << url << std::endl;
/*if(CURLE_OK == curl_read(url, std::cout))
{
// Web page successfully written to standard output (console?)
}*/    
}

void loop1(long a)
{
  for(long b=0;b<validurlchar.size()-2;b++)
  {
    //std::cout<<validurlchar.at(a)<<","<<validurlchar.at(b)<<std::endl;
    //std::cout << validurlchar[a] << validurlchar[b] << ".nl" << std::endl;
    std::string url;
    url=validurlchar[a];
    url=url+validurlchar[b];
    url=url+".nl";
    writeurltofile(url);    
  }  
}

void loop2(long a)
{
  for(long b=0;b<validurlchar.size()-2;b++)
  {
    for(long c=0;c<validurlchar.size();c++)
    {
      //std::cout<<validurlchar.at(a)<<","<<validurlchar.at(b)<<std::endl;
      //std::cout << validurlchar[a] << validurlchar[b] << ".nl" << std::endl;
      std::string url;
      url=validurlchar[a];
      url=url+validurlchar[b];
      url=url+validurlchar[c];
      url=url+".nl";
      writeurltofile(url);
    }
  }  
}

void loop3(long a)
{
  for(long b=0;b<validurlchar.size()-2;b++)
  {
    for(long c=0;c<validurlchar.size();c++)
    {
      for(long d=0;d<validurlchar.size();d++)
      {
   //std::cout<<validurlchar.at(a)<<","<<validurlchar.at(b)<<std::endl;
   //std::cout << validurlchar[a] << validurlchar[b] << ".nl" << std::endl;
   std::string url;
   url=validurlchar[a];
   url=url+validurlchar[b];
   url=url+validurlchar[c];
   url=url+validurlchar[d];
   url=url+".nl";
   writeurltofile(url);
      }
    }
  }  
}

void* bruteforcethread(void *threadid)
{
  long a=(long) threadid;
  //std::cout << "test";
  //std::cout<<validurlchar.size();
  loop1(a);
  loop2(a);
  loop3(a);
  pthread_exit(NULL);
}

int main()
{
  curl_global_init(CURL_GLOBAL_ALL);
  logfile.open("logfile.csv", std::ofstream::out | std::ofstream::app);
  //std::cout<<validurlchar.size();
  //writeurltofile("google.nl");
  //const int ct=sizeof(validurlchar);
  const int ct=validurlchar.size();
  pthread_t threads[ct];
  int rc;
  for(int i=0;i < ct; i++)
  {
    rc=pthread_create(&threads[i], NULL, bruteforcethread, (void*) i);
    //std::cout << i << std::endl;
  }  
  logfile.close();  
  curl_global_cleanup();
  pthread_exit(NULL);
}

Alvast bedankt voor je reactie

[MSalters]

" de logfile (globale variabele wordt niet gevuld maar de sourcefile niet" en vervolgens een ontzettende code dump? Als ik jou was, zou ik m'n programma eerst eens versimpelen. Het zou me verbazen als je meer dan 20 regels overhoudt, en vermoedelijk is het probleem dan al duidelijk.

Ik vermoed overigens dat je een C achtergrond hebt, gezien de code. ostream.close() calls en POSIX threads?

[Roel911]

MSalters schreef op dinsdag 7 februari 2017 @ 13:01:
" de logfile (globale variabele wordt niet gevuld maar de sourcefile niet" en vervolgens een ontzettende code dump? Als ik jou was, zou ik m'n programma eerst eens versimpelen. Het zou me verbazen als je meer dan 20 regels overhoudt, en vermoedelijk is het probleem dan al duidelijk.

Ik vermoed overigens dat je een C achtergrond hebt, gezien de code. ostream.close() calls en POSIX threads?

Ik heb een C achtergrond inderdaad. Klopt, ik heb het hele programma geüpload zodat het duidelijk is dat er niet tussen de regels door iets mis gaat. Uiteraard moet het programma uiteindelijk worden opgeschoond en versimpeld, ik kom er nu maar niet uit waar de fout hem in zit.

[Rips10]

Roel911 schreef op maandag 6 februari 2017 @ 20:53:
De logfile (globale variabele wordt niet gevuld maar de sourcefile niet, hoe kan ik dit oplossen?

Probeer eerst het probleem eens duidelijk te omschrijven met een kloppende zin. Welke variabelen gebruik je waarbij het fout gaat? en waar ergens in de code denk / weet je dat het fout gaat?

[epic007]

Rips10 schreef op dinsdag 7 februari 2017 @ 21:03:
[...]


Probeer eerst het probleem eens duidelijk te omschrijven met een kloppende zin. Welke variabelen gebruik je waarbij het fout gaat? en waar ergens in de code denk / weet je dat het fout gaat?

^^ dat, en probeer dan eerst eens je parallelle code er uit te halen door geen threads aan te maken maar bruteforcethread(..) gewoon synchroon in de loop aan te roepen.

[Roel911]

Rips10 schreef op dinsdag 7 februari 2017 @ 21:03:
[...]


Probeer eerst het probleem eens duidelijk te omschrijven met een kloppende zin. Welke variabelen gebruik je waarbij het fout gaat? en waar ergens in de code denk / weet je dat het fout gaat?

Met ... en de logfile ... bedoel ik de variabele die logfile heet.

[DroogKloot]

Om het maar te verklappen: je start een paar threads, maar wacht niet tot ze klaar zijn.

De main thread loopt dus gewoon door, doet logfile.close() voordat er uberhaupt een regel naar geschreven is (tenzij je *heel* veel mazzel hebt bij de OS scheduler) en laat alle nog actieve workers achter in zombie-land na de (impliciete) return. Dat werkt uiteraard niet goed.

[ Voor 34% gewijzigd door DroogKloot op 08-02-2017 14:35 ]