Bug forum statistika - napokon!

Moderator? 

Hahaha, bas sam cekao da netko napravi ovakav crawl.

Barem sam u spamanju prvi!

Svaka čast na trudu 

Nije znaimljivo rješti stvar sa 5-6 upita to može svatko 

Friday 

Bila bi fora vidjeti tko je dobio najviše žutih/crvenih :)

Pffff... tko želi nađe način, tko ne želi nađe ispriku!!

Daj pliz za M4X a pronađi najbolje i najgore postove.

Vidim ga na više mjesta u prvoj poruci, a nisam ga viđao van BF tema.

8-godišnje shitpostanje je urodilo plodom, u top 15 po TU sam.

Svaka čast na analizi btw, može malo više detalja s programerskog aspekta, što si koristio za crawlanje po stranicama i izvlačenje podataka i te stvari

Bastardo mi je kum, nemam pojma tko je Batista

e da kopilanko mu je kum.. 

Nema ga, gdje je ?

Winforms aplikacija, za parsiranje koristen HtmlAgilityPack.

Podforumi skinuti u jednom prolazu (jer je samo jedna stranica).

Linkovi na teme skidane tako da se islo kroz sve podforume, i onda napravljen queue integera koji je drzao elemenata onoliko koliko podforum ima stranica. Kreirano 16 BackgroundWorker-a (u for petlji) koji su u DoWork event handleru uzimali iduci broj iz queue-a i poskidali onda linkove tema sa te stranice podforuma. Kad bi queue bio prazan islo se na iduci podforum.

Postovi su skidani slicno temama s time da se svaka tema skidala u jednom threadu.

U bazi imam 4 tablice - log, forumi, teme, postovi. Tablica tema ima 2 kolone koje su supportale logiku - Zapocet i Gotov (bit polja). Za crawlanje postova backgroundworker-i su pozivali stored proceduru koja je unutar transakcije uzimala iducu nezapocetu temu, oznacavala ju kao zapocetu i vracala Id teme. Taj Id je onda backround worker iskoristio da dohvati link teme i onda je isao stranicu po stranicu dok ne dodje do kraja. Tada bi pozvao drugu SP koja bi temu oznacila gotovom. Kad je gotov opet je pozivao SP - ako ima rezultata nastavio bi raditi a ako nema gasio bi se.

Postovi su se u bazu snimali koristeci ADO.NET - obican insert query.

Parsiranje HTML-a je jako olaksano sa spomenutim frameworkom ali svejedno trebas znati sta trazis i to je bila nocna mora - kako prepoznati gdje pocinje post/tema i elemente unutar toga koji ti trebaju. Webom se nisam nikada bavio pa ono... Ljudi koji se kuze u html bi to vjerojatno napravili nabrzaka ali jebi ga .

Digao sam bazu u azure na testni SQL pa ako netko hoce pristup da kopa po tome nek mi se javi na PP da mu dam read only pristup.

 O, duhoviti smo :D

Hvala na trudu :)

Šteta kak su mi najbolji postovi sranje iz humora i slika, niš pametno.

A vremena.. ah, kad je to jedino vrijeme kad sam slobodan, zato više ni ne igram, niti se bavim nečim korisnim/zabavnim :(

Evo malo jos za razbibrigu podataka.

Imamo ukupno 29 nocnih ptica. To su forumasi sa vise od 500 postova od kojih je 50 ili vise posto napisano u nocne sate (23:00-6:00)

Autor                          Dnevni      Nocni       Svi         postotak
------------------------------ ----------- ----------- ----------- ----------
Syke                           285         759         1044        72.70
Magnolia_fan                   216         395         611         64.65
reservoir dog                  243         393         636         61.79
Asterix                        679         1071        1750        61.20
AMD Phenom II X4               265         415         680         61.03
frulex                         333         514         847         60.68
brixy                          493         729         1222        59.66
konjRR                         308         445         753         59.10
roby27                         2670        3659        6329        57.81
scorpion667                    1093        1378        2471        55.77
Mike Litoris                   295         361         656         55.03
Doc Holiday                    462         565         1027        55.01
D3lBoy                         1523        1804        3327        54.22
Nem0                           292         333         625         53.28
l)oolvl                        680         747         1427        52.35
PROTECTOR                      504         551         1055        52.23
zviznemte                      585         638         1223        52.17
Ashelor                        477         508         985         51.57
Wack                           384         407         791         51.45
anarchyST                      257         270         527         51.23
GoodAngel                      465         484         949         51.00
Moljac                         394         410         804         51.00
TranceMight                    727         752         1479        50.85
Sheldon Cooper Ph.D            289         298         587         50.77
g3arv8                         812         830         1642        50.55
Van_Blaster                    442         451         893         50.50
Bilal                          649         660         1309        50.42
Luciano                        471         477         948         50.32
Ormuz                          281         283         564         50.18

Ima 1242 forumasa kojima je vecina postova (vise od 50%) napisana unutar radnog vremena (8-17). Ovo su sampioni sa vise od 2/3 postova napisanih u to vrijeme

Zanimljivo, forumas koji je prvi na listi nema ni jedan jedini post napisan nakon 1 popodne

Autor                          RadnoVrijeme Svi         postotak
------------------------------ ------------ ----------- ----------
Frk                            463          535         86.54
I.Kk                           3636         4593        79.16
mario.L_hr                     13693        17686       77.42
tonihrvat                      990          1348        73.44
zvonebaba                      692          954         72.54
ivan123                        4718         6516        72.41
pixelatem                      697          973         71.63
ch33ta                         391          546         71.61
PoToKTM                        700          980         71.43
krle                           1842         2580        71.40
amd freak                      707          994         71.13
Iwana                          462          652         70.86
tpg                            1507         2140        70.42
Aliser                         3149         4507        69.87
ford eleanor                   1999         2873        69.58
Horned Reaer                   693          997         69.51
Dud                            539          782         68.93
cassini                        426          620         68.71
dragec0                        2306         3365        68.53
Sused                          1455         2126        68.44
Bazen21                        442          648         68.21
whisper2311                    1583         2321        68.20
ddarknessfairyy                2755         4045        68.11
h51ph                          350          516         67.83
Aki                            1041         1542        67.51
XXX-Man                        16316        24170       67.51
Intelovac123                   2344         3485        67.26
marko009                       516          768         67.19
SaidSikiraX                    481          717         67.09
Zuja                           341          509         66.99
1samek                         414          618         66.99
Shivi                          678          1013        66.93
PlayMaker10                    1134         1699        66.75
ROADRUNNER                     634          951         66.67

Top lista forumasa koji su imali luuude novogodisnje provode pa su vrijeme kratili na bug forumu (datum 1.1 bilo koje godine, vrijeme od ponoci do 6 ujutro)...

Autor                          Postova
------------------------------ -------
SUPER :)                       55
rambox                         47
nicky.sl                       36
Mitch                          36
Hyperion                       34
Stjepanj                       34
microman                       32
robisierra92                   29
191x7                          27
EnlightenedPhoenix             25

Jedna vrlo pohvalna lista - forumasi sa najvise objavljenih tema u podforumu "Vijesti by forumasi". Kapa dolje decki...

Autor                          UkupnoTema
------------------------------ ----------
Mitch                          176
hrvooje                        167
fighterZu                      87
g12356                         70
rambox                         65
soundstream                    64
Almin94                        56
redrum781                      49
sudy_freak                     43
Don Kihoty                     42
djigibao                       39
Laxarus                        36
Fermi                          35
Jesper                         35
overhaul                       35
woodgamesfx                    34
drexcya                        34
Father_Dougal                  34
royalhero                      29
imnewhere                      29

I za kraj, apsolutna poslastica. Top lista kontinuiranog dnevnog postanja. Samo trojica velicanstvenih su uspjela probiti brojku od 300 dana. Nazalost, ni jedan nije uspio zaokruziti godinu. Rambox "fuckaj ga" je bio najblize (i drzi nekolicinu pozicija na ovoj prestiznoj ljestvici). Forma je dobra, rezultati obecavaju. Ako bude srece i zdravlja - olimpijske igre 2020 u Tokiju su nase!

Dana  Autor                          Pocetak    kraj
----- ------------------------------ ---------- ----------
341   rambox                         2012-03-06 2013-02-09
339   Haf932                         2012-02-12 2013-01-15
334   191x7                          2013-07-14 2014-06-12
285   hrvatskafarkasevec             2010-08-23 2011-06-03
254   Ajar                           2015-11-13 2016-07-23
253   Ajar                           2015-03-04 2015-11-11
233  Šef                            2010-01-08 2010-08-28
215   ibme74                         2016-08-27 2017-03-29
204   Stjepanj                       2015-02-19 2015-09-10
201   rambox                         2010-02-05 2010-08-24
197   Friday                         2015-01-02 2015-07-17
192   F1-IVO                         2009-03-11 2009-09-18
188   rambox                         2013-03-24 2013-09-27
187  Šef                            2011-01-05 2011-07-10
182   SimeKZ                         2014-01-18 2014-07-18
176   hrvatskafarkasevec             2010-02-02 2010-07-27
176   logic                          2009-11-21 2010-05-15
175   mar123                         2013-01-29 2013-07-22
175   XXX-Man                        2011-01-01 2011-06-24
173   BORG                           2009-04-08 2009-09-27
168   Torent                         2016-11-20 2017-05-06
166   ibme74                         2017-04-30 2017-10-12
165   Haf932                         2013-01-17 2013-06-30
164   mario.L_hr                     2012-10-30 2013-04-11
162   patch123                       2010-02-01 2010-07-12
160   xDinichx                       2010-08-19 2011-01-25
159   Stjepanj                       2014-05-30 2014-11-04
158   CyberDemonVZ                   2015-02-09 2015-07-16
156   royalhero                      2012-05-14 2012-10-16
153   Stoja                          2010-07-30 2010-12-29
151   XXX-Man                        2011-06-26 2011-11-23
150   movie                          2016-09-01 2017-01-28
150   chaselol                       2016-06-27 2016-11-23
149   Krešo91                        2010-09-02 2011-01-28
149   Weky                           2010-05-08 2010-10-03
147   Oly_E3                         2009-04-27 2009-09-20
145   XXX-Man                        2013-07-10 2013-12-01
144   donator_bubrega                2012-04-14 2012-09-04
142   hrvatskafarkasevec             2009-09-12 2010-01-31
142   jurluk                         2009-09-01 2010-01-20
142   Ajar                           2016-07-25 2016-12-13
141   8ax                            2011-02-11 2011-07-01
140   Stjepanj                       2015-11-22 2016-04-09
140   rambox                         2009-05-06 2009-09-22
139   Boixus Nois PS                 2014-05-21 2014-10-06
139   djigibao                       2011-02-07 2011-06-25
138   deadman                        2010-06-04 2010-10-19
137   Paolo2612                      2009-01-26 2009-06-11
134   thuglife                       2011-12-09 2012-04-20
133   SimeKZ                         2014-11-01 2015-03-13
132   stoncin3                       2010-08-03 2010-12-12
132   Paolo2612                      2009-08-21 2009-12-30
131   XXX-Man                        2012-10-21 2013-02-28
131   fer-de-lance                   2016-09-26 2017-02-03
131   CyberDemonVZ                   2014-01-27 2014-06-06
131   Praetorian1                    2011-08-14 2011-12-22
130   Bellatrix                      2009-02-15 2009-06-24
130   Stoja                          2010-03-16 2010-07-23
129   Stjepanj                       2014-01-15 2014-05-23
129   chaselol                       2014-12-14 2015-04-21
125   djigibao                       2011-08-29 2011-12-31
124  Šef                            2011-08-09 2011-12-10
124   Deawood                        2014-06-11 2014-10-12
122   ATiGamer                       2010-09-23 2011-01-22
122  Šef                            2010-09-03 2011-01-02
122   pirat                          2011-06-06 2011-10-05
122   The_Fichek                     2016-05-07 2016-09-05
122   DamageHigh                     2010-02-11 2010-06-12
121   FlyBoy                         2011-07-25 2011-11-22
121   rambox                         2011-02-03 2011-06-03
121   FiCoO                          2011-03-21 2011-07-19
120   seneka                         2009-04-17 2009-08-14
120   The_Fichek                     2014-10-07 2015-02-03
120   Zeppelin                       2010-11-12 2011-03-11
119   Paolo2612                      2010-01-02 2010-04-30
119   Daniman123                     2010-07-19 2010-11-14
118   Ivan M.                        2009-11-30 2010-03-27
118   Mitsuoka                       2012-01-02 2012-04-28
117   naxeem                         2009-09-11 2010-01-05
115   rambox                         2010-10-10 2011-02-01
115   ibme74                         2017-10-25 2018-02-16
115   thuglife                       2012-04-22 2012-08-14
115   4mal                           2015-11-01 2016-02-23
114   Valentin17                     2013-08-21 2013-12-12
114   mar123                         2012-09-29 2013-01-20
114   mind_challenge                 2010-10-02 2011-01-23
114   Friday                         2013-01-02 2013-04-25
114   rooswelt1991                   2011-04-22 2011-08-13
112   Hyperion                       2010-11-30 2011-03-21
112   antimadridista                 2012-01-07 2012-04-27
111   4mal                           2013-07-21 2013-11-08
111   mario1990                      2010-12-20 2011-04-09
111   Mitsuoka                       2011-09-03 2011-12-22
110   logic                          2010-06-24 2010-10-11
110   movie                          2015-08-31 2015-12-18
110   antimadridista                 2012-09-02 2012-12-20
109   Tommy_123                      2012-08-20 2012-12-06
109   nicky.sl                       2015-05-17 2015-09-02
109   torrente                       2010-09-10 2010-12-27
108   Torent                         2016-01-18 2016-05-04
108   kivic15                        2013-12-16 2014-04-02
107   Flying Dutchman                2010-07-17 2010-10-31
107   mar123                         2011-08-27 2011-12-11
106   CroVandal                      2011-01-02 2011-04-17
104   Valentin17                     2014-05-15 2014-08-26
103   191x7                          2014-11-10 2015-02-20
103   seneka                         2010-07-24 2010-11-03
103   picajzla0707                   2016-11-28 2017-03-10
103   Ivan M.                        2009-03-05 2009-06-15
103   fila2208                       2014-02-02 2014-05-15
103   simeparanoja                   2013-01-02 2013-04-14
102   Danny_HR                       2010-08-17 2010-11-26
101   lzgr                           2010-09-28 2011-01-06
101   Mitch                          2016-09-07 2016-12-16
100   F1-IVO                         2011-01-09 2011-04-18
100   Sum_of_all_fears               2016-04-27 2016-08-04
100   sirka666                       2011-06-27 2011-10-04
100   Marko :D                       2014-04-29 2014-08-06
100   DamageHigh                     2011-04-24 2011-08-01
100   TopForumaš                     2010-01-16 2010-04-25

Nemoj da sad idem ovo pobijati

Na 85. mjestu si po TU (13022 ukupno), 78 mjestu po HVALA (1274 ukupno) i na 141 mjestu po TD (1608 ukupno)

I meni i tebi su dostupne iste stvari