Pola ima, pola nema

Možda u Hrvatskoj 70% kućanstava ima pristup internetu prema online anketi :-P

HAKOM skuplja podatke dobivene od providera i po njima je u lipnju 2011 bilo 837.380 fiksnih širokopojasnih priključaka. Tu su ubrojani i priključci kućanstava i priključci pravnih subjekata (firme, škole, institucije itd). Ne mogu precizno reći koliko je tih "pravnih" priključaka, ali procrijenimo da ih je 30.000. Ostaje 807.380 "kućnih" priključaka, a u travnju 2011. godine (kada je proveden popis) bilo je 1.519.038 kućanstava. To bi dalo postotak od 53% kućanstava sa Internet priključkom. Dakle, slično kao i prema popisu stanovništva (2% bolje).

Najnoviji podatak, iz lipnja 2013. kaže da ima 909.444 priključka. Oduzmimo ponovo nekih 30.000 "pravnih", ostaje 879.444 priključka. Ako se broj kućanstava u Hrvatskoj nije u ove dvije i pol godine puno povećao ili smanjio, danas  oko 58% kućanstava ima Internet konekciju.

Meni je nevjerojatno da su oni toliko dugo te podatke obrađivali. Pa to je možda 100 MB podataka, ne?

Ima baza vjerojatno 10-tak GB, ali neovisno o tome izvještaj se može izvući za 10-tak minuta (koliko ti treba da napišeš query).

Ček, jel ti stvarno misliš da se to skenira za par dana i baza izgrađena?

Jao Tonči... ;)

Ne ide to tako.

Prije svega, nakon završenog popisa ide postpopisna anketa (kontrolni popis, post enumeration survey - PPA, PES) koja se bazira na uzorku od oko 1% popisnih krugova i koja služi za kontrolu kvaliteta obuhvata i kvaliteta sadržaja, odnosno utvrđuju se greške u popisu. Bez nje ti popis ne vrijedi ništa.

Znači, tu opet imaš obuku učesnika, terenski rad i novu gomilu obrazaca za transport i obradu.

Koliko je država imala skenera, to ne znam, ali to nisu obični skeneri koje možeš nabaviti u prodavnici ;) Samo skeniranje ti je moglo potrajati par mjeseci (gledam Malawi cenzus, 6 skenera i potrebno osoblje): skeniranje 3,5 miliona obrazaca je urađeno u 10 sedmica/tjedana, a korekcije na 80% materijala još dodatnih 18 sedmica.

Dalje, tu opet imaš pripremu obrazaca iz PPA, pa njihovo upoređivanje sa odgovarajućim iz popisa, pa tek onda možeš ići dalje obrađivati bazu i vaditi rezultate.

Napominjem: nije to stvar Hr, već općenito takvih projekata u svijetu.

Budući da si ti na prošloj temi zagovarao popisivanje (terenski rad) sa tabletima/ručnim računalima, da ne bi opet počeo o tome ovdje (da opravdaš tezu da se to može ubrzati), evo ti jedan link jer se u SAD-u 2010. jedan dio popisivanja tako proveo. Naučene lekcije, poteškoće i zaključak možeš vidjeti:

http://unstats.un.org/unsd/censuskb20/Attachments/USA.e-GUID29123d594b714967b8cd6295bc538204.pdf

Nije da nema budućnost, ali to je veliki projekt koje će puno većim državama biti izazov.

E sad, na tebi je dal ćeš imati razumjevanja za takve projekte općenito (tako da uzmeš u obzir gore navedeno ili sam još istražiš materiju) ili ćeš i dalje govoriti o svojim nekim projektima koji su potpuno nevezani za tematiku i govoriti kako je kvaliteta rasprava na forumima loša.

Da, korak naprijed, ali velike poteškoće su im stvorile neke najjednostavnije stvari kad se koristi papir. U biti, ta iskustva će neko drugi ili oni sami primjeniti na neki drugi popis, pa opet stečeno znanje iskoristiti dok se možda ne osmisli sistem koji će omogućiti potpuno popisivanje sa ručnim računalima, odnosno bez papira.

Nije da rezultati nisu tačni, popis je slika države u određenom trenutku (kritičnom momentu). Normalno da ta slika nije ispravna nakon tri godine ali to ne treba tako posmatrati već kao podlogu na koju se vežu daljnja statistička izvještavanja.

Kroz mjesečne izvještaje možeš pratiti npr demografsko kretanje pa uzmeš statistički bilten za taj mjesec i nađeš, a to nije ništa drugo nego dopuna baze na osnovu tih kasnijih izvještaja (npr broj stanovnika).

Mislim da nisi razumio moj komentar. Inače, kako i iz PDF-a vidim, digitalizacija im je svakako bila prednost, a problemi isključivo logistički po pitanju obuke i baratanja velikim volumenom. Hrvatska ima 0,057 milijuna km², SAD 10 milijuna km² i 320 milijuna ljudi naspram naših 4,2.

Ja govorim o obradi podataka. Kako sam radio i to, znam da digitalizacija (skeniranje, OCR i sl. obrada) traju T_priprema + T_skeniranje + T_obrada vremena. Kasnija obrada u smislu izvlačenja raznih statistika (uz paralenu pripremu potrebnog) ne traje dulje od... trenutno.

Na stranu popisivanje bez papira, taj link sam dao jer si se zalagao za taj način popisivanja pa sam ti samo htio pokazati da se radi na tome i dokle je došlo (a rade veći igrači od ovh balkanskih isprdak država).

Problem površine i broja stanovnika se riješi proporcionalnim povećavanjem ljudstva u projektu, a organizacija i koordinacija se napravi po regijama/općinama. Tako turska velikim ljudstvom popiše 80 mil. stanovnika za dan, to sam već rekao prije. Znači 4 dana za SAD (dan gore-dole zbog terena i naseljenosti ;))

Sad da se vratim na obradu. Upravo taj period (T+T+T) treba jako puno vremena da bi se jednostavno sredio taj nered i da bi imao bazu da izvlačiš ovo ili ono. Ne ide sve na optičko čitanje, a i ono što ide zbog rukopisa zna dosta otežati rad pa onda operateri gube puno vremena na ispravljanje (vidiš gore podatak o samom skeniranju i podatak o ispravljanju skeniranog).

Treba to sve uporediti sa PPA i utvrditi greške.

Nije to samo kod vas u Hr, tako je kod nas u BiH odnosno svugdje gdje se primjenjuju te metode i sredstva prikupljanja i obrade. Nikakva nesposobnost ni mazanje očiju (možda malo ;)).

Btw, ovakvi skeneri se koriste (bar u nekim zemljama):

http://www.omrsolutions.com/omr_readers_scanners/drs/

Dal ih ima u prodavnicama i koliko koštaju, ne znam, evo tražim u online trgovinama u sekciji ''računalna periferija'' ;)

Kako god da se radi i kakvi god da su skeneri u pitanju obrada ne može trajati dvije yebene godine! U te dvije godine par ljudi bi to već prekucalo gledajući u papire...

Ako se tko još sjeća, problem nije u višku birokracije koja se bavila popisom, već u manjku ljudstva i drugih sredstava, a sve zato što se tadašnja premijerka ljutnula na šefa Zavoda za statistiku što njoj osobno nije prvo priopćio rezultate, već ih objavio javnosti (http://globus.jutarnji.hr/hrvatska/zasto-zapravo-kasni-popis-stanovnistva--). 

Količina ega vrlo je često inverzno proporcionalna nečijoj općoj inteligenciji (sposobnosti shvaćanja problema) pa je tako nešto što bi bio logistički i birokratski problem postao inat uvrijeđene (prazne) taštine. 

Popis, dakle, ne kasni slučajno i zbog "obične" neorganiziranosti, već je od početka namjerno opstruiran rad onih koji su na njemu radili. 

Američki IBM je 1940ih godina prodao nacistima sustav za obradu podataka koji je radio na principu bušenih kartica. Radio je odlično i Hićo je imao sve moguće (obrađene) podatke koji su mu tada trebali. U 21om stoljeću 2 godine "obrađivat" podatke je u najmanju ruku smiješno.