Trebam pomoc,Python-Zavrsni rad

Zadatak: Osmisliti i realizirati sustav (računalni program) koji će automatski u realnom vremenu prikupljati, obrađivati i prikazivati rasporede i rezultate različitih sportova i liga (najmanje tri). Pri tome je informacije potrebno prikupiti s odgovarajućih internet portala/servisa i prikazati ih u odgovarajućem korisničkom sučelju. Proanalizirati mogućnosti i rezultate takvog sustava (programa). Posebno se osvrnuti na prednosti i nedostatke, kao i moguća poboljšanja.

Zanima me kako je najlakse doci do informacija sa odgovarajucih stranica koje pruzaju rezultate, jer sam prvo planirao koristiti API-je kao npr. ESP ali on je ukinut a vecina drugih se plaća. Drugo pitanje je, koji je program najbolje koristiti za ovaj zadatak , ja sam mislio ici sa Python-om?

 Mislia sam pitat koji programski jezik, pisao sam na brzinu pa mala greska.  Hvala za odgovor na prvo pitanje.

1. Web scraping ti je jedina opcija ako stranice nemaju API .
2. Python 3 je odličan izbor za ovo - za dohvat stranice koristi paket requests, a za analizu sadržaja beautifulsoup4.

1) Tu istrazi i odaberi sta ti se cini najbolje za tebe. Danas postoji hrpetina alata, tehnologija, jezika za svaki problem koji imas ili budes imao. Vazno je da rijesis problem i nesto naucis, a s vremenom ces sam vidjeti i odabrati stvari koje su tebi najbolje.

2) Moj savjet je da si rentas neki VPS na primjer na Digital Oceanu. Za 5 dolara dobijes cisto ok resusrse za development i isprobavanje stvari, a ujedno mozes hostati tamo sve stvari koje budes trebao. + Budes naucio konfigurirati server

3) Nemoj ocajavati i ne spavati jer do toga nemas nista. Najbolje je da prvo popis sve stvari koje zelis i trebas napraviti, zatim napravis dijagrame kako ti to zamisljas da se ostvaraju (ne trebaju to biti savrseni dijagrami nego samo da tebi bude lakse). Razbi sve sto imas na sto manje dijelove i pocni ih rijesavati komadic po komadic. S vremenom ces od tih komadica napraviti nesto vece i funkcionalnije. I ne boj se gresaka. Sigurno ce biti i sigurno ces stvari mijenjati i poboljsavati ih, i to je sasvim normalno. 

Evo ja bi za pocetak prvo napravio funkcionalnost koja dohvaca sadrzaj s weba, i prije toga nebi se brinuo o drugim stvarima. Zatim kako te podatke koje si dohvatio da is parsiras u neki korisni oblik. Zatim kako da podatke spremis u bazu, nakon toga kako to napraviti da bude u intervalima automatski...

I malo po malo imat ces sve rijeseno. Vazno je da radis korak po korak. 

Sretno

Posto si se nakon istrazivanja odlucio za DigitalOcean, ocito si odustao od Microsoft tehnologija, te se odlucio za Linux server, i samim time tehnologije vise orijentirane prema njemu. 

Za pocetak trebao bi se nauciti sluziti FTP i SSH client aplikacijama, da se uopce mozes posjiti na server, te tamo poceti slagati sve potrebno za hostanje aplikacije.

Isto tako trebas se odluciti s kojim jezikom planiras poceti. Zatim istrazis kako sloziti sve na serveru da mozes hostati aplikaciju na njemu. Od jezika imas PHP, Python, NodeJS... Od serverske tehnologije Apache, Nginx... 

Uglavnom korak po korak, iako budi spreman na jako puno koraka... I googlaj, istrazuj, nema stvari za koju danas ne postoji tonu tutoriala, ili rijesenja po forumima...

1) Tu istrazi i odaberi sta ti se cini najbolje za tebe. Danas postoji hrpetina alata, tehnologija, jezika za svaki problem koji imas ili budes imao. Vazno je da rijesis problem i nesto naucis, a s vremenom ces sam vidjeti i odabrati stvari koje su tebi najbolje.

A sto znas od MS-ovih tehnologija?

Onda ti je prakticki svejedno na sto se odlucis. Osobno nikad ne radim sa zatvorenim tehnologijama (zapravo, sve MS-ovo), ali ti kako god hoces. Za ovaj tvoj konkretan slucaj, prikupljanje podataka, spremanje u bazu i prikaz toga na nekoj stranici ja bih odradio s Pythonom + MariaDB (bivsi MySQL) ili MySQL (sada u vlasnistvu Oraclea) + CherryPy ili neki vec server za Python. Medutim, posto kazes da "koristene tehnologije budu konkurentne na trzistu rada", definitivno bih ti savjetovao PHP (sto ne znaci da Python nije konkurentan, ali puno ga se manje koristi). Koliko god da je odvratan i ruzan jos uvijek se najvise koristi. NodeJS takoder. Naravno, govorimo o backendu.

Na tebi ostaje konacna odluka. LAMP (Linux, Apache, MySQL, Perl/PHP/Python) se definitivno vise koristi od bilo kakvih MS-ovih tehnologija, ali opet, na tebi je. Mislim da je ovih par mjeseci koje spominjes sasvim dovoljno vremena za ovakav projektic, pa cak i uz ucenje novih tehnologija.

Jos samo par komentara na ono sto si napisao. MVC je skracenica od model-view-controller i to je samo jos jedan oblikovni obrazac u programiranju. Da li ga trebas znati? Definitivno, kao i ostale oblikovne obrasce (poput Promatraca, Strategije, Adaptera i dr.). Sve ovo, naravno, ako koristis OO jezike. Oblikovni su obrasci prilicno zgodna stvarcica. Za pocetak, mislim da se ne trebas previse zamarati time.

Regexi su losa ideja za prikupljanje podataka s HTML stranice, jako losa. HTML je slican XML-u, tako da za parsiranje HTML dokumenta uvijek koristi neki HTML parser. Postoji hrpa parsera za gotovo svaki jezik, a iz iskustva ti mogu reci samo za Python (lxml modul, npr.) i PHP (hrpa njih).

Nadam se da su ti stvari sad bar mrvicu jasnije.

Django je OK, osobno imam iskustva s njime pa ti mogu pomoći ako zapne.

Defaultna baza za nove Django projekte je SQLite pa nema razloga da to mijenjaš, pogotovo ako ne radiš produkcijski site nego završni rad. U slučaju da SQLite nije dovoljan uvijek možeš prilično jednostavno prijeći na "pravu bazu" - velikom većinom taj odabir je PostgreSQL.

Da se ponovno ukljucin u temu. Uspio sam na kraju naci neki API za prikupljanje rezultata no sada me zanima da li je moguce u pythonu napraviti da se neka naredba "refresha" svako minut jer sam napravio naredbu za svaku od ligi da prikazuje rezultate i sada mi treba da ocita kada dode do promjene rezultata. Jedna od ideja mi je bila da napravin beskonacnu petlju za svaku naredbu tako da se stalno ponavlja i prikuplja najnovije rezultate ali mislim da to nije najpametnija ideja. Pa ako moze neki savijet. Također jos istrazujem kako napraviti scrollbar, pa ako mozete i sa time pomoc.

Takve stvari se rješavaju skriptom u koja odradi posao, a tu skriptu OS pokreće periodički. To može biti cron na Unixu, Task Scheduler na Windowsima, Cron Service na Googleovom App Engineu itd.

Nisam nikad koristio TkInterov Canvas, ali evo ukradenog koda sa sličnog problema na Stack Overflowu kojeg sam malo doradio:

import random
from tkinter import *


def draw_rectangle():
    x1 = random.randint(0, 500)
    y1 = random.randint(0, 500)
    x2 = random.randint(0, 500)
    y2 = random.randint(0, 500)
    color = random.choice(["red", "green", "blue"])
    canvas.create_rectangle(x1, y1, x2, y2, fill=color)

   
def clear_canvas():
    canvas.delete(ALL)


root=Tk()
frame=Frame(root)
frame.grid(row=0,column=0)
canvas=Canvas(frame,bg='#FFFFFF',width=300,height=300,scrollregion=(0,0,500,500))
hbar=Scrollbar(frame,orient=HORIZONTAL)
hbar.pack(side=BOTTOM,fill=X)
hbar.config(command=canvas.xview)
vbar=Scrollbar(frame,orient=VERTICAL)
vbar.pack(side=RIGHT,fill=Y)
vbar.config(command=canvas.yview)
canvas.config(width=300,height=300)
canvas.config(xscrollcommand=hbar.set, yscrollcommand=vbar.set)
canvas.pack(side=LEFT,expand=True,fill=BOTH)
btn_draw=Button(root,text='Draw rectangle',command=draw_rectangle)
btn_draw.grid(row=1,column=0)
btn_clear=Button(root,text='Clear',command=clear_canvas)
btn_clear.grid(row=2,column=0)

root.mainloop()

Ako ti ovo ne pomogne postaj konkretan kod koji ti ne radi.