PHP - Povlačenje podataka s druge web stranice

poruka: 6
|
čitano: 1.653
|
moderatori: Lazarus Long, XXX-Man, vincimus
1
+/- sve poruke
ravni prikaz
starije poruke gore
7 godina
neaktivan
offline
PHP - Povlačenje podataka s druge web stranice

Zanima me način na koji radi neka stranica kao npr. https://www.nabava.net/

 

Kako oni povlače podatke u realnom vremenu s drugih stranica, tj. kako povlače cijene s trgovina... Prvo što mi je palo na pamet je da imaju pristup njihovim bazama podataka, ali takvo što mi se čini kao veliki problem pogotovo s sigurnosne strane... Možda RSS?

 

I jeli to uopće moguće s PHP-om?

Moj PC  
0 0 hvala 0
15 godina
offline
Re: PHP - Povlačenje podataka s druge web stranice
Grisha kaže...

Zanima me način na koji radi neka stranica kao npr. https://www.nabava.net/

 

Kako oni povlače podatke u realnom vremenu s drugih stranica, tj. kako povlače cijene s trgovina... Prvo što mi je palo na pamet je da imaju pristup njihovim bazama podataka, ali takvo što mi se čini kao veliki problem pogotovo s sigurnosne strane... Možda RSS?

 

I jeli to uopće moguće s PHP-om?

Pozdrav,

 

s obzirom da sam surđivao sa nabava.net portalom mogu reći da oni "ubacuju" svoju custom made skriptu koja izlistava podatke kao JSON i plain text te putem direktne komunikacije server 2 server povlače podatke.

Skrpitu ubacuju web admini na točno predefinirano mjesto sa svim potrebnim permissionima koje vam pošalju (u slučajevima gdje sam unosio sve potrebno nam je davao vlasnik firme direktno te smo sa njime vršili određene modifikacije u kodu kako bi što brže povuklo podatke s web shopa bez da se predugo čeka loading u njihov custom made sustav)

My website: https://idzan.com.hr
7 godina
neaktivan
offline
Re: PHP - Povlačenje podataka s druge web stranice
hmm, i to je jedini način ?
Moj PC  
0 0 hvala 0
15 godina
offline
PHP - Povlačenje podataka s druge web stranice

Nemozes krasti legalno podatke s drugih stranica, a pogotovo ne baze podataka pune artikala.
Uvijek je tu neki oblik suradnje, izvoz podataka neke tvtke u format koji je potreban nabava.net.

Mi smo slali nekakvog Marka (znao je sam sebe nazivati midzan i neki broj iza, slicno ovome iznad), koji je bio nevjest u programiranju (znao bi nam donosit skripte pokupljene s neta kao svoj uradak) a pogotovo nesnosan u grafickim avanturama (jos danas stoji njegov uradak kod ulaza kako bi plasio novopridoslice) - da nosi xml dokument svaki tjedan u nabava.net.

Drugi su to slali na odredene lokacije digitalnim putem, no ovaj nas se prvi puta zabunio kada mu je receno da odnese to +tamo+ pa je tako ostalo kao "neka se mali vozi tramvajem malo".

○Lijepog li djeteta! Koliko je star?○ -Trideset i pet godina!
 
2 0 hvala 0
15 godina
offline
PHP - Povlačenje podataka s druge web stranice

Kako su i ostali rekli, obično se radi o obliku suradnje između portala. Golu bazu nitko ne exposea prema van, kao što si i sam rekao, to je veliki sigurnosni rizik.

Ali se dogovori suradnja da dućani pripreme export kataloga u nekom formatu (npr XML, CSV, JSON), kojeg onda neki portal povlači, obrađuje i sprema kod sebe.

Neki čak ne rade nikakav export, ali onda daju dopuštenje za scrapeanje sadržaja direktno s njihovih stranica. Bez dopuštenja to ne smiješ raditi.

 

Recimo ako želiš obrađivati sadržaj neke web stranice možeš se poigrati sa nečim ovakvim - https://github.com/wasinger/htmlpagedom

http://manutd-croatia.com/forum/index.php ... forum i udruga navijača Manchester Uniteda...
Poruka je uređivana zadnji put ned 13.8.2017 22:29 (Luuka).
Moj PC  
2 0 hvala 0
15 godina
offline
Re: PHP - Povlačenje podataka s druge web stranice
kunof00 kaže...

Nemozes krasti legalno podatke s drugih stranica, a pogotovo ne baze podataka pune artikala.
Uvijek je tu neki oblik suradnje, izvoz podataka neke tvtke u format koji je potreban nabava.net.

Mi smo slali nekakvog Marka (znao je sam sebe nazivati midzan i neki broj iza, slicno ovome iznad), koji je bio nevjest u programiranju (znao bi nam donosit skripte pokupljene s neta kao svoj uradak) a pogotovo nesnosan u grafickim avanturama (jos danas stoji njegov uradak kod ulaza kako bi plasio novopridoslice) - da nosi xml dokument svaki tjedan u nabava.net.

Drugi su to slali na odredene lokacije digitalnim putem, no ovaj nas se prvi puta zabunio kada mu je receno da odnese to +tamo+ pa je tako ostalo kao "neka se mali vozi tramvajem malo".

 Bold - Najbolji opis korisnika ikad, hvala ti na tome 

 

Ukratko, ništa ne može bez suradnje jer u protivnom bi prilikom svakog updatea bez znanja korisnika bilo usporavanja servera kao i nepotrebno doatno crpljenje resursa.

nabava.net recimo ima custom skripte za 80% "gotovih" eCommerce platformi pa putem najčešće JSON povlače podatke iz datoteke koja je postavljena na serveru (u slušaju baš nabava.net to se vrši 4 puta dnevno u intervalima od 6 sati, sve su defaultno zadana vremena i sve piše u uvjetima suradnje). Za više informacija, kao i za direktnu vezu prema vlasniku nabava.net portala možete mi se javiti preko privatnih poruka jer ima dosta tehnikalija koje se inače ne iznose u javnosti.

 

Još malo  na komentar gore:

* s vremenom postajem vještiji u developementu, malo sam "zahrđao" jer se služim gotovim rješenjima u posljednje vrijeme, al ako služe svrsi, onda služe

* grafički nikad nisam bio jači, ali opet s vremenom se nauči čovjek o grafici, fotografiji i video obradi

* zbog posla nisam više toliko aktivan za privatne stvari, heck čak i za osobni web imamo malo customized defaultnu 2017-tu WP temu (nikako uloviti malo vremena za rewrite stranice sa paid temom, al valjda i to bude uskoro)

My website: https://idzan.com.hr
1
Nova poruka
E-mail:
Lozinka:
 
vrh stranice