Appleova kreditna kartica diskriminira korisnike p
- poruka: 56
- |
- čitano: 10.625
- |
- moderatori:
vincimus
Svakako nisam :)
Znaš na što mislim.
Mislim da bi bio offtopic da krenemo razgovarati specifično o tome što si naveo, a i rekao bih da si naveo to zbog čiste provokacije, a ne da bi doprinjeo raspravi.
Između ostalog, svaki sustav ima svoje manjkavosti i ni jedan nije idealan. Svaki ima neke rupe koji zlonamjerne osobe mogu eksploatirati. Samo su neki sustavi bolji od drugih po tome, a i po drugim pitanjima
Ma da, lako je relativizirati.
Npr ljudi su po prirodi sebični, pa je onda u redu da nemamo socijalno društvo. itd.
@sustavi
Pretpostavljam da spontanu anarhiju ne smatraš pod tim sustavima (ona nam se prirodno dešava).
(Ne brkati sa nenasilnim konceptom Trockog, Bakunjina)
Fake news. Ista kreditna kartica ne može imati različit rating za više korisnika.
Ajde pročitaj članak s malo više pažnje: ne radi se o više korisnika iste kartice, već i više kartica (potpuno odvojenih) koje su izdane na temelju istih podataka (zajednički račun, zajednička imovina.
S druge strane, sama razlika može proizaći iz drugih faktora, poput prethodne povijesti korištenja kartice, koji mogu utjecati na procjenu rizika. Također, ovisno o zakonima u slučaju razvoda, ne bi bilo neobično da unatoč zajedničkom računu, kartičarska kuća i dalje gleda pojedinačne prihode. To je ok sve dok se isti kriteriji primjenjuju konzistentno.
Lijepa hvala za potvrdu mojih riječi.
Potvrdu čega? Imaš opciju jedne kartice s više korisnika koja se izdaje na jednu osobu, a onda ta osoba traži izdavanje drugih povezanih kartica, s tim da sve kartice terete isti račun. Tu je limit zajednički.
Druga opcija je izdavanje potpuno odvojenih kartica, što je tu slučaj. Sporno je to što su izdane na temelju navodno istih podataka.
Sporno je to što su izdane na temelju navodno istih podataka.
Ne znam, ne mogu povjerovati u to. Preglupo zvuči, imam blokadu to prihvatiti.
Sad će još fundamentalisti ovdje uz Jabuku povezati i Adamovo rebro. Kao dokaz opravdanosti.
To je inherentni problem s AI, ona uči i stvara vlastite algoritme koji nisu poznati tvorcima. Tek kada se uoče neželjeni (ne može se reći pogrešni) rezultati može se reagirati i mijenjati parametrizacija.
Ako je određeno ponašanje (npr. impulzivna kupnja) označeno kao rizično, onda je moguće da od dvije osobe koje žive zajedno i sve dijele jedna bude ocijenjena rizičnijom.
Problem je što se danas svaka razlika prikazuje kao diskriminacija. Da, diskriminacija je povijesno bila ogromna, a i danas je prisutna i treba ju suzbijati, ali nije svako razlikovanje diskriminacija. Možda je negdje muž dobio niži, a žena viši limit, samo se nisu javili, jer to ne izgleda kao rodna dikriminacija.
Primjerice ista stvar je vjerojatno i s WC-om. Privatni lokali imaju uredno adekvatan broj muških i ženskih WC-a, dok u nekim gradovima postoji problem s javim WC-ovima. Ne mora nužno značiti da se radi o diskriminaciji, već se jednostavno radi o lošoj gradskoj upravi koja nema volje rješavati komunalni problem, a samo postojanje pisoara nije stvar toga što su muškarci privilegirani pa se njima napravilo pisoare, već su ti pisoari relikt nekog drugog vremena u kojem je bilo normalno da muškarci zapišavaju javnu površinu, pa se tim pisoarima rješavao tadašnji problem.
Da, istina je da su tim problemom žene više pogođene, ali to ne znači samo po sebi da je uzrok seksizam i diskriminacija.
Ako procitate originalni thread na Twitteru, vidjeti ce te da su oni trazili razlog od Apple-a za nizi score limit njegove zene, no oni ga nisu mogli dati, vec cu se opravavali algoritmom (sto je samo po sebi odvratno).
Cak i kada su zatrazili credit score njega i njegove zene, njegova zena je zapravo imala veci/bolji.
Nije u pitanju score nego limit, koji je ženi bio niži. To su dvije različite stvari.
Što je odvratno u tome da algoritam određuje limit?
Nije u pitanju score nego limit, koji je ženi bio niži. To su dvije različite stvari.
Što je odvratno u tome da algoritam određuje limit?
Mislim da me nisi shvatio. Sad vidim da sam dva puta upotrijebio rijec score, moje isprike. Probaj procitati originalni Twitter thread.
Zeni je odredjen manji limit. Ali, kada su zatrazili objasnjenje i nisu ga dobili, odlucili su provjeriti kreditni score (posto je to jedna od stavki koje algoritam uzima u obzir, sto je i logicno), i zena je zapravo imama bolji score.
Nije odvratno sto algoritam odredjuje limit, odvratno je sto se ljudi skrivaju iza odluke algoritma i opravdavaju seksizam/diskriminaciju tim istim algoritmom - Nemamo mi nista s tim, to je algoritam.
A algoritam je napravljen od strane white male inzinjera..
S druge strane, ti nemaš pojma tko je uopće napisao algoritam, ali iz vlastitih predrasuda si uvjeren da je autor bijeli muškarac. Toliko o diskriminaciji...
Mislim da me nisi shvatio. Sad vidim da sam dva puta upotrijebio rijec score, moje isprike. Probaj procitati originalni Twitter thread.
Zeni je odredjen manji limit. Ali, kada su zatrazili objasnjenje i nisu ga dobili, odlucili su provjeriti kreditni score (posto je to jedna od stavki koje algoritam uzima u obzir, sto je i logicno), i zena je zapravo imama bolji score.
Kao što i sam kažeš kreditni rejting je jedna od stvari koja utječe na limit. Znači postoje i druge i moguće je da su te druge bile razlog.
Recimo banke, odnosno kartičarske kuće, pod određenim uvjetima kompenziraju štetu koja nastane zloupotrebom ukradene kartice. To znači da ih visoki limit direktno izlaže većim troškovima, a čak i ako štetu ne plate oni nego vlasnik kartice (jer npr. nije na vrijeme prijavio krađu), velika je vjerojatnost da će korisnikova ljutnja biti proporcionalna iznosu i motivirati ga da banku blati u medijima. Znači banci je u interesu da korisnici imaju veliki limit kako bi trošili, ali s druge strane ako netko nije veliki potrošač korisno je smanjiti mu limit, bez obzira na kreditni rejting. To je jedan mogući razlog.
Takvi u pravilu mogu od banke tražiti povećanje ako im stvarno treba, npr. kad idu na put.
Banka ima puno pravo odlučiti kome će i koliko posuditi, samo ne smije odluku bazirati na osobnim podacima poput spola, boje kože, vjere i sl. Nema nikakvih dokaza da se ovdje o tome radilo, ali vjerojatno će biti proveden nakakav nadzor.
Nije odvratno sto algoritam odredjuje limit, odvratno je sto se ljudi skrivaju iza odluke algoritma i opravdavaju seksizam/diskriminaciju tim istim algoritmom - Nemamo mi nista s tim, to je algoritam.
A algoritam je napravljen od strane white male inzinjera..
Apple je 'izdao' karticu, ali podršku daje banka. Apple ne zna koje algoritme banka koristi i jedino što može reći je upravo to što su rekli. Nema ničeg odvratnog u tome. Ukoliko se primjeti da takvih slučajeva ima puno postoje nadzorne službe koje mogu otići u banku i tražiti analizu algoritma, no Wozniak sigurno neće dobiti algoritam na kućnu adresu da ga sam proučava.
Meni je recimo odbojno trčanje pred rudo i donošenje ekstremnih zaključaka na temelju tako šturih informacija. Tu karticu koriste deseci ili stotine tisuća ljudi. Ako dvoje dobije niži limit to još ništa ne dokazuje.
A tvrdnja da su svi inžinjeri u američkim bankama bijelci i muškarci, koji pišu programe motivirani svojom dominacijom, osim što je netočna, je zapravo daleko veći rasizam i seksizam od ovoga o čemu pričamo.
Kompleksnost algoritma uopće nije bitna (možemo ga gledati i kao black box: data ulazi, proces se odvija, novi data izlazi).
Bitno jest postoji li na kraju filter koji dobivene rezultate čekira jesu li razumni, odn. odgovaraju li zadanim ciljevima i konvencijama.
Opravdanje "algoritam je odlučio" je analogan onom kad Karamarko, Žalac ili neki drugi prominentni zna-se-ko-već kaže "hakiralo me" (pa je sve ok).
Zamisli za autonomno vozilo da napravi neku svinjariju pa da kažeš "AI je odlučio, AI zna bolje".
AI može su-odlučivati, ali mu se ne smije prepustiti konačna odluka.
Apple je 'izdao' karticu, ali podršku daje banka. Apple ne zna koje algoritme banka koristi i jedino što može reći je upravo to što su rekli.
"Talk to my hand", mda.
Nisam baš siguran u ovo. Appleova igra s bankama dugo traje, Apple već barem desetljeće pokušava istisnuti banke iz biznisa kao "nepotrebnog međuposrednika". Nakrcali su casha više nego li gro banaka zajedno. Taj enormni iznos im je i glavni argument za dogovor s bankama uopće (a najradije bi mimo/bez njih).
Tko jači taj kvači, i nisam siguran da nije upravo megamoćni Apple taj koj postavlja krajnje uvjete.
Ummm, da, ima? Insinuiras da je za diskriminaciju uvijek potrebna aktivna zloba onoga tko pise algoritme, ali to je daleko od istine. Dapace, cesto se diskriminacija dogadja samo zato sto se algoritmi treniraju na inputu iz svijeta koji vec je diskriminantan.
A to sto je sustav identificirao sta god da je identificirao ne oslobadja firmu odgovornosti za seksizam algoritma na displeju. Oni su donijeli odluku da taj algoritam upotrijeve in the first place, znaci snose i odgovornost za dobre i lose odluke tog istog algoritma.
Kao što i sam kažeš kreditni rejting je jedna od stvari koja utječe na limit. Znači postoje i druge i moguće je da su te druge bile razlog.
.....
A tvrdnja da su svi inžinjeri u američkim bankama bijelci i muškarci, koji pišu programe motivirani svojom dominacijom, osim što je netočna, je zapravo daleko veći rasizam i seksizam od ovoga o čemu pričamo.
Sve su financijske parametre imali iste (dijele sve assete, znaci imaju jednaku plateznu moc i ako on nije riskantan, nije niti ona). Zena je imala bolji kreditni rejting, sto zvuci kao jako bitna varijabla. Znaci jedina razlika je spol. Ona je dobila 20 puta (DVADESET) manji limit. Ovdje se ne radi o nekakvim zanemarivim postotcima... Koje bi zakljucke trebalo izvuci?
Nisu svi inzinjeri bjelci i muskarci, ali velika vecina jeste. Kako u engineeringu, tako (a i pogotovo) u managementu. Procitaj moj post iznad, nije potreba aktivna zloba da bi se napravio diskriminatorni algoritam.
Ovu glupost o bijelim muškarcima kao jedinim odgovornima ne treba uopće komentirati. Imao sam priliku upoznati nekoliko žena koje rade kao programeri upravo u kartičarskim kućama.
Ovu glupost o bijelim muškarcima kao jedinim odgovornima ne treba uopće komentirati. Imao sam priliku upoznati nekoliko žena koje rade kao programeri upravo u kartičarskim kućama.
Kakvo je to ponasanje dovelo do 20 puta nizeg limita uz identicne financije i bolji kreditni score? Daj mi primjer takvog algoritma.
Ovo za tvoje upoznavanje nekoliko zena ne znam kako komentirati lol. Drago mi je da si ih imao prilike upoznati, I guess?
Kakav algoritam? Pa valjda onaj koji prati što i koliko se troši i na što se troši, prati ponašanje i procjenjuje rizik? Prati plaću jednog i drugog supružnika pa po tome određuje?
I budi siguran da postoji i obrnuta situacija, da muško ima manji limit od žene, zbog identičnih, gore opisanih razloga.
Sve su financijske parametre imali iste (dijele sve assete, znaci imaju jednaku plateznu moc i ako on nije riskantan, nije niti ona). Zena je imala bolji kreditni rejting, sto zvuci kao jako bitna varijabla. Znaci jedina razlika je spol. Ona je dobila 20 puta (DVADESET) manji limit. Ovdje se ne radi o nekakvim zanemarivim postotcima... Koje bi zakljucke trebalo izvuci?
Dio parametara im je zajednički, ali ponašanje nije. Dao sam ti primjer zašto netko tko ima manji promet može imati manji limit, ali si ga potpuno ignorirao iako je relevantan za raspravu. I još poslije tražiš Antonia da ti da primjer.
Nisu svi inzinjeri bjelci i muskarci, ali velika vecina jeste. Kako u engineeringu, tako (a i pogotovo) u managementu. Procitaj moj post iznad, nije potreba aktivna zloba da bi se napravio diskriminatorni algoritam.
Imaš neke podatke koji to govore? Ja znam da u Hrvatskoj u nekim bankama radi podjednaki broj muškaraca i žena u IT i znam za neke IT kompanije gdje je tako, zapravo ne znam ni jednu veću firmu koja se ne bavi fizikalijom, a da dominiraju muškarci. Isto je s menadžmentom u tim kompanijama. Ne znam te podatke za Apple ni tu banku, a pretpostavljam da ne znaš ni ti, nego se vodiš predrasudama, a onda svoje predrasude projeciraš na druge.
Za diskriminatorni algoritam kao prvo memaš nikakav dokaz, da postoji sve bi žene imale manji limit i već bi se nakon ovoga javile. To govori da se radi o izuzecima, a ne pravilu. Diskriminatorni algoritam ne možeš napraviti slučajno. Kad programiraš znaš dobro gdje se koristi koji podatak i u kojim izračunima se uzima u obzir, ako spol ulazi u izračun limita, gdje nema što tražiti, to se jasno vidi. No ovdje se spominje AI, što priču dodatno komplicira, ali ne dokazuje krivnju bijelih muškaraca.
Ukratko, imamo premalo informacija za donijeti kvalitetan zaključak, pa će, kao i obično u takvim situacijama, svaki do kojeg dođemo, poput testa s mrljom tinte, više govoriti o nama nego o samom slučaju. S druge strane bezrazložno optuživanje uvijek osnažuje stvarne krivce i njihove simpatizere, koji ukazuju na takve primjere da bi omalovažili borbu protiv nepravde i tamo gdje je osnovana. Kao što je opasno i štetno neosnovano optuživati za silovanje ili seksualno uznemiravanje, tako je i kod diskriminacije.
Ummm, da, ima? Insinuiras da je za diskriminaciju uvijek potrebna aktivna zloba onoga tko pise algoritme, ali to je daleko od istine. Dapace, cesto se diskriminacija dogadja samo zato sto se algoritmi treniraju na inputu iz svijeta koji vec je diskriminantan.
Nije uvijek potrebna aktivna zloba, najčešće je dovoljno naučeno ponašanje koje ide po inerciji. Međutim, tu logiku primjeniti na algoritme je žešći fail jer takvi algoritmi mogu biti daleko efikasniji od ljudskih odluka, pa se ne treniraju na način da uče što su ljudi odlučili, već je set podataka za treniranje temeljen na obrascima ponašanja korisnika, podaci o pritužbama, te podaci o šteti nastaloj iz korištenja kartice. Ako takvi podaci upućuju da je neki obrazac visokorizičan, strojno učenje će to prepoznati, čak i onda kada ljudi to ne mogu jednostavno povezati.
A to sto je sustav identificirao sta god da je identificirao ne oslobadja firmu odgovornosti za seksizam algoritma na displeju. Oni su donijeli odluku da taj algoritam upotrijeve in the first place, znaci snose i odgovornost za dobre i lose odluke tog istog algoritma.
Ako algoritam nema podataka o spolu, kako uopće možemo govoriti o seksizmu? Banka je poslovni subjekt kojem je cilj maksimizirati profit uz minimizaciju rizika i ima puno pravo postavljati pravila prema kojima posluje, sve dok su ta pravila jednako primjenjena na sve. Ako analiza podataka kaže da je neopravdan rizik onome tko karticu koristi za dnevne troškove dati veliki limit, a onome tko povremeno koristi za kupovanje kućanskih aparata je opravdano dizanje limita (jer će, ako prije svake veće kupnje mora kontaktirati banku da mu podignu limit, promijeniti banku), to će rezultirati time da će par koji ravnomjerno koristi kartice imati jednak limit, a par koji jednu karticu koristi za dnevne troškove, a drugu za izvanredne, će imati različite limite.
S jedne strane vidiš seksizam tamo gdje ga najvjerojatnije nema, a s druge izbacuješ brzoplete zaključke temeljene na vlastitim predrasudama koje uključuju rasizam i seksizam.
tldr:
Ako "algoritam" odluči da su ljudi uopće neefikasni i da bi ih trebalo eutanizirati, onda je to valjda ok? Algoritam je nepogriješiv?
Koliko go mudar algoritam imao, nužna je krajnja kontrola. Odn., ne može se krivnja za konačnu odluku prebaciti na algoritam, jer je "on tako odlučio".
Izlazni filter (kontrola).
20 puta manji limit?
Algoritam nije ništa drugo nego skup parametara koji su ljudski i zakonski određeni, a koji radi automatski. Ako čovječanstvo ili jedan narod/država odluče imati algoritam za eutanaziju, odnosno postaviti algoritam za nešto takvo ranije određeno, onda to nije ništa posebno što nije već ranije određeno.
Zapravo, kod strojnog učenja to ne mora biti tako. Strojno učenje je idealan alat za minimizaciju rizika, a na temelju velikog seta podataka može pronaći korelacije koje ljudi ne bi nikad uočili. Međutim, ono što je kod tog pristupa bitno istaknuti jest da ne diskriminira. Ako neki obrazac ponašanja (što uključuje trošenje, način korištenja kartice, učestalost pogrešno unesenog PIN-a kod kartica s PIN-om, sklonost kupovine u trgovinama niže vjerodostojnosti, učestalost provjeravanja stanja na računu i slično) značajno korelira s nekim rizikom (gubitak ili krađa kartice, zloupotreba od treće strane, dulji period od nestanka kartice do prijave istog, pritužbe, odlazaka klijenta i slično), sustav će nastojati minimizirati štetu.
To nije diskriminacija, čak i ako je statistički veća vjerojatnost da će takvim mjerama biti češće pogođena neka skupina (spol, rasa ili dobna skupina) jer se primjenjuje individualno. Veći je problem primjerice doplata za mlade vozače za autoosiguranje (zbog pojedinaca u skupini, ispašta čitava skupina).
Koliko god vjerujem u i poštujem AI, ne smatram je nepogriješivom. Slažem se s ovim za strojno učenje, korelacije i big data - tu je AI, generalno, nedostižna. No opet: kreativnost može uključivati potpuno nelogičan faktor, koji nije u skupu za predviđanje. Uostalom, čak i da su dobiveni rezultati 100% logični i točni, oni ne moraju biti kompatibilni sa trenutno važećim društvenim konvencijama (jer one ne moraju biti takve, 100% logične). Nekmoli sa tržišnom isplativošću (npr ovo može vrlo lako dobiti #metoo negativni tag i, ovisno o odzivu, završiti sa potpunim bojkotom produkta. Nešto slično su doživjeli super brandovi poput Ariela, Barille, kod nas Velebitsko pivo).
Kontrola izlaza nije na odmet, ali što se ostalog tiče, većina internih odluka velikih korporacija u pravilu nije ni kompatibilna s društvenim konvencijama jer se svode na procjenu kako najefikasnije šišati ovce, pa se pakiraju u celofan i korisnicima prezentiraju kao nešto što njima ide nu korist. Isti marketing se mogao odraditi i tu i prezentirati slučaj kao rezultat adaptivnog prilagođavanja limita koji štiti vlasnika kartice.
Što se tiče ovih bojkota, s arielom i barillom nisam upoznat, a Velebitsko je upravo bilo slučaj nepromišljene odluke. Da je lik rekao da nije u mogućnosti biti sponzor jer je poslovni plan već donesen i nije ga jednostavno mijenjati u ovom trenutku, a svoje nazadno i zatucano mišljenje zadržao iza korporativne fasade, ne bi bilo bojkota.
S druge strane, ako se u slučaju legitimnog poslovanja firme moraju bojati bojkota zbog histerije, to je dobar znak da kao društvo propadamo, a na kraju će upravo najugroženije skupine najveću štetu imati od toga jer se takva histerija vrlo lako okrene, pa onda društvo postane neosjetljivo i na pravu nepravdu.