Kako piše Guardian, stručnjaci već dugo upozoravaju na ograničenja automatiziranih sistema za otkrivanje slika seksualnog zlostavljanja djece, osobito jer se kompanije suočavaju s regulatornim i javnim pritiskom da pomognu u rješavanju ovog problema.
"Te kompanije imaju pristup strahovito invazivnoj količini podataka o životima ljudi. I dalje nemaju kontekst onoga što životi ljudi zapravo jesu. Postoje razne vrste stvari koje nisu čitljive ovim informacijskim divovima", rekao je Daniel Kahn Gillmor, viši tehnolog pri ACLU-u.
Dodao je da korištenje ovih sistema od strane tehnoloških firemi koje "djeluju kao posrednici za provođenje zakona dovodi ljude u opasnost da ih počisti moć države".
Muškarac, kojeg je New York Times identificirao samo kao Marka, snimio je slike prepona svog sina kako bi ih poslao ljekaru nakon što je shvatio da dječak ima upalu, prenosi tportal.
Liječnik je pomoću te slike postavio dijagnozu Markovom sinu i propisao antibiotike.
Kad su fotografije automatski prenesene u "oblak", Googleov sistem identificirao ih je kao CSAM - "Child Sexual Abusive Material".
Dva dana kasnije, Markov Gmail i drugi Google računi, uključujući Google Fi, koji pruža njegovu telefonsku uslugu, bili su onemogućeni zbog "štetnog sadržaja koji je bio ozbiljno kršenje pravila kompanije i mogao bi biti nezakonit", objavio je Times, citirajući poruku na njegovom telefonu.
Kasnije je saznao da je Google označio još jedan video koji je imao na svom telefonu i da je policija San Francisca pokrenula istragu protiv njega.
Mark je oslobođen svih krivičnih djela, ali Google je rekao da će ostati pri svojoj odluci.
"Slijedimo zakon Sjedinjenih Američkih Država u definiranju onoga što čini CSAM kako bismo ga identificirali i uklonili s naših platformi", rekla je Christa Muldoon, glasnogovornica Googlea.
Muldoon je dodala da je Googleovo osoblje koje pregledava CSAM obučeno od strane medicinskih stručnjaka da traže osipe ili druge probleme.
Oni sami, međutim, nisu bili medicinski vještaci i medicinski vještaci nisu bili konzultirani prilikom pregleda svakog slučaja, rekla je ona.
