El sistema CSAM d'Apple va ser enganyat, però l'empresa té dues salvaguardes

Actualització: Apple va esmentar una segona inspecció del servidor i una empresa professional de visió per ordinador va descriure la possibilitat de què es podria descriure a "Com podria funcionar la segona inspecció" a continuació.
Després que els desenvolupadors n'hagin fet enginyeria inversa, la primera versió del sistema CSAM d'Apple s'ha enganyat de manera efectiva per marcar una imatge innocent.No obstant això, Apple va declarar que té garanties addicionals per evitar que això passi a la vida real.
L'últim desenvolupament es va produir després de la publicació de l'algoritme NeuralHash al lloc web de desenvolupadors de codi obert GitHub, qualsevol pot experimentar-hi...
Tots els sistemes CSAM funcionen mitjançant la importació d'una base de dades de materials coneguts d'abús sexual infantil d'organitzacions com el National Center for Missing and Exploited Children (NCMEC).La base de dades es proporciona en forma de hash o empremtes digitals a partir d'imatges.
Tot i que la majoria dels gegants tecnològics escanegen fotos penjades al núvol, Apple utilitza l'algorisme NeuralHash a l'iPhone del client per generar un valor hash de la foto emmagatzemada i, a continuació, el compara amb la còpia baixada del valor hash CSAM.
Ahir, un desenvolupador va afirmar haver fet enginyeria inversa de l'algoritme d'Apple i va publicar el codi a GitHub, aquesta afirmació va ser confirmada efectivament per Apple.
Poques hores després del llançament de GitHib, els investigadors van utilitzar l'algoritme amb èxit per crear un fals positiu intencionat: dues imatges completament diferents que van generar el mateix valor hash.Això s'anomena col·lisió.
Per a aquests sistemes, sempre hi ha un risc de col·lisions, perquè el hash és, per descomptat, una representació molt simplificada de la imatge, però és sorprenent que algú pugui generar la imatge tan ràpidament.
La col·lisió deliberada aquí és només una prova de concepte.Els desenvolupadors no tenen accés a la base de dades hash CSAM, que requeriria la creació de falsos positius al sistema en temps real, però sí que demostra que els atacs de col·lisió són relativament fàcils en principi.
Apple va confirmar efectivament que l'algoritme és la base del seu propi sistema, però va dir a la placa base que aquesta no és la versió final.L'empresa també va declarar que mai va tenir la intenció de mantenir-lo confidencial.
Apple va dir a Motherboard en un correu electrònic que la versió analitzada per l'usuari a GitHub és una versió genèrica, no la versió final utilitzada per a la detecció d'iCloud Photo CSAM.Apple va dir que també va revelar l'algoritme.
"L'algorisme NeuralHash [...] forma part del codi del sistema operatiu signat [i] els investigadors de seguretat poden verificar que el seu comportament s'ajusta a la descripció", va escriure un document d'Apple.
L'empresa va dir que hi ha dos passos més: executar un sistema de concordança secundari (secret) al seu propi servidor i revisió manual.
Apple també va declarar que després que els usuaris superin el llindar de 30 coincidències, un segon algorisme no públic que s'executa als servidors d'Apple comprovarà els resultats.
"Aquest hash independent es va escollir per rebutjar la possibilitat que el NeuralHash erroni coincideixi amb la base de dades CSAM xifrada del dispositiu a causa de la interferència adversària d'imatges que no són CSAM i superi el llindar coincident".
Brad Dwyer de Roboflow va trobar una manera de distingir fàcilment entre les dues imatges publicades com a prova de concepte per a un atac de col·lisió.
Tinc curiositat com es veuen aquestes imatges en CLIP d'un extractor de característiques neuronals similar però diferent OpenAI.CLIP funciona de manera similar a NeuralHash;pren una imatge i utilitza una xarxa neuronal per generar un conjunt de vectors de característiques que es mapegen amb el contingut de la imatge.
Però la xarxa d'OpenAI és diferent.És un model general que pot mapar entre imatges i text.Això vol dir que el podem utilitzar per extreure informació d'imatge comprensible per l'home.
Vaig executar les dues imatges de col·lisió de dalt a través de CLIP per veure si també s'havia enganyat.La resposta curta és: no.Això vol dir que Apple hauria de poder aplicar una segona xarxa d'extractor de funcions (com ara CLIP) a les imatges CSAM detectades per determinar si són reals o falses.És molt més difícil generar imatges que enganin dues xarxes alhora.
Finalment, com s'ha esmentat anteriorment, les imatges es revisen manualment per confirmar que són CSAM.
Un investigador de seguretat va dir que l'únic risc real és que qualsevol persona que vulgui molestar Apple pugui proporcionar falsos positius als revisors humans.
"Apple realment va dissenyar aquest sistema, de manera que la funció hash no cal mantenir-se en secret, perquè l'únic que podeu fer amb 'no CSAM com CSAM' és molestar l'equip de resposta d'Apple amb algunes imatges no desitjades fins que implementin filtres per eliminar-los. anàlisi Aquelles escombraries a la canonada són falsos positius", va dir Nicholas Weaver, investigador sènior de l'Institut Internacional de Ciències de la Computació de la Universitat de Califòrnia, Berkeley, a Motherboard en un xat en línia.
La privadesa és un tema de preocupació creixent en el món actual.Seguiu tots els informes relacionats amb la privadesa, la seguretat, etc. a les nostres directrius.
Ben Lovejoy és un escriptor tècnic britànic i editor europeu de 9to5Mac.És conegut per les seves columnes i articles de diari, explorant la seva experiència amb els productes d'Apple al llarg del temps per obtenir ressenyes més completes.També escriu novel·les, hi ha dos thrillers tècnics, uns quants curtmetratges de ciència-ficció i una comèdia romàntica!


Hora de publicació: 20-agost-2021