Microsoft heeft de maas in de Designer AI gepatcht die werd gebruikt om deepfakes van Taylor Swift te maken

Vorige week gingen deepfake-foto’s van zangeres Taylor Swift online viraal, wat aanleiding gaf tot een nieuw gesprek over het misbruik van AI en X (voorheen Twitter) dwong zoekopdrachten naar Taylor Swift op het platform te blokkeren .

Nu melden 404-media dat Microsoft wijzigingen heeft aangebracht in de Designer AI die naar verluidt door het Telegram-kanaal werd gebruikt om expliciete afbeeldingen te genereren. Volgens het onderzoek van 404 media waren deepfake-foto’s van de beroemdheid terug te voeren op Microsoft’s Designer AI, waarbij Telegram Channel en 4chan gebruikers zelfs aanbeveelden om te profiteren van Designer AI.

De Telegram-groep raadt leden aan om de AI-beeldgenerator van Microsoft, Designer genaamd, te gebruiken, en gebruikers delen vaak aanwijzingen om anderen te helpen de beveiligingen te omzeilen die Microsoft heeft ingesteld. De 4chan-thread waarin deze afbeeldingen verschenen, bevatte ook instructies over hoe je Microsoft’s Designer expliciete afbeeldingen kunt laten maken.

Hoewel Microsoft blokkeringen heeft ingesteld om te voorkomen dat mensen expliciete afbeeldingen genereren, konden gebruikers dit omzeilen door namen verkeerd te spellen of seksuele handelingen te beschrijven in plaats van namen rechtstreeks in de prompt te gebruiken.

Uit tests van 404 Media bleek dat Designer geen afbeelding van ‘Jennifer Aniston’ zal genereren, maar we konden suggestieve afbeeldingen van de actrice genereren door de zinsnede ‘Jennifer ‘acteur’ aniston’ te gebruiken. Voordat de Swift AI-afbeeldingen viraal gingen op Twitter, raadde een gebruiker in de Telegram-groep leden aan om de uitdrukking “Taylor ‘zanger’ Swift” te gebruiken om afbeeldingen te genereren.

In een verklaring aan 404 media stelt Microsoft dat het geen bewijs heeft gevonden dat Designer AI is gebruikt om afbeeldingen van Taylor Swift te maken. De woordvoerder merkte verder op:

Onze Gedragscode verbiedt het gebruik van onze tools voor het creëren van intieme inhoud voor volwassenen of zonder wederzijdse toestemming, en herhaalde pogingen om inhoud te produceren die in strijd is met ons beleid kunnen leiden tot verlies van toegang tot de dienst. We hebben grote teams die werken aan de ontwikkeling van vangrails en andere veiligheidssystemen in overeenstemming met onze verantwoordelijke AI-principes, waaronder inhoudfiltering, operationele monitoring en misbruikdetectie om misbruik van het systeem te beperken en een veiligere omgeving voor gebruikers te helpen creëren.

Hoewel Microsoft nog geen publieke verklaring heeft uitgebracht, heeft CEO Satya Nadella het onderwerp besproken in een interview met NBC News .

“Ja, we moeten handelen”, zei Nadella in antwoord op een vraag over de deepfakes van Swift. “Ik denk dat we er allemaal baat bij hebben als de online wereld een veilige wereld is. En dus denk ik niet dat iemand een online wereld wil die volkomen onveilig is voor zowel makers van inhoud als consumenten van inhoud. Daarom denk ik dat het ons betaamt om hier snel actie op te ondernemen.”

404-media merkten op dat Microsoft, nadat het onderzoek was gepubliceerd, de maas in de wet lijkt te hebben gedicht en dat het gebruik van dezelfde aanwijzingen of fasen om het trefwoordblok te omzeilen niet langer werkt op Designer AI. Ze vermeldden echter ook dat Telegram nog steeds geen actie heeft ondernomen en dat de kanalen in kwestie actief zijn en manieren zoeken om andere AI-diensten te exploiteren om deepfake-expliciete beelden van beroemdheden te genereren. Niet alleen dat, maar gebruikers op 4chan zeiden dat ze andere manieren hebben gevonden om het verbod op Bing en Designer te omzeilen.

Het nieuws komt op een slecht moment voor Microsoft, aangezien de Federal Trade Commission (FTC) zojuist heeft aangekondigd dat het een onderzoek naar Microsoft is geopend vanwege zijn investeringen in generatieve AI-bedrijven. Een ander rapport van eerder deze maand beweerde dat de FTC en het ministerie van Justitie (DOJ) de relatie van Microsoft met OpenAI onderzoeken .