Jämförelse av motståndskraft mot beskärning
pHash bygger på globala lågfrekventa DCT-egenskaper. Lokal beskärning förändrar den övergripande spektralfördelningen och leder ofta till betydande förändringar i hashen. Därför är robustheten mot ”lokalt bortfall” relativt svag, och forskningen har därför föreslagit förbättringar inriktade på robusthet mot beskärning/rotation för att kompensera för bristerna hos traditionella globala hashmetoder.
PDQ (bild) påverkas lättare av ändringar av typen ”innehåll tas bort/skyls över”. Författarnas tester visar att det inte är lika stabilt vid borttagningstransformationer som vid milda förstärkningstransformationer (t.ex. format/bitrate). Beskärning hör till kategorin ”borttagning” och är därför ingen fördel.
TMK+PDQF (video) försämras särskilt tydligt vid beskärning: utvärderingar visar att om mer än cirka 20% av bilden beskärs bort blir tillförlitlig matchning svår, och det rekommenderas till och med att man inte bör förvänta sig stabila träffar när mer än 10% tas bort. Detta visar dess känslighet för större förlust av synfält.
Jämförelse av motståndskraft mot vattenstämplar
pHash är känsligt för stora ogenomskinliga vattenstämplar, eftersom vattenstämplar förändrar den globala lågfrekventa strukturen. Traditionella globala DCT-baserade perceptuella hashmetoder har vanligtvis svårt att behålla ungefärlig hashkonsistens under kraftiga vattenstämplar.
PDQ har viss tolerans mot ”lätta vattenstämplar/små logotyper”, men under förhållanden med ”kraftiga, ogenomskinliga vattenstämplar med komplexa kanter och färgförändringar” missas mer än hälften av proverna vid vanliga tröskelvärden, vilket visar begränsad robusthet mot kraftiga vattenstämplar.
TMK+PDQF har i videoscenarier rapporterats prestera dåligt för både vattenstämplar och beskärning. Jämfört med transformationer som bevarar den globala strukturen, såsom bitrate/format/skalning, sänker överlagrade vattenstämplar tydligt matchningskonfidensen.
Praktiska tips
Erfarenheter från plattformssidan visar att robustheten är relativt god för transkodningsliknande ändringar av video som ”format/bitrate/skalning”, men vid kraftig beskärning eller starka vattenstämplar (särskilt ogenomskinliga och med stor täckningsyta) försämras alla tre algoritmtyperna tydligt. De bör därför kombineras med uppströms- och nedströmsstrategier, såsom tröskeljustering och manuell granskning.
Om robustheten mot beskärning måste förbättras kan man kombinera med ”blockbaserade/lokala” idéer eller använda rumsliga kodningsmetoder som är utformade för beskärning/rotation, för att kompensera för svagheterna hos traditionell global hashing. Därefter kan de fusioneras multimodalt med fingeravtryck som PDQ/TMK för att förbättra återkallningen. Både praktik och forskning visar att traditionell global perceptuell hashing inte är robust mot beskärning, vilket har lett till nya metoder inriktade på beskärningsrobusthet.
För vattenstämplade scenarier anger PDQ:s officiella material att det kan tolerera ”lätta vattenstämplar/små logotyper”, medan kraftiga ogenomskinliga vattenstämplar påverkar matchningen avsevärt. På videosidan uppvisar TMK+PDQF ett liknande mönster. Därför bör man undvika att enbart förlita sig på ett enda tröskelvärde och vid behov införa kandidatvidgning och en tvåstegsverifiering.
Viktig slutsats
För de två typerna av lokala ändringar, ”motståndskraft mot beskärning/lokal ocklusion” och ”överlagrade vattenstämplar”, är det övergripande mönstret för de tre metoderna följande: PDQ och TMK+PDQF är relativt mer robusta mot lätta vattenstämplar (t.ex. hörnmarkeringar/logotyper), men försämras tydligt vid markant beskärning och stora ogenomskinliga vattenstämplar; pHash är minst robust mot dessa lokala ändringar eftersom det främst bygger på globala lågfrekventa egenskaper.
Ni som återpublicerar videor – nu vet ni väl vad ni bör göra.