Zasada modyfikowania hasha pliku
Typowe hashe kryptograficzne to m.in.: MD5, SHA-1/256 itd. Kluczową cechą projektową kryptograficznych funkcji skrótu jest „efekt lawiny” — każda, nawet minimalna zmiana danych wejściowych powoduje ogromną zmianę wyniku. Oznacza to, że nawet zmiana jednego bajtu sprawi, iż cały hash będzie zupełnie inny. Na przykład: jeśli napiszesz dokument o długości 2000 znaków i zapiszesz go jako plik word, wystarczy zmienić jeden znak, np. dodać spację, a md5 tego pliku całkowicie się zmieni. Dlatego istotą „zmiany hasha pliku” jest zmiana samej zawartości pliku, a nie zewnętrznych atrybutów, takich jak nazwa pliku. Ta właściwość sprawia, że modyfikacja hasha na poziomie pliku jest stosunkowo łatwa do wykonania.
Różne systemy i formaty inaczej traktują przynależność „metadanych”: jeśli metadane są osadzone w danych pliku (np. znaczniki w JPEG/kontenerze wideo), ich zmiana zmieni hash; jeśli metadane są przechowywane w alternatywnych strumieniach danych lub atrybutach systemu plików, ich zmiana nie wpływa na hash obliczany na podstawie zawartości pliku. Wyjaśnia to częste zjawisko: „zmiana nazwy pliku nie zmienia hasha, ale zmiana osadzonych metadanych już tak”.
Transkodowanie na platformach wideo a „rozpoznawanie, czy hash został zmieniony”
Po przesłaniu filmu przez użytkownika platforma wideo wykonuje na nim następujące operacje:
odbiór oryginalnego pliku
sprawdzenie i weryfikację formatu
transkodowanie (konwersję formatu, zmianę rozdzielczości, kompresję)
wyodrębnianie klatek kluczowych
obliczanie hashy na wielu warstwach
Jest to potok transkodowania typu „demultipleksowanie → dekodowanie → przetwarzanie → ponowne kodowanie → multipleksowanie”, którego celem jest utworzenie wielu wersji do adaptacyjnego odtwarzania w różnych przepływnościach i rozdzielczościach. Sam ten proces zmienia sekwencję bajtów pliku oraz każdy kryptograficzny hash sprzed przesłania.
Na poziomie hasha pliku: podczas transkodowania platforma ponownie generuje plik, więc pierwotny hash pliku naturalnie ulega zmianie. Dlatego hash pliku zmodyfikowany wcześniej przez użytkownika po transkodowaniu nie ma już znaczenia. Platforma nie będzie więc sprawdzać, czy ten plik miał zmienione md5 itp., ponieważ nie ma to żadnego sensu!
Etapy deduplikacji i wykrywania praw autorskich nie opierają się na hashu pliku przesłanym przez użytkownika, lecz na własnych „odciskach audio-wideo/hashach percepcyjnych” obliczanych przez platformę na treści po dekodowaniu i porównywanych z referencyjnymi odciskami w bazie danych; na przykład YouTube Content ID „odciska” przesłane treści i dopasowuje je do materiałów referencyjnych dostarczonych przez właścicieli praw.
Dlatego platforma nie „rozpoznaje, że hash został zmieniony”, lecz „ignoruje przesłany hash, ponownie oblicza odcisk treści i wykonuje dopasowanie”, co sprawia, że samo modyfikowanie bajtów pliku lub metadanych kontenera w celu zmiany MD5/SHA nie pozwala obejść wykrywania opartego na treści.
