Analiza technologii wykrywania duplikatów i repostów treści na platformach wideo

Platformy krótkich filmów, takie jak Douyin, TikTok, YouTube i inne, mierzą się z wyzwaniem ogromnych ilości treści generowanych przez użytkowników, a wykrywanie zduplikowanych filmów i treści przenoszonych z innych źródeł stało się kluczowym problemem technicznym w zarządzaniu treściami na platformach. Niniejszy raport dogłębnie analizuje, w jaki sposób te platformy wideo oceniają powtarzalność filmów i działania polegające na kopiowaniu treści, omawia stosowane technologie algorytmiczne oraz szczegółowo wyjaśnia zasady ich działania na konkretnych przykładach.

Podstawowe metody wykrywania duplikatów na platformach wideo

Technologia porównywania skrótów

Pierwszą technologią stosowaną przez platformy wideo jest porównywanie skrótów, czyli najbardziej podstawowa, ale zarazem najszybsza metoda wykrywania. Platforma generuje dla każdego przesłanego filmu różne typy wartości skrótu:

Skrót MD5 to najprostsza metoda, która identyfikuje całkowicie identyczne pliki poprzez obliczenie wartości MD5 pliku wideo. Gdy użytkownik przesyła film bezpośrednio, bez modyfikacji, system może wykryć zduplikowaną treść w ciągu milisekund dzięki dopasowaniu wartości MD5. Metoda ta nie potrafi jednak wykrywać filmów poddanych jakiejkolwiek edycji — nawet prosta konwersja formatu lub kompresja wygeneruje całkowicie inną wartość MD5.

Technologia skrótu percepcyjnego jest bardziej zaawansowana i pozwala wykrywać filmy podobne wizualnie, choć technicznie różne. System wyodrębnia kluczowe klatki filmu i generuje kod skrótu o stałej długości za pomocą DCT (dyskretnej transformaty cosinusowej) lub innych algorytmów. Podobieństwo skrótów percepcyjnych dwóch filmów oblicza się za pomocą odległości Hamminga; jeśli odległość Hamminga jest mniejsza niż ustalony próg, treść zostaje uznana za duplikat.

Technologia odcisków audio

Technologia odcisków audio jest ważnym narzędziem wykorzystywanym przez platformy wideo do wykrywania treści kopiowanych z innych źródeł; najbardziej znana jest technologia rozpoznawania audio oparta na algorytmie Shazam. Analizuje ona cechy widmowe sygnału audio i generuje unikalny „odcisk audio”, aby identyfikować identyczne lub podobne treści dźwiękowe.

Proces generowania odcisku audio obejmuje: najpierw próbkowanie dźwięku z częstotliwością 44.1kHz, a następnie wygenerowanie spektrogramu za pomocą **krótkoczasowej transformaty Fouriera (STFT)**. System wyodrębnia ze spektrogramu punkty szczytowe, które reprezentują najbardziej znaczące składowe częstotliwościowe sygnału audio. Następnie algorytm łączy te punkty szczytowe w pary, tworząc „mapę konstelacji”; każda para zawiera dwie wartości częstotliwości oraz różnicę czasu między nimi: $Constellation(P1,P2,\mathrm{\Delta }t)=(f1,f2,\mathrm{\Delta }t)$Constellation(P1,P2,Δt)=(f1,f2,Δt).

Analiza cech wizualnych

Współczesne platformy wideo szeroko wykorzystują technologie ekstrakcji cech wizualnych oparte na deep learningu. Dzięki modelom głębokiego uczenia, takim jak konwolucyjne sieci neuronowe (CNN), system może wyodrębniać wysokopoziomowe cechy semantyczne klatek wideo; cechy te pozwalają uchwycić istotę treści filmu, a nie jedynie powierzchowne informacje o pikselach.

Zaletą tej metody jest możliwość wykrywania filmów poddanych złożonej edycji, takiej jak korekcja kolorów, kadrowanie, dodanie znaku wodnego czy odtwarzanie ze zmienioną prędkością. Nawet jeśli film uległ znaczącym zmianom na poziomie pikseli, jego głębokie cechy semantyczne zwykle pozostają względnie stabilne.

Wykrywanie spójności czasowej

Analiza spójności czasowej to kolejny ważny wymiar wykrywania kopiowania filmów. Technologia ta identyfikuje duplikaty treści poprzez analizę relacji czasowych między klatkami wideo oraz ciągłości ruchu. Dwupoziomowa metoda wykrywania (Dual-level Detection) stanowi ważny przełom w tej dziedzinie i obejmuje dwa poziomy: wykrywanie edycji wideo (VED) oraz wykrywanie scen w klatkach (FSD).

Moduł wykrywania edycji wideo najpierw określa, czy film został poddany obróbce montażowej. W przypadku nieedytowanych filmów system używa losowych wektorów jako deskryptorów, aby oszczędzać zasoby obliczeniowe. W przypadku filmów edytowanych system przeprowadza bardziej szczegółową analizę na poziomie klatek, w tym sprawdza, czy w filmie występuje połączenie wielu scen.

Szczegółowe omówienie kluczowych technologii algorytmicznych

Rodzina algorytmów haszowania percepcyjnego

Algorytm pHash (haszowanie percepcyjne) to technika szeroko stosowana w wykrywaniu duplikatów wideo. Algorytm generuje wartość skrótu w następujących krokach: najpierw skaluje obraz do standardowego rozmiaru 32×32 piksele, a następnie stosuje dyskretną transformatę cosinusową (DCT), aby wyodrębnić cechy obrazu w dziedzinie częstotliwości. Następnie algorytm zachowuje obszar 8×8 w lewym górnym rogu współczynników DCT (część niskoczęstotliwościową), oblicza średnią tych współczynników, a na końcu generuje 64-bitowy binarny kod skrótu poprzez porównanie każdego współczynnika ze średnią.

Algorytm dHash (haszowanie różnicowe) stosuje inną strategię: skaluje obraz do 9×8 pikseli, a następnie oblicza różnice między sąsiednimi pikselami. Jeśli dany piksel jest jaśniejszy niż jego sąsiad po prawej stronie, w kodzie skrótu zapisywana jest wartość 1, w przeciwnym razie 0. Ta metoda jest bardziej wrażliwa na poziome zmiany obrazu i lepiej wychwytuje jego cechy strukturalne.

Dogłębna analiza algorytmu odcisków palca audio

Istotą algorytmu Shazam jest technika dopasowywania mapy konstelacji. Algorytm najpierw przekształca sygnał audio z dziedziny czasu do reprezentacji w dziedzinie częstotliwości za pomocą szybkiej transformaty Fouriera (FFT):

$STFT(t,f)={\sum }_{n=0}^{N-1}x(t+n)\cdot e^{-j2\pi fn}$STFT(t,f)=∑n=0N−1x(t+n)⋅e−j2πfn

gdzie $x(t+n)$x(t+n) oznacza próbki audio w oknie czasowym, a $e^{-j2\pi fn}$e−j2πfn jest zespoloną funkcją wykładniczą.

Proces wyodrębniania pików identyfikuje istotne punkty charakterystyczne na spektrogramie poprzez ustawienie progu:

Technologia samonadzorowanego hashowania wideo (SSVH) reprezentuje najnowsze zastosowania głębokiego uczenia w wykrywaniu duplikatów wideo. Technologia ta wykorzystuje hierarchiczną architekturę binarnego autoenkodera, obejmującą enkoder oraz trzy dekodery: przedni hierarchiczny dekoder binarny, wsteczny hierarchiczny dekoder binarny i globalny hierarchiczny dekoder binarny.

Enkoder wykorzystuje strukturę binarnego LSTM (BLSTM), która może bezpośrednio generować binarne kody hash bez potrzeby wykonywania etapów postprocessingu. Przepływ danych w BLSTM jest zgodny ze standardowym wzorcem LSTM, ale na końcu dodano funkcję znaku $b_t=sgn(h_t)$bt=sgn(ht), aby uzyskać wyjście binarne.

Aby rozwiązać problem NP-trudnej optymalizacji binarnej, algorytm wykorzystuje przybliżoną funkcję znaku:

Algorytm ponownego porządkowania według spójności czasowej jest kluczową technologią w lokalizacji fragmentów wideo. Algorytm najpierw wyodrębnia cechy na poziomie obrazu poprzez agregację punktów kluczowych i głębokie uczenie, a następnie wykorzystuje strukturę wielu drzew k-d do wydajnego wyszukiwania KNN, uzyskując zbiór kandydackich fragmentów wideo.

Innowacyjność algorytmu polega na etapie przycinania według spójności czasowej: poprzez analizę informacji o znacznikach czasu i identyfikatorach sekwencji kandydackich fragmentów precyzyjnie identyfikuje dopasowane fragmenty oraz ich pozycję czasową w sekwencji. Metoda ta umożliwia wykonanie zapytania dla pojedynczej klatki w bazie danych liczącej 1 milion klatek w 83.96 milisekundy, a w bazie danych liczącej 4.5 miliona klatek czas zapytania wynosi 462.59 milisekundy.

Analiza konkretnych przypadków wdrożenia

System YouTube Content ID

System Content ID YouTube jest jedną z najbardziej dojrzałych technologii wykrywania praw autorskich w branży. System ten stosuje wielopoziomową strategię detekcji:

Pierwszą warstwą jest dopasowywanie odcisków audio. System generuje odcisk audio dla każdego przesłanego filmu i porównuje go z ogromną referencyjną bazą danych. Nawet jeśli audio zostało poddane zmianie wysokości dźwięku, regulacji prędkości lub dodaniu szumu tła, system nadal może wykryć dopasowaną treść dzięki analizie widmowej.

Drugą warstwą jest analiza treści wizualnej. System wykorzystuje modele głębokiego uczenia do analizy cech wizualnych filmu, takich jak rozkład kolorów, wzorce tekstur, rozpoznawanie obiektów itd. Cechy te są kodowane jako wektory wysokowymiarowe, a podobieństwo filmów ocenia się poprzez obliczenie podobieństwa cosinusowego.

Trzecią warstwą jest porównywanie metadanych. System porównuje informacje metadanych, takie jak tytuł, opis i tagi filmu, a następnie łączy je z wynikami powyższych technologii, aby podjąć kompleksową decyzję.

Podwójny mechanizm wykrywania TikTok/Douyin

Douyin i TikTok stosują podwójny mechanizm wykrywania, aby sprostać specyfice krótkich filmów:

Wykrywanie w czasie rzeczywistym: podczas przesyłania filmu przez użytkownika system w czasie rzeczywistym oblicza perceptual hash filmu oraz odcisk audio. Dzięki szybkiemu porównaniu z istniejącą bazą danych system może w ciągu kilku sekund zidentyfikować oczywiste duplikaty treści.

Głęboka analiza offline: w przypadku filmów, które przeszły wykrywanie w czasie rzeczywistym, system przeprowadza w tle bardziej szczegółową analizę. Modele CNN służą do ekstrakcji cech semantycznych i analizy kreatywności treści wideo. W przypadku filmów, w których wykryto niewielkie modyfikacje, system oblicza wynik podobieństwa, a treści przekraczające próg są oznaczane jako podejrzane o kopiowanie.

Dane dotyczące rzeczywistej skuteczności wykrywania

Według danych badawczych nowoczesna technologia odcisków audio może w idealnych warunkach osiągnąć 100% dokładności rozpoznawania:

• 1-sekundowy fragment audio: dokładność rozpoznawania 60%

• 2-sekundowy fragment audio: dokładność rozpoznawania 95.6%

• 5 sekund i więcej: dokładność rozpoznawania 100%

W przypadku wykrywania wideo dwuwarstwowa metoda detekcji osiągnęła 98.8% recall na zbiorze danych FIVR-200K oraz 94.1% recall na zbiorze danych VCSL.

Wydajność technologii haszowania percepcyjnego wygląda następująco:

• Szybkość przetwarzania: czas przetwarzania pojedynczej klatki poniżej 1 milisekundy

• Efektywność przechowywania: każda klatka wideo wymaga tylko 8 bajtów pamięci na hash

• Dokładność wykrywania: dla nieznacznie zmodyfikowanych filmów dokładność wykrywania może osiągnąć 85-90%

Wyzwania i trendy rozwoju technologii

Przeciwdziałanie atakom adwersarialnym

Wraz z globalną popularnością krótkich filmów osoby kopiujące treści stale ulepszają metody omijania detekcji. Ataki adwersarialne są jednym z głównych obecnych wyzwań. Atakujący dodają do wideo niewielkie sygnały zakłócające lub stosują określone techniki edycji, próbując oszukać systemy wykrywania.

Aby sprostać tym wyzwaniom, platformy opracowują bardziej robust algorytmy wykrywania. Na przykład technologia odcisków topologicznych wykorzystuje teorię homologii persistent do analizy struktury topologicznej sygnałów audio, dzięki czemu metoda ta jest bardziej odporna na rozciąganie w czasie i zmiany wysokości dźwięku.

Detekcja z fuzją multimodalną

Nowoczesne systemy wykrywania wideo coraz częściej stosują strategie fuzji multimodalnej. Analizując jednocześnie treść wizualną wideo, cechy audio, informacje tekstowe (takie jak napisy i tytuły) oraz wzorce rozpowszechniania w sieciach społecznościowych, system może zbudować pełniejszy odcisk treści.

Zaletą tego podejścia jest to, że nawet jeśli jedna z modalności zostanie celowo zmodyfikowana, cechy pozostałych modalności nadal mogą dostarczać skutecznych sygnałów detekcyjnych. Na przykład nawet gdy obraz wideo zostanie znacząco zmieniony, jego cechy audio i wzorce rozpowszechniania mogą nadal ujawniać, że treść została skopiowana.

Optymalizacja obliczeń brzegowych

W przyszłości wykrywanie wideo będzie rozwijać się w kierunku działania w czasie rzeczywistym i większej lekkości. Nowe projekty algorytmów koncentrują się na:

Efektywności obliczeniowej: opracowywaniu lekkich algorytmów wykrywania działających na urządzeniach mobilnych i zmniejszających zależność od usług w chmurze.

Działaniu w czasie rzeczywistym: realizacji wykrywania podczas przesyłania wideo, zamiast tradycyjnego modelu postprocessingu.

Ochronie prywatności: przeprowadzaniu detekcji treści przy jednoczesnej ochronie prywatności użytkowników i unikaniu wycieku oryginalnej zawartości wideo.

Porównanie wydajności algorytmów

Różne algorytmy wykrywania mają własne zalety i scenariusze zastosowania:

Hash MD5 nadaje się do wykrywania całkowicie identycznych plików, zapewnia bardzo wysoką szybkość i dokładność, ale nie radzi sobie z żadną formą modyfikacji.

Haszowanie percepcyjne zapewnia dobrą równowagę między szybkością a odpornością, nadaje się do wykrywania nieznacznie zmodyfikowanych treści i jest technologią pierwszego wyboru na większości platform.

Odciski audio zapewniają bardzo wysoką dokładność wykrywania treści dźwiękowych i zachowują dobrą wydajność nawet przy szumie tła, ale ich złożoność obliczeniowa jest stosunkowo wysoka.

Metody deep learning potrafią rozumieć semantyczną treść wideo i mają dużą zdolność wykrywania złożonych edycji, ale wymagają znacznych zasobów obliczeniowych i danych treningowych.

Analiza sekwencyjna dobrze sprawdza się w wykrywaniu łączenia i reorganizacji fragmentów wideo, ale jej szybkość przetwarzania jest stosunkowo niska, dlatego zwykle używa się jej jako środka weryfikacji drugiego poziomu.

W praktycznych zastosowaniach platformy wideo zwykle stosują strategię fuzji wielu algorytmów, dynamicznie wybierając najodpowiedniejszą kombinację algorytmów w zależności od cech wideo i wymagań detekcji. Taka warstwowa architektura wykrywania zapewnia zarówno kompleksowość detekcji, jak i efektywność obliczeniową oraz kontrolę kosztów.

Na zakończenie