Technische Analyse der Erkennung doppelter Inhalte und Reuploads auf Videoplattformen

Kurzvideoplattformen wie Douyin, TikTok, YouTube usw. stehen vor der Herausforderung enormer Mengen nutzergenerierter Inhalte. Dabei ist die Erkennung doppelter Videos und reposteter Inhalte zu einem zentralen technischen Problem des Content-Managements der Plattformen geworden. Dieser Bericht analysiert eingehend, wie diese Videoplattformen Videoduplikate und Reposting-Verhalten erkennen, untersucht die eingesetzten algorithmischen Technologien und erklärt ihre Funktionsweise anhand konkreter Beispiele ausführlich.

Grundlegende Methoden der Duplikaterkennung auf Videoplattformen

Hash-Vergleichstechnologie

Videoplattformen setzen zunächst auf Hash-Vergleichstechnologie. Dies ist die grundlegendste, aber auch schnellste Erkennungsmethode. Die Plattform erzeugt für jedes hochgeladene Video verschiedene Arten von Hash-Werten:

Der MD5-Hash ist die einfachste Methode: Durch Berechnung des MD5-Werts einer Videodatei werden vollständig identische Dateien erkannt. Wenn Nutzer ein unverändertes Video direkt hochladen, kann das System anhand des MD5-Wert-Abgleichs doppelte Inhalte innerhalb von Millisekunden erkennen. Diese Methode kann jedoch keine Videos erkennen, die in irgendeiner Form bearbeitet wurden; selbst eine einfache Formatkonvertierung oder Komprimierung erzeugt einen völlig anderen MD5-Wert.

Die Perceptual-Hash-Technologie ist deutlich fortschrittlicher und kann Videos erkennen, die visuell ähnlich, technisch jedoch unterschiedlich sind. Das System extrahiert Schlüsselbilder aus dem Video und erzeugt mithilfe von DCT (diskrete Kosinustransformation) oder anderen Algorithmen einen Hash-Code fester Länge. Die Ähnlichkeit der Perceptual-Hash-Werte zweier Videos wird anhand der Hamming-Distanz berechnet. Liegt die Hamming-Distanz unter einem festgelegten Schwellenwert, wird der Inhalt als Duplikat eingestuft.

Audio-Fingerprinting-Technologie

Audio-Fingerprinting-Technologie ist ein wichtiges Mittel, mit dem Videoplattformen repostete Inhalte erkennen. Am bekanntesten ist dabei die auf dem Shazam-Algorithmus basierende Audioerkennungstechnologie. Diese Technologie analysiert die spektralen Eigenschaften eines Audiosignals und erzeugt einen einzigartigen „Audio-Fingerabdruck“, um identische oder ähnliche Audioinhalte zu identifizieren.

Der Erzeugungsprozess eines Audio-Fingerabdrucks umfasst Folgendes: Zunächst wird das Audio mit 44.1kHz abgetastet, anschließend wird durch **Kurzzeit-Fourier-Transformation (STFT)** ein Spektrogramm erzeugt. Das System extrahiert aus dem Spektrogramm Spitzenpunkte, die die markantesten Frequenzkomponenten des Audiosignals repräsentieren. Danach paart der Algorithmus diese Spitzenpunkte zu einer „Konstellationskarte“. Jedes Paar enthält zwei Frequenzwerte und die Zeitdifferenz zwischen ihnen: $Constellation(P1,P2,\mathrm{\Delta }t)=(f1,f2,\mathrm{\Delta }t)$Constellation(P1,P2,Δt)=(f1,f2,Δt).

Analyse visueller Merkmale

Moderne Videoplattformen setzen in großem Umfang auf auf Deep Learning basierende Technologien zur Extraktion visueller Merkmale. Durch Deep-Learning-Modelle wie Convolutional Neural Networks (CNN) kann das System hochrangige semantische Merkmale von Videoframes extrahieren. Diese Merkmale erfassen das inhaltliche Wesen des Videos und nicht nur oberflächliche Pixelinformationen.

Der Vorteil dieser Methode liegt darin, dass sie auch Videos erkennen kann, die komplex bearbeitet wurden, etwa durch Farbkorrektur, Zuschnitt, Hinzufügen von Wasserzeichen oder Wiedergabe mit veränderter Geschwindigkeit. Selbst wenn sich ein Video auf Pixelebene deutlich verändert hat, bleiben seine tieferliegenden semantischen Merkmale häufig relativ stabil.

Zeitliche Konsistenzprüfung

Die Analyse der zeitlichen Konsistenz ist eine weitere wichtige Dimension zur Erkennung von Video-Reuploads. Diese Technik identifiziert doppelte Inhalte, indem sie die zeitlichen Beziehungen zwischen Videoframes und die Kontinuität von Bewegungen analysiert. Die Dual-level Detection ist ein wichtiger Durchbruch in diesem Bereich und umfasst zwei Ebenen: Video Editing Detection (VED) und Frame Scene Detection (FSD).

Das Modul zur Video Editing Detection bestimmt zunächst, ob ein Video bearbeitet wurde. Bei unbearbeiteten Videos verwendet das System Zufallsvektoren als Deskriptoren, um Rechenressourcen zu sparen. Bei bearbeiteten Videos führt das System eine tiefere Analyse auf Frame-Ebene durch, einschließlich der Prüfung, ob im Video mehrere Szenen zusammengeschnitten wurden.

Detaillierte Erläuterung der Kernalgorithmustechnologien

Familie der Perceptual-Hashing-Algorithmen

Der pHash-Algorithmus (Perceptual Hash) ist eine in der Erkennung von Videoduplikaten weit verbreitete Technik. Der Algorithmus erzeugt den Hashwert in folgenden Schritten: Zunächst wird das Bild auf eine Standardgröße von 32×32 Pixeln skaliert, anschließend wird die diskrete Kosinustransformation (DCT) angewendet, um die Frequenzbereichsmerkmale des Bildes zu extrahieren. Danach behält der Algorithmus den linken oberen 8×8-Bereich der DCT-Koeffizienten (den Niederfrequenzanteil) bei, berechnet den Mittelwert dieser Koeffizienten und erzeugt schließlich durch den Vergleich jedes Koeffizienten mit dem Mittelwert einen 64-Bit-Binär-Hashcode.

Der dHash-Algorithmus (Difference Hash) verfolgt eine andere Strategie: Er skaliert das Bild auf 9×8 Pixel und berechnet anschließend die Unterschiede zwischen benachbarten Pixeln. Ist ein Pixel heller als sein rechter Nachbar, wird im Hashcode eine 1 vermerkt, andernfalls eine 0. Diese Methode reagiert empfindlicher auf horizontale Veränderungen im Bild und kann die strukturellen Merkmale eines Bildes besser erfassen.

Tiefgehende Analyse des Audio-Fingerprinting-Algorithmus

Der Kern des Shazam-Algorithmus liegt in der Konstellationsdiagramm-Matching-Technik. Der Algorithmus wandelt das Audiosignal im Zeitbereich zunächst mithilfe der schnellen Fourier-Transformation (FFT) in eine Darstellung im Frequenzbereich um:

$STFT(t,f)={\sum }_{n=0}^{N-1}x(t+n)\cdot e^{-j2\pi fn}$STFT(t,f)=∑n=0N−1x(t+n)⋅e−j2πfn

Dabei bezeichnet $x(t+n)$x(t+n) die Audioabtastpunkte innerhalb des Zeitfensters, und $e^{-j2\pi fn}$e−j2πfn ist die komplexe Exponentialfunktion.

Der Prozess der Peak-Extraktion identifiziert durch das Festlegen eines Schwellenwerts markante Merkmalspunkte im Spektrogramm:

Die Technologie des selbstüberwachten Video-Hashings (SSVH) stellt eine der neuesten Anwendungen von Deep Learning in der Erkennung von Videoduplikaten dar. Sie verwendet eine hierarchische binäre Autoencoder-Architektur, bestehend aus einem Encoder und drei Decodern: einem vorwärtsgerichteten hierarchischen binären Decoder, einem rückwärtsgerichteten hierarchischen binären Decoder und einem globalen hierarchischen binären Decoder.

Der Encoder nutzt eine binäre LSTM-Struktur (BLSTM), die binäre Hash-Codes direkt erzeugen kann, ohne dass Nachverarbeitungsschritte erforderlich sind. Der Datenfluss des BLSTM folgt dem Muster eines Standard-LSTM, ergänzt jedoch am Ende eine Vorzeichenfunktion $b_t=sgn(h_t)$bt=sgn(ht), um eine binäre Ausgabe zu erzeugen.

Um das NP-schwere Problem der binären Optimierung zu lösen, verwendet der Algorithmus eine approximierte Vorzeichenfunktion:

Der Algorithmus zur Neuordnung nach zeitlicher Konsistenz ist eine Kerntechnologie für die Lokalisierung von Videosegmenten. Zunächst extrahiert der Algorithmus durch Keypoint-Aggregation und Deep Learning Bildmerkmale auf Bildebene. Anschließend nutzt er eine Mehrfach-k-d-Baum-Struktur für eine effiziente KNN-Suche und erhält so eine Menge von Kandidaten-Videosegmenten.

Die Innovation des Algorithmus liegt im Schritt des Prunings nach zeitlicher Konsistenz: Durch die Analyse der Zeitstempelinformationen und Sequenz-IDs der Kandidatensegmente werden passende Segmente sowie ihre zeitliche Position in der Sequenz präzise identifiziert. Mit dieser Methode kann eine Einzelbildabfrage in einer Datenbank mit 1 Million Frames in 83,96 Millisekunden abgeschlossen werden; in einer Datenbank mit 4,5 Millionen Frames beträgt die Abfragezeit 462,59 Millisekunden.

Analyse konkreter Implementierungsbeispiele

YouTube Content ID-System

Das Content ID-System von YouTube ist eine der ausgereiftesten Technologien zur Urheberrechtserkennung in der Branche. Das System verwendet eine mehrstufige Erkennungsstrategie:

Die erste Ebene ist der Abgleich von Audio-Fingerabdrücken. Das System erzeugt für jedes hochgeladene Video einen Audio-Fingerabdruck und gleicht ihn mit einer umfangreichen Referenzdatenbank ab. Selbst wenn das Audio in Tonhöhe oder Geschwindigkeit verändert oder mit Hintergrundrauschen versehen wurde, kann das System passende Inhalte weiterhin durch Spektralanalyse erkennen.

Die zweite Ebene ist die Analyse visueller Inhalte. Das System verwendet Deep-Learning-Modelle, um visuelle Merkmale des Videos zu analysieren, darunter Farbverteilung, Texturmuster und Objekterkennung. Diese Merkmale werden als hochdimensionale Vektoren codiert; die Videoähnlichkeit wird über die Berechnung der Kosinusähnlichkeit beurteilt.

Die dritte Ebene ist der Metadatenabgleich. Das System vergleicht Metadaten wie Titel, Beschreibung und Tags des Videos und trifft auf Grundlage der oben genannten technischen Ergebnisse eine Gesamtbewertung.

Doppelter Erkennungsmechanismus von TikTok/Douyin

Douyin und TikTok verwenden einen doppelten Erkennungsmechanismus, um den Besonderheiten von Kurzvideos gerecht zu werden:

Echtzeiterkennung: Während Nutzer ein Video hochladen, berechnet das System in Echtzeit den perzeptuellen Hash-Wert und den Audio-Fingerabdruck des Videos. Durch den schnellen Abgleich mit der bestehenden Datenbank kann das System offensichtliche Duplikatinhalte innerhalb weniger Sekunden erkennen.

Offline-Tiefenanalyse: Bei Videos, die die Echtzeiterkennung passieren, führt das System im Hintergrund eine tiefergehende Analyse durch. Es nutzt CNN-Modelle, um semantische Merkmale zu extrahieren und die inhaltliche Kreativität des Videos zu analysieren. Bei Videos, in denen leichte Änderungen erkannt werden, berechnet das System einen Ähnlichkeitswert; Inhalte, die den Schwellenwert überschreiten, werden als mutmaßlich wiederverwendet markiert.

Daten zur tatsächlichen Erkennungsleistung

Forschungsdaten zufolge kann moderne Audio-Fingerabdrucktechnologie unter Idealbedingungen eine Erkennungsgenauigkeit von 100 % erreichen:

• 1-Sekunden-Audiosegment: Erkennungsgenauigkeit 60%

• 2-Sekunden-Audiosegment: Erkennungsgenauigkeit 95.6%

• 5 Sekunden und mehr: Erkennungsgenauigkeit 100%

Bei der Videoerkennung erzielte die zweistufige Erkennungsmethode auf dem FIVR-200K-Datensatz eine Recall-Rate von 98.8% und auf dem VCSL-Datensatz eine Recall-Rate von 94.1%.

Die Leistung der Perceptual-Hashing-Technologie zeigt sich wie folgt:

• Verarbeitungsgeschwindigkeit: Verarbeitungszeit pro Einzelbild unter 1 Millisekunde

• Speichereffizienz: Für jedes Videobild werden nur 8 Byte Hash-Speicher benötigt

• Erkennungsgenauigkeit: Bei leicht veränderten Videos kann die Erkennungsgenauigkeit 85-90% erreichen

Herausforderungen und technologische Entwicklungstrends

Umgang mit adversarialen Angriffen

Mit dem weltweiten Boom von Kurzvideos entwickeln auch Content-Reuploader ihre Methoden zur Umgehung der Erkennung ständig weiter. Adversariale Angriffe gehören zu den wichtigsten aktuellen Herausforderungen. Angreifer versuchen, Erkennungssysteme zu täuschen, indem sie winzige Störsignale in Videos einfügen oder bestimmte Bearbeitungstechniken einsetzen.

Um diesen Herausforderungen zu begegnen, entwickeln Plattformen robustere Erkennungsalgorithmen. So analysiert beispielsweise die topologische Fingerprinting-Technologie mithilfe der Theorie der persistenten Homologie die topologische Struktur von Audiosignalen; diese Methode ist gegenüber Zeitdehnung und Tonhöhenänderungen widerstandsfähiger.

Multimodale Fusionserkennung

Moderne Videoerkennungssysteme setzen zunehmend auf Strategien der multimodalen Fusion. Durch die gleichzeitige Analyse visueller Videoinhalte, Audio-Merkmale, Textinformationen (wie Untertitel und Titel) sowie Verbreitungsmuster in sozialen Netzwerken kann das System einen umfassenderen Content-Fingerabdruck erstellen.

Der Vorteil dieser Methode liegt darin: Selbst wenn eine bestimmte Modalität absichtlich verändert wird, können die Merkmale anderer Modalitäten weiterhin wirksame Erkennungssignale liefern. Selbst wenn das Videobild stark verändert wurde, können beispielsweise seine Audio-Merkmale und Verbreitungsmuster weiterhin seine Natur als kopierter Inhalt offenlegen.

Optimierung für Edge Computing

In Zukunft entwickelt sich die Videoerkennung in Richtung Echtzeitfähigkeit und Leichtgewichtigkeit. Neue Algorithmusdesigns konzentrieren sich vor allem auf:

Recheneffizienz: Entwicklung leichtgewichtiger Erkennungsalgorithmen, die auf mobilen Geräten laufen können und die Abhängigkeit von Cloud-Diensten reduzieren.

Echtzeitfähigkeit: Umsetzung einer Echtzeiterkennung während des Video-Uploads statt des traditionellen Nachbearbeitungsmodells.

Datenschutz: Durchführung der Inhaltserkennung unter Wahrung der Privatsphäre der Nutzer, um eine Offenlegung der ursprünglichen Videoinhalte zu vermeiden.

Vergleich der Algorithmusleistung

Verschiedene Erkennungsalgorithmen haben jeweils eigene Vorteile und Einsatzszenarien:

MD5-Hashing eignet sich zur Erkennung völlig identischer Dateien und bietet extrem hohe Geschwindigkeit und Genauigkeit, kann jedoch keinerlei Änderungen verarbeiten.

Perceptual Hashing bietet ein gutes Gleichgewicht zwischen Geschwindigkeit und Robustheit, eignet sich zur Erkennung leicht veränderter Inhalte und ist die bevorzugte Technologie der meisten Plattformen.

Audio-Fingerprinting bietet eine äußerst hohe Erkennungsgenauigkeit für Audioinhalte und kann auch bei Hintergrundgeräuschen eine gute Leistung aufrechterhalten, weist jedoch eine relativ hohe Rechenkomplexität auf.

Deep-Learning-Methoden können den semantischen Inhalt von Videos verstehen und verfügen über starke Erkennungsfähigkeiten bei komplexen Bearbeitungen, benötigen jedoch große Mengen an Rechenressourcen und Trainingsdaten.

Die Zeitreihenanalyse ist besonders gut darin, das Zusammenfügen und Neuordnen von Videosegmenten zu erkennen, verarbeitet jedoch relativ langsam und wird in der Regel als sekundäres Validierungsverfahren eingesetzt.

In der Praxis setzen Videoplattformen in der Regel auf eine Strategie der Kombination mehrerer Algorithmen und wählen je nach Videomerkmalen und Erkennungsanforderungen dynamisch die am besten geeignete Algorithmuskombination aus. Diese mehrschichtige Erkennungsarchitektur gewährleistet sowohl eine umfassende Erkennung als auch Recheneffizienz und Kostenkontrolle.

Abschließende Gedanken