Sie erhalten Streaming-Inserts mit möglichen doppelten Zeilen (eindeutige ID + Zeitstempel vorhanden). Welches Abfragemuster sollten Sie für interaktive Abfragen verwenden, die Duplikate ausschließen?

Die ROWNUMBER-Fensterfunktion ist die effektivste Methode, um Duplikate basierend auf einer eindeutigen ID und einem Zeitstempel zu entfernen. Durch PARTITION BY uniqueid wird die Datenmenge nach jeder eindeutigen ID gruppiert. Innerhalb jeder Partition ordnet die Funktion den Zeilen eine fortlaufende Nummer zu. Wenn Sie dann WHERE rownumber = 1 anwenden, wählen Sie nur die erste Instanz jeder eindeutigen ID aus, was bei Streaming-Inserts mit Duplikaten die gewünschte deduplizierte Zeile liefert (oft die neueste, wenn ORDER BY im OVER-Klausel verwendet wird). Die Option ORDER BY DESK und LIMIT 1 würde nur eine einzige Zeile aus der gesamten Tabelle zurückgeben, nicht pro eindeutiger ID. GROUP BY mit SUM ist für Aggregationen gedacht, nicht für die Auswahl einzelner, deduplizierter Zeilen. Die LAG-Funktion vergleicht eine Zeile mit der vorherigen und ist nicht direkt dafür geeignet, die erste oder letzte Instanz eines Duplikats zu identifizieren.