Inżynier danych skonfigurował crawlera AWS Glue do katalogowania danych w zasobniku S3, który zawiera zarówno pliki .csv, jak i .json. Crawler został ustawiony tak, aby wykluczał pliki .json, ale podczas uruchamiania zapytań Athena pliki .json są nadal przetwarzane. Inżynier musi to naprawić bez zmiany dostępu do plików .csv i chce uzyskać możliwie najkrótszy czas wykonywania zapytań. Jakie jest najlepsze rozwiązanie?

Przeniesienie plików .json do innej ścieżki w zasobniku S3 jest najlepszym rozwiązaniem, ponieważ pozwala na fizyczne oddzielenie danych, co jest najbardziej efektywną metodą optymalizacji zapytań Athena. Crawler AWS Glue może być następnie skonfigurowany tak, aby indeksował tylko ścieżkę zawierającą pliki .csv, co zapewni, że Athena będzie przetwarzać wyłącznie te pliki. Dostosowanie ustawień crawlera AWS Glue, aby wykluczyć pliki .json, jest konieczne, ale samo w sobie nie rozwiązuje problemu, jeśli pliki .json nadal znajdują się w tej samej ścieżce, którą crawler indeksuje. Crawler może je zignorować, ale inne procesy lub ręczne zapytania mogą nadal je uwzględniać, a co ważniejsze, Athena może nadal próbować je analizować, jeśli są w tej samej tabeli. Użycie konsoli Athena do wykluczania plików .json w zapytaniach jest nieefektywne, ponieważ wymagałoby modyfikacji każdego zapytania i nie zmniejszyłoby czasu skanowania danych, ponieważ Athena nadal musiałaby analizować metadane wszystkich plików. Użycie zasad zasobnika S3 do zablokowania dostępu do plików .json nie jest odpowiednie, ponieważ uniemożliwiłoby to dostęp do tych plików w ogóle, co może być niezgodne z innymi wymaganiami biznesowymi i nie rozwiązuje problemu optymalizacji zapytań dla plików .csv.