Bir mühendis, bir Amazon CloudWatch Evidently projesinde iki özellik varyasyonu (Varyasyon A ve Varyasyon B) içeren bir A/B testi kurdu. Mühendis şimdi sadece Varyasyon A'yı test etmek ve uygulamanın endpoint'i çağrıldığında her zaman Varyasyon A'nın dönmesini sağlamak istiyor. Sadece mühendisin kullanımı için Varyasyon A'yı zorlamanın doğru yolu nedir?

Doğru cevap, mühendisin kullanıcı tanımlayıcısını hedefleyen bir özellik geçersiz kılma (feature override) eklemek ve geçersiz kılmayı Varyasyon A'yı sunacak şekilde ayarlamaktır. CloudWatch Evidently'deki özellik geçersiz kılmaları, belirli kullanıcı kimlikleri için belirli bir varyasyonu zorlamanıza olanak tanır. Bu, mühendisin kendi testleri sırasında yalnızca Varyasyon A'yı görmesini sağlar ve diğer kullanıcıları veya deneyin genel sonuçlarını etkilemez. Diğer seçenekler yanlıştır çünkü: "Tanımlayıcısı Varyasyon A olarak ayarlanmış bir özellik geçersiz kılma ekleyin ve varyasyon yüzdesini %100 olarak ayarlayın" seçeneği, belirli bir kullanıcıyı hedeflemez ve tüm kullanıcılar için Varyasyon A'yı zorlar, bu da istenen davranış değildir. "Tanımlayıcısı Varyasyon B olarak ayarlanmış bir deneyi projeye ekleyin ve trafik tahsisini %0 olarak ayarlayın" seçeneği, Varyasyon A'yı zorlamaz ve mevcut deneyi manipüle eder. "AWS account ID'sini tanımlayıcı olarak kullanarak projeye bir deney ekleyin ve deneyi Varyasyon A'yı sunacak şekilde ayarlayın" seçeneği, AWS hesap kimliğini kullanıcı tanımlayıcısı olarak kullanmak uygun değildir ve yeni bir deney eklemek mevcut A/B testini etkileyebilir.