Je moet 200 miljoen JSON-documenten migreren naar een bestaande Azure Cosmos DB SQL API-container en upserts uitvoeren als documenten al bestaan. Het doel is om de doorvoer te maximaliseren, throttling automatisch af te handelen en codewijzigingen in een .NET-service te minimaliseren. Welke twee acties moet je ondernemen?

De Azure Cosmos DB .NET SDK (v3/v4) met AllowBulkExecution ingeschakeld is de meest efficiënte manier om bulkbewerkingen uit te voeren. Het stelt de SDK in staat om meerdere bewerkingen te batcheren en deze geoptimaliseerd naar de service te sturen, wat de doorvoer maximaliseert en throttling effectief afhandelt. Parallelle CreateItemAsync/UpsertItemAsync-aanroepen in combinatie hiermee benutten de bulkfunctionaliteit optimaal. De Azure Cosmos DB Bulk Executor-bibliotheek is een gespecialiseerde bibliotheek die specifiek is ontworpen voor bulkimport en -update en biedt de hoogste doorvoer voor grote datasets. Sequentieel invoegen op een enkele thread is te traag voor 200 miljoen documenten. Stored procedures zijn niet ontworpen voor bulkimport van miljoenen documenten en het aanroepen per document is inefficiënt. Een enkele Azure Functions-instantie met een queue-trigger serialiseert schrijfbewerkingen, wat de doorvoer ernstig beperkt.