AI & Analytics

Databricks: Genie ZeroOps nu in open bèta voor datastromen

Databricks Blog
Databricks: Genie ZeroOps nu in open bèta voor datastromen

Samenvatting

Databricks Genie ZeroOps komt in open bèta en automatiseert het opsporen, onderzoeken en herstellen van problemen in datapijplijnen.

Databricks Genie ZeroOps: wat er gebeurt

Databricks maakt Genie ZeroOps beschikbaar als Public Beta. Een workspacebeheerder kan de functie activeren via de pagina Previews. De autonome agent detecteert pipelinefouten en stille problemen, zoals gewijzigde upstream-schema’s, ontbrekende updates of afwijkingen in datavolumes.

Genie ZeroOps gebruikt Unity Catalog, metadata en pipeline lineage om de oorzaak te onderzoeken. Het systeem doorloopt vijf stappen: detecteren, onderzoeken, verifiëren, melden en herstellen. Het voert SQL-queries uit, test voorgestelde oplossingen met unit-tests en dry runs in een sandbox en kan voor Git-backed Jobs automatisch een pull request aanmaken.

De bèta bevat functies die tijdens de private preview zijn toegevoegd. Teams kunnen inboxen delen, meldingen ontvangen via Slack, Teams of PagerDuty, eigen bedrijfsinstructies toevoegen en met één klik een pull request laten maken. Databricks baseerde de ontwikkeling op observaties uit meer dan 80.000 echte pipelineproblemen bij honderden bedrijven.

Waarom Databricks Genie ZeroOps belangrijk is

Pipelinebeheer bestaat niet alleen uit zichtbare jobfouten. Een tabel kan stoppen met bijwerken zonder alarm, waarna een dashboard pas later verkeerde cijfers toont. De gebruikelijke aanpak vraagt handmatig onderzoek van logs, broncode, upstream-tabellen en gerelateerde assets.

Genie ZeroOps brengt die informatie samen via metadata en lineage. Dat verkort niet automatisch elk onderzoek, maar verplaatst een deel van het werk van losse controles naar een gecontroleerde procedure met validatie en een voorgestelde codewijziging. De agent filtert bovendien meldingen op prioriteit en downstream-impact.

De private preview liet zien dat meer dan de helft van de gemelde problemen organisatiegebonden kennis nodig heeft voor triage en herstel. Daarom zijn aangepaste bedrijfsinstructies een functioneel onderdeel van de bèta, geen losse configuratie.

Concrete takeaway voor Databricks-teams

Activeer Genie ZeroOps eerst in een gecontroleerde workspace en leg vast welke bedrijfsinstructies, meldkanalen en Git-processen de agent mag gebruiken. Controleer voorgestelde wijzigingen via de sandbox en pull requests voordat je herstelacties toevoegt aan productieprocessen.

Lees het volledige artikel
Meer over AI & Analytics →