Databricks: Atlassian bouwt OCSF security lakehouse

Samenvatting

Databricks ondersteunt Atlassians OCSF-security lakehouse, dat 44 miljard events per dag normaliseert en queries tot 95% versnelt.

Databricks en OCSF: wat er gebeurt

Atlassian standaardiseerde beveiligingstelemetrie op het Open Cybersecurity Schema Framework en bouwde het lakehouse op Databricks. De organisatie verwerkt 44 miljard events per dag en brengt meer dan 500 productiesignalen voor dreigingsdetectie samen in één schema.

Die keuze leverde concrete resultaten op: 80 procent lagere ingestiekosten, 60 procent hogere productiviteit voor analisten en query’s die van ongeveer 45 seconden naar 2 à 3 seconden gingen. Atlassian kreeg hiervoor de Databricks 2026 Transformation Award.

Waarom Databricks en OCSF belangrijk zijn

Atlassian groeide in twintig jaar en voegde via overnames uiteenlopende logformaten toe. Zonder gemeenschappelijke structuur moesten analisten gegevens na binnenkomst normaliseren, terwijl correlatie tussen bronnen beperkt bleef en SIEM-pijplijnen de hoeveelheid telemetry niet bijhielden.

OCSF biedt volgens Atlassian een volledig open, sterk getypeerd schema met validatie, compressie en uitbreidbaarheid. De ongeveer 40.000 velden bewaren de semantische context bij de data. Dat maakt één dataset mogelijk voor bijvoorbeeld vijf kwetsbaarheidsscanners, in plaats van afzonderlijke datasets per tool. ECS en UDM waren alternatieven, maar boden volgens het team niet dezelfde combinatie van openheid en structuur.

Databricks levert hiervoor ACID-transacties voor migraties tussen schemaversies en automatisch schalende Spark-clusters voor gedeelde workloads. Atlassian koos bovendien voor ETL: de verwerking gebeurt tijdens de datastroom, zodat detectie direct kan plaatsvinden en data al onderweg wordt gecomprimeerd.

Concrete takeaway voor Databricks en OCSF

Breng voor een securitylake eerst alle logbronnen, schema-afwijkingen en querytijden in kaart. Vergelijk daarna OCSF met ECS en UDM op openheid, validatie en uitbreidbaarheid, en bepaal per pipeline of ETL tijdens ingestie beter past dan ELT achteraf.