SIDN Labs maakt ENTRADA open source

Met trots kondigen we aan ons ENTRADA platform als een open source project te lanceren. ENTRADA helpt onderzoekers en netwerk engineers om efficiënt grote hoeveelheden netwerkverkeer te analyseren, bijvoorbeeld om afwijkingen en bedreigingen te detecteren. We hebben ENTRADA ontwikkeld om DNS-verkeer te onderzoeken en daarmee de veiligheid en stabiliteit van de diensten van SIDN voor .nl-domeinnamen verder te verhogen (vandaar het acroniem: “ENhanced Top-level Domain Resilience through Advanced Data Analysis”).

Wat is ENTRADA?

In een notendop is ENTRADA een “big data” platform dat we hebben ontwikkeld om grote hoeveelheden netwerkgegevens te verwerken en snel te analyseren. In meer technisch termen is het een high-performance data-streaming warehouse (DSW).ENTRADA kan  deze prestaties leveren dankzij twee belangrijke kenmerken:

  • Het maakt gebruik van een geoptimaliseerd kolom-georiënteerd bestandsformaat (Apache Parquet)

  • Het maakt gebruik van een high-performance SQL zoekmachine (Apache Impala)

Voor onze prestatieanalyse en meer details verwijzen we graag naar ons research paper.

Wie kan het gebruiken

  • Domeinregistry’s die geïnteresseerd zijn in de ontwikkeling van DNS big data applicaties

  • Onderzoekers en netwerkengineers die een high-performance platform nodig hebben voor de analyse van netwerkverkeer

Belangrijkste kenmerken

  • Prestatie: analyseren van de Parquet-equivalent van 50 TB aan PCAP data in minder dan 3,5 minuten, met een klein 6-node cluster (4 data processing nodes)

  • Interface: gebruik gemakkelijke SQL- statements om je data te analyseren

  • Schaalbaar: je hoeft slechts meer nodes toe te voegen voor een snellere verwerking

  • Ingebouwde conversie van DNS/IP/TCP/UDP/ICMP netwerkgegevens naar Parquet data

  • Open-sourcee

ENTRADA-gebruik voor .nl

Het afgelopen jaar hebben we ENTRADA bij SIDN Labs gebruikt. Momenteel draait het op een betrekkelijk klein cluster van 6 nodes (met 4 data-nodes), dat ongeveer twee jaar aan DNS-verkeer van onze .nl-nameservers bevat. Dit komt overeen met meer dan 100 miljard query’s en antwoorden. Elke dag groeit de database met zo’n 400 miljoen query’s.We gebruiken ENTRADA als een platform om applicaties te ontwikkelen die gericht zijn op het verder vergroten van de stabiliteit en veiligheid van de .nl-zone en de wereldwijde internetinfrastructuur. In ENTRADA slaan we DNS-verkeer van .nl op en analyseren het om afwijkingen en bedreigingen te detecteren. Het heeft veel potentiële toepassingen: we werken bijvoorbeeld aan het implementeren van algoritmen om phishing te detecteren en voor de identificatie van botnetverkeer (https://irtf.org/raim-2015-slides/ic/moura.pdf).

Open source

We hebben besloten om ENTRADA open source te maken, omdat we geloven dat de bredere netwerkanalysegemeenschap daar ook profijt van kan hebben. Door ENTRADA te lanceren als een open source-project, hopen we een community van ENTRADA-ontwikkelaars en gebruikers te bewerkstelligen. Hierdoor ontstaan mogelijk nieuwe ENTRADA-toepassingen die de stabiliteit en veiligheid van het internet vergroten en die we zelf niet hadden voorzien.Heb je vragen over het gebruiken of het draaien van ENTRADA in je organisatie, mail dan naar entrada {at} sidnlabs.nl.Voor meer informatie, zie de ENTRADA-projectsite op: http://entrada.sidnlabs.nl/

Reacties

Maarten_Wullink_thumb

Maarten Wullink

Research engineer

+31 26 352 55 00

maarten.wullink@sidn.nl

  • donderdag 6 september 2018

    Nieuws

    Hackers stelen salaris via gehackte e-mailadressen

    veilig+wachtwoord+tumbnail

    Tips voor veilige wachtwoorden

    Lees meer
  • dinsdag 30 oktober 2018

    Nieuws

    Wees alert op domeinnaamfraude met Tikkie

    Tikkie-thumb

    Case: domeinnaamfraude met tikkie

    Lees meer
  • donderdag 24 augustus 2017

    Weblog

    SIDN Labs en TU-Delft dienen eindrapport onderzoek voor ICANN in

    Thumb-growing-chart

    Aantal misbruikte domeinnamen groeit

    Lees meer

Sorry

De versie van de browser die je gebruikt is verouderd en wordt niet ondersteund.
Upgrade je browser om de website optimaal te gebruiken.