Routers met ruis: een onderzoek naar de samenstelling van routecollectordata

BGP: grondbeginselen en probleemstelling

Een van de oorspronkelijke ontwerpdoelen van BGP is dat AS'en veranderingen in bereikbaarheid kunnen doorgeven, zoals nieuw beschikbare prefixen, ingetrokken prefixen of andere gewijzigde attributen. Hiervoor is het noodzakelijk dat elke update nieuwe routeringsinformatie bevat, zodat routers consistente en geconvergeerde forwardingtabellen kunnen bijhouden. In de praktijk genereert BGP echter vaak grote aantallen herhaalde updates. Zowel RIPE RIS als RouteViews hebben recentelijk een toenemend aantal incidenten waargenomen waarbij een kleine subgroep van hun peers een aanzienlijk volume aan updates genereert. In lijn met deze berichten observeerden wij tot wel 2,93 miljard updates per dag van één enkele collector-peer (AS140627). Ter vergelijking: een andere collector-peer (AS132280) produceerde over een vergelijkbare periode slechts 307 updates per dag. Dit enorme verschil onderstreept de onevenredig zware wissel die een kleine groep peers op routeringsarchieven kan trekken.

Pathologische BGP-ruis en de motivatie voor ons onderzoek

Verschillende operationele problemen, zoals aanhoudende route flapping en de effecten van transitieve BGP-community's, kunnen leiden tot terugkerende patronen van identieke of vrijwel identieke updates met dezelfde of vergelijkbare attributen. We beschouwen een aankondiging als ruis wanneer deze binnen een kort tijdsinterval (bijvoorbeeld een minuut) herhaaldelijk dezelfde prefix en attributen doorgeeft of snel oscilleert tussen een klein aantal AS-paden of community-waarden, zonder dat er sprake is van een nieuwe waarneembare routeringsstatus. We noemen dergelijke updates ruis omdat ze metingen vervuilen, downstream analyses bemoeilijken en voor veel operationele en onderzoeksdoeleinden weinig extra waarde toevoegen.

Tot slot, hoewel er op basis van eerder onderzoek naar BGP-ruis mogelijke oorzaken zijn geopperd, is er weinig bekend over hoe gangbaar het is, wat de kenmerken ervan zijn, op welke manier het zich manifesteert in MRT-archieven en hoe het met zekerheid kan worden onderscheiden van authentieke routeringsgebeurtenissen. Ons onderzoek vult deze leemte door ruis in reeds verzamelde MRT-archieven van RouteViews te kwantificeren en karakteriseren.

Bevinding 1: BGP-updates zijn over een periode van 13 jaar gedomineerd door een kleine groep peers

Ons eerste doel was om na te gaan of hoogfrequente herhaalde updates worden veroorzaakt door een kleine groep peers.

We stelden voor elk collector-peerpaar in RouteViews een dagelijkse tijdreeks samen van het aantal updates dat over een periode van 13 jaar werd gegenereerd. Vervolgens rangschikten we deze paren naar updatevolume en groepeerden we ze in 4 percentielklassen op basis van hun bijdrage: 95–100%, 75–95%, 50–75% en lager dan 50%. Hierdoor konden we de verdeling van updates over de peers kwantificeren en de meest dominante bijdragers identificeren. Tot slot berekenden we per collector-peerpaar het cumulatieve aandeel in updates om de grootste bijdragers over de gehele periode te bepalen en voegden we de overige peers samen onder others.

We zagen een constante groei in de hoeveelheid BGP-data die door RouteViews sinds 2012 werd verzameld, oplopend tot 1 miljard updates per dag in 2025, zoals weergegeven in Figuur 1 (boven). Concreet registreerden de RouteViews-collectors in 13 jaar tijd 2,6 biljoen updates afkomstig van ≈1,1 duizend collector-peerparen, die samen 649 unieke AS-nummers vertegenwoordigen. Hiervan waren de peers in de bovenste 5% (gemiddeld 16 peers per dag) goed voor 1,5 biljoen (55,86%) van de in totaal 2,6 biljoen updates.

Daarentegen genereerde de peers in de onderste 50% (gemiddeld 153 peers per dag) 136,5 miljard updates (5,17% van het totaal). Dit betekent dat een peer in de bovenste 5% gemiddeld 16,4 miljoen updates per dag registreerde, tegenover 169,5 duizend voor peers in de onderste 50%.

Figuur 1: Aandeel dagelijkse updates van RouteViews-peers (boven) en grootste bijdragers over de gehele periode (onder). De peers in de bovenste 5% genereerden gemiddeld 303 miljoen updates per dag, goed voor 55,2% van het totale aantal dagelijkse updates, terwijl de onderste 50% 29,2 miljoen updates per dag genereerde (5,3%).

Figuur 1 (onder) toont het aandeel updates dat werd gegenereerd door de collector-peers met de grootste bijdragen. Van de 1066 unieke collector-peerparen genereerde alleen al de top 5 (0,47% van alle peers) 674,9 miljard updates, wat neerkomt op 26,67% van het totale aantal updates gedurende de 13 jaar. AS140627 was alleen al goed voor ≈14% van alle updates en genereerde zelfs meer dan twee derde (69,24%) van alle updates tussen oktober 2021 en maart 2022. We zagen vergelijkbaar afwijkend gedrag bij AS58511 (7,40% van alle updates) en AS34968 (2,64% van alle updates). Tot slot waren op 20 maart 2022 slechts 11 collector-peers samen verantwoordelijk voor ongeveer 90% van alle waargenomen updates.

Samenvattend laten onze bevindingen zien dat een kleine groep collectors en hun peers verantwoordelijk was voor een onevenredig groot aandeel van de updates in de afgelopen 13 jaar. Bij meetonderzoeken waarbij gebruik wordt gemaakt van deze BGP-updates dient rekening te worden gehouden met mogelijke vertekening door een klein aantal bijzonder actieve peers.

Bevinding 2: Een klein deel van de sessies en prefixen is verantwoordelijk voor het merendeel van de updates in december 2021

Aangezien het hoge volume aan herhaalde updates grotendeels werd veroorzaakt door slechts enkele peers, wilden we meer inzicht krijgen in hoe de updates verdeeld waren over sessies (routeringsverbindingen tussen peers en collectors), prefixen en AS-paden.

We berekenden voor elke sessie per minuut het aandeel in de updates en gebruikten deze waarden om een tijdreeks op te bouwen. Vervolgens bepaalden we voor elke sessie het gemiddelde procentuele aandeel over de gehele maand (december 2021). Daarna gebruikten we deze waarden om samenvattende statistieken te berekenen, waarmee we de stabiliteit van een sessie in de loop van de tijd konden beoordelen. Zie onze paper voor meer informatie.

We constateerden een zeer ongelijkmatige verdeling van de updates. Zo was de bijdrage van de meeste BGP-sessies relatief klein en stabiel, maar werd het updateverkeer bij vlagen gedomineerd door een klein deel van de sessies (Figuur 2). Concreet waren de 19 meest actieve sessies (ongeveer 2% van alle sessies) goed voor meer dan twee derde van het totale aantal updates in december 2021, terwijl de overige 98% van de sessies slechts zo'n 28,7% van de updates genereerde. Daarnaast was één enkele aan AS140627 gekoppelde sessie verantwoordelijk voor een uitzonderlijk groot aandeel van de updates: gemiddeld 28,67% van het updateverkeer per minuut gedurende de maand, met op sommige dagen pieken van rond de 82%.

Figuur 2: Variabiliteit in de updateverdelingen tussen BGP-sessies: Terwijl de meeste sessies relatief stabiel bleven, was 140627-218.100.76.17 gedurende de maand bij vlagen dominant, met een gemiddeld aandeel per minuut dat rond de 28,67% schommelde.

Tot slot zagen we bij de analyse van prefixen en AS-paden een vergelijkbare scheve verdeling van de updates. Zo was ongeveer 17% van de prefixen verantwoordelijk voor 90% van alle updates, terwijl slechts 2 AS-paden circa 25% van het totale updatevolume voor hun rekening namen. Deze patronen suggereren dat herhaalde updates vaak geconcentreerd zijn langs specifieke routeringspaden, mogelijk als gevolg van verkeerd geconfigureerde routers of routers met softwarefouten binnen die AS-paden.

Bevinding 3: Veelvuldig aangekondigde prefixen vertonen niet bij alle collectors gelijke aankondigingspatronen

Ons uiteindelijke doel was om vast te stellen of vaak aangekondigde prefixen vergelijkbare updatepatronen vertonen bij alle collectors of alleen bij specifieke collectors.

We analyseerden de MRT-archieven van december 2021 en richtten ons op uitzonderlijk hoogfrequente prefixen. We gebruikten de Perth-collector als referentiepunt om de bovenste 1% van prefixen op basis van updatevolume te identificeren, omdat deze collector tijdens ons onderzoek consequent de hoogste aantallen updates produceerde. Deze 841 prefixen noemden we onze kandidaatset. Vervolgens volgden we deze prefixen om hun zichtbaarheid binnen de RouteViews-collectors vast te stellen en selecteerden we de 10 belangrijkste collectors voor vergelijking, aangezien zij samen meer dan 99,7% van de kandidaatprefixen waarnemen. Daarna voegden we de aankondigingen van de prefixen uit onze kandidaatset die bij de overige 21 collectors werden waargenomen samen in rest, met uitzondering van rvs6 (een collector die uitsluitend IPv6-routes verzamelt). Tot slot vergeleken we het aantal updates dat voor deze prefixen werd waargenomen om te beoordelen of hun aankondigingspatronen bij alle collectors voorkwamen of beperkt bleven tot specifieke collectors.

Ten eerste zagen we consequent hogere aantallen updates voor alle 841 prefixen uit de kandidaatset bij de Perth-collector, met een gemiddeld updatevolume van 3,3 miljoen per prefix. Tegelijkertijd registreerden de Linx- en eqix-collectors in december 2021 een gemiddeld volume van respectievelijk 253 duizend en 552 duizend voor dezelfde 841 prefixen, wat een duidelijk contrast in gedrag tussen de collectors laat zien.

We namen een vergelijkbaar duidelijk patroon waar bij de rvs6-collector, een collector die uitsluitend IPv6-routes verzamelt. Slechts 4 IPv6-prefixen (0,48% van onze kandidaatset) vertoonden ruis bij rvs6, maar bleven stabiel bij alle andere collectors. AS14210 (een CDN-/streamingprovider) en AS208046 waren de oorsprong van deze 4 IPv6-prefixen, die in december 2021 ≈15–19 miljoen keer werden aangekondigd. Eén enkele peer van de rvs6-collector genereerde 1,96 miljard updates (≈73,4% van het totale aantal updates bij rvs6), terwijl de peers in de top 5 samen goed waren voor 82,1%.

We kunnen dus concluderen dat de aanhoudende extreem hoge aantallen updates van onze kandidaatset bij de Perth- en rvs6-collectors duidelijke uitschieters vormen ten opzichte van de andere collectors. Opvallend is dat 98,93% van de veelvuldig aangekondigde prefixen bij de Perth- en rvs6-collectors stabiel gedrag vertoonde bij de overige collectors. Dit suggereert dat de overtollige updates waarschijnlijk worden gegenereerd door specifieke routers langs bepaalde AS-paden, mogelijk als gevolg van verkeerde configuraties of softwarefouten, en niet door de prefixen of hun oorspronkelijke AS'en.

Discussie: de interpretatie van ruis in BGP-updatepatronen

Ons onderzoek laat zien dat ruis in BGP-updates sterk geconcentreerd is en vaak beperkt blijft tot een klein aantal collector-peers, sessies en AS-paden. Zo kan een prefix bij de ene collector ruis vertonen, maar bij andere collectors stabiel blijven. Op basis van deze analyse lijkt het in eerste instantie alsof bepaalde oorspronkelijke AS'en of prefixen verantwoordelijk zijn voor de waargenomen ruis. Onze resultaten wijzen er echter op dat ruis vaker voortkomt uit gedragingen langs het AS-pad – mogelijk als gevolg van routers met softwarefouten of een verkeerde configuratie – en niet zozeer inherent is aan het oorspronkelijke AS of de prefix zelf. Meer concreet hebben we vastgesteld dat een oorspronkelijk AS meerdere prefixen aankondigt, waarvan sommige ruis vertonen terwijl andere stabiel blijven, afhankelijk van de gevolgde AS-paden. Gezien deze complexiteit moeten operators van routecollectors buitensporige updatestormen van bepaalde peers niet aanpakken door deze peers simpelweg uit te schakelen of veelvuldig aangekondigde prefixen te filteren. In plaats daarvan moeten ze achterhalen welke sessie de ruis veroorzaakt en samenwerken met de betrokken operators om het probleem op te lossen terwijl de connectiviteit van andere stabiele sessies van de peers in kwestie behouden blijft.

Inzicht in deze complexe problemen is tevens essentieel voor een correcte interpretatie van BGP-updates. Daarom moet in meetonderzoeken rekening worden gehouden met de onevenredig grote updatebijdragen van een klein aantal collector-peers, om een accurate weergave van de routeringsdynamiek te waarborgen en vertekende interpretaties te voorkomen. Hoewel het essentieel blijft om MRT-archieven in hun geheel te bewaren om afwijkend routeringsgedrag te kunnen diagnosticeren en inzicht te krijgen in anomalieën in internetroutering, zijn wij uiteindelijk van mening dat onderzoekers, afhankelijk van hun meetdoelen, baat kunnen hebben bij het verwijderen van overtollige updates.

Voor de toekomst

Het is onze bedoeling om deze analyse uit te breiden naar andere collector-infrastructuren om na te gaan of we vergelijkbare ruispatronen ook op andere collectorplatforms kunnen waarnemen. Daarnaast willen we samenwerken met netwerkoperators om meer inzicht te krijgen in de mogelijke oorzaken van hardnekkige, herhaalde updates, zoals verkeerd geconfigureerde routers, implementatieproblemen en configuratiekeuzes binnen specifieke routeringspaden. Tot slot zijn we van plan te evalueren hoe het verwijderen van hoogfrequente aankondigingen meetonderzoeken beïnvloedt, door onze opgeschoonde data toe te passen op bestaande onderzoeken en te kijken of we vergelijkbare resultaten kunnen behalen.

Met dank aan

Onze dank gaat uit naar het programma Network Security van het Twente University Centre for Cybersecurity Research (TUCCR) onder subsidienummer 20003215. Het werk van Cristian maakte tevens deel uit van de projecten CATRIN en UPIN, die beide financiering ontvingen van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO).