Een Guide voor Data Ingestion Tooling

Bij het selecteren van een ingestie-hulpmiddel voor je moderne data stack moet je de volgende dingen overwegen: de vaardigheden van je team, de behoefte aan real-time replicatie en de datavolumes voor kosten- en prestatie-effecten. Robuustheid is essentieel, vooral voor cruciale toepassingen. Beoordeel ook de implementatiemogelijkheden en aangepaste connector-ontwerpen, omdat elke tool kan variëren in de mogelijkheden die het biedt. Als je van plan bent een van de cloudoplossingen te gebruiken, is het ook belangrijk om te kijken naar de correlatie van datavolumes met de prijsstelling.

In deze post vergelijken we Fivetran, Airbyte en Meltano, om je te helpen het ideale hulpmiddel zelfverzekerd te vinden.

Waarom heeft u een data ingestie tool nodig?

Data-inwinningstools spelen een cruciale rol in moderne data-stacks door de extractie en het laden van gegevens uit verschillende bronnen naar een gecentraliseerde locatie, zoals een datawarehouse of datameer, te vergemakkelijken. Deze tools zijn essentieel om organisaties in staat te stellen geïnformeerde beslissingen te nemen op basis van nauwkeurige en actuele gegevens.

De belangrijkste functie van data-inwinningstools is om verbinding te maken met verschillende gegevensbronnen, gegevens in verschillende formaten te extraheren, indien nodig te transformeren en deze naar de doelbestemming te laden. Ze zijn verantwoordelijk voor het efficiënt en betrouwbaar verwerken van gegevensverplaatsing, gegevensintegratie en gegevenssynchronisatie. Voorbeelden van gegevensbronnen kunnen uw CRM zijn (bijv. Hubspot), factureringssoftware zoals Exact, marketingtools en uw eigen operationele databases.

In het kort: Airbyte, Fivetran en Meltano voor data ingestie

Hieronder volgt een vergelijking van drie producten die worden gebruikt voor ingestie als onderdeel van een moderne data stack: Fivetran, Airbyte en Meltano. Ze zijn nuttig in verschillende situaties, met verschillende afwegingen. Kort gezegd:

• Fivetran is volledig beheerd en heeft meer volwassen connectors. Technische ervaring kan nodig zijn om aangepaste connectors in te stellen of om verbinding te maken met bijvoorbeeld PostgreSQL, wat meer configuratie vereist. Fivetran kan zeer duur zijn.
• Airbyte kan worden gebruikt met hun cloudservice of door zelf de open-source variant te implementeren. Kosten zijn lager en je hebt veel meer controle bij het zelf implementeren van de service. Hun ingebouwde connectors zijn echter veel minder volwassen en de meeste bevinden zich nog in de ontwikkelings- en testfase. Sommigen zeggen dat Airbyte nog niet stabiel/snel genoeg is voor productiegebruik.
• Meltano ruilt een gebruiksvriendelijke ervaring via een webinterface in voor een op ontwikkelaars gerichte ervaring. Ze bieden geen gebruikersinterface en vertrouwen in plaats daarvan op (versie-gecontroleerde) configuratiebestanden en de CLI. Connectors (taps en targets genoemd) zijn gebaseerd op de Singer-specificatie. Veel van deze connectors zijn in het verleden geschreven, hoewel ze niet noodzakelijk bedoeld zijn voor gebruik in Meltano. Ze worden vaak onderhouden door derden, met onduidelijke ondersteuning.

Kwaliteit van bestaande connectors

Laten we eerst kijken naar de belangrijkste functionaliteit van elk ingestie-hulpmiddel, namelijk de data connectors die ze gebruiken.

Airbyte Connectors

Hoewel Airbyte veel connectors heeft, bevinden de meeste zich in de alfa- of bètafase (connector catalogus). Dit kan klanten weinig vertrouwen geven wanneer ze de nieuw toegevoegde Airbyte-interface in hun infrastructuur bekijken.

We raden ten zeerste af om alfa-releases te gebruiken voor productiegevallen en bieden geen Cloud Support SLA’s voor deze producten, functies of connectors. (bron)

Het is belangrijk op te merken dat Airbyte expliciet adviseert om geen alfa-releases te gebruiken voor productiegevallen. Als gevolg hiervan bieden ze geen Cloud Support SLA’s voor deze producten, functies of connectors, zoals vermeld in hun bron. Dit betekent dat als je problemen of uitdagingen ondervindt met alfa-connectors, er mogelijk geen speciale ondersteuning beschikbaar is. In de context van open-source is de ondersteuning van Airbyte beperkt tot een community slack en is er geen officieel ondersteunings-SLA van kracht.

Ter verdediging van Airbyte heeft het bedrijf openlijk gedeeld dat hun alfa-connectors nog niet klaar zijn voor productiegebruik, waarbij ze de nadruk leggen op hun inzet voor kwaliteit en betrouwbaarheid. In plaats daarvan moedigen ze gebruikers aan om bèta-connectors te verkennen

, die een hoger synchronisatiesuccespercentage van 93% hebben, in tegenstelling tot het 90% tarief dat werd gemeld voor alfa-connectors in januari 2023, zoals vermeld in deze bron. Deze gegevens bieden waardevolle inzichten in de prestaties van deze connectors en helpen gebruikers geïnformeerde beslissingen te nemen over hun integratiekeuzes. Hun pagina met beschrijvingen van de releasefasen van een connector legt in detail uit welke tests hun connectors moeten doorstaan voordat ze uit de alfa- of bètafase kunnen gaan.

Kortom, Airbyte heeft het potentieel om in de toekomst een uitstekende bron te zijn van goed geteste en robuuste connectors, maar op dit moment nog niet als je zeer hoge betrouwbaarheid van je data-connectors nodig hebt.

Fivetran Connectors

Wat betreft transparantie over de implementatie van hun connectors, hanteert Fivetran een andere aanpak dan Airbyte, waardoor we beperkte informatie hebben om te delen. Hoewel Fivetran zonder twijfel een robuust product is, zijn hun connectors volledig gesloten bron. Een aspect dat echter kristalhelder is, is de prijsstelling, die gepaard gaat met een aanzienlijk prijskaartje.

Meltano Connectors

Er zijn veel connectors (taps/targets) beschikbaar voor Meltano (zie hier). Het is gebaseerd op de open-source Singer specificatie, die ook werd gebruikt door Stitch, waarvoor veel connectors zijn ontwikkeld (zie hier). Airbyte beweert dat de kwaliteit van deze connectors sterk kan variëren en dat veel ervan kapot kunnen zijn door schema-wijzigingen en zonder ondersteuning kunnen achterblijven (zie hier).

Implementatie van aangepaste data-connectors

Het implementeren van aangepaste data-connectors is iets dat vroeg of laat aan de orde komt, en wanneer dat gebeurt, wil je voorbereid zijn.

Airbyte: Aanpasbaarheid en Uitbreidbaarheid

Airbyte hanteert een andere aanpak en benadrukt aanpasbaarheid en uitbreidbaarheid. Connectors in Airbyte implementeren het Airbyte-protocol en kunnen op drie manieren worden gemaakt: met behulp van low-code connectors, een connector builder UI, of door meer complexe connectors te bouwen met Python of Java en de Airbyte Connector Development Kit (CDK). De openheid van het platform stelt je in staat om connectors te bouwen die aansluiten bij jouw unieke data behoeften, waardoor Airbyte een aantrekkelijke keuze is voor diegenen die op zoek zijn naar een op maat gemaakte data-integratieoplossing.

Fivetran: Gestroomlijnde Data Pipelines met een Hands-off Aanpak

Voor degenen die op zoek zijn naar een gestroomlijnde data-integratieoplossing, biedt Fivetran een hands-off aanpak bij het bouwen van data pipelines. Het opzetten van aangepaste connectors in Fivetran houdt het gebruik van een cloudfunctie in, zoals beschreven in hun documentatie. Het is duidelijk dat hun aanbod meer gericht is op de hands-off aanpak van het bouwen van data pipelines.

Bron afbeelding: https://fivetran.com/docs/functions

Meltano: Volgen van de Gestandaardiseerde Singer Specificatie

Meltano volgt de goed gevestigde Singer-specificatie, waarbij “taps” worden gebruikt om data records uit bronnen te halen en “targets” om deze records op te slaan in de gewenste bestemmingen. De Singer-specificatie standaardiseert het berichtformaat voor taps en targets, wat een gestructureerde en gestandaardiseerde aanpak biedt voor het verwerken van data. Hoewel de methode van Meltano in lijn is met de Singer-specificatie, is het belangrijk op de hoogte te zijn van de meningen gedeeld door Airbyte over Meltano/Singer, die te vinden zijn in deze informatieve blog posts:

• Waarom je je Data Pipeline niet op Singer moet bouwen

• Airbyte vs. Meltano: Waarom Airbyte niet op Singer is gebouwd

  

  Bron afbeelding: https://dagster.io/blog/dagster-meltano-integration-tutorial

Implementatie & Configuratie: Een Vergelijkend Overzicht

Airbyte biedt zowel een open-source optie als een cloud-gehoste oplossing. De open-source versie biedt de flexibiliteit om het lokaal, in containers of op Kubernetes uit te voeren. De webinterface maakt configuratie een fluitje van een cent voor beide opties.

Fivetran staat als een robuuste SaaS-applicatie, maar de hosting is beperkt tot hun cloud-infrastructuur. Configuratie is eenvoudig dankzij de gebruiksvriendelijke webinterface, hoewel het exporteren van configuraties uitdagend kan zijn. Het verlaten van de Fivetran cloud kan lastig zijn, omdat je hun oplossing niet zelf kunt hosten.

Meltano biedt een open-source variant

en een bèta-versie van een beheerde cloud-oplossing. De open-source variant biedt veelzijdigheid door lokaal of in de cloud te draaien, met behulp van een CLI en configuratiebestanden. Hoewel het geen webgebaseerde interface heeft voor eenvoudige configuratie, liggen de voordelen in versiebeheer, het opslaan en herstellen van configuraties met gemak. Ontwikkelaars kunnen updates toepassen op Meltano, waardoor het een uitstekende keuze is voor mensen met meer technische expertise.

Fivetran en Airbyte zijn toegankelijk voor niet-ontwikkelaars met hun intuïtieve webgebaseerde interfaces, ideaal voor snelle en efficiënte setups. Het exporteren of versiebeheer van configuraties kan echter een beperking zijn.

Daarentegen neemt Meltano een op ontwikkelaars gerichte benadering, gericht op code en configuratiebestanden. Hoewel het geen webgebaseerde interface heeft, biedt de integratie met Dagster en Airflow opties voor het plannen van data pipelines. Configuraties voor bronnen, doelen en specifieke pipelines blijven taken die zijn gebaseerd op code, wat het ideaal maakt voor ontwikkelaars met meer technische expertise.

Vergelijking van Ingestie-hulpmiddelen op Prijsstelling

Airbyte: Cloud Prijsstelling met Credits

Airbyte Cloud hanteert een prijssysteem op basis van credits, waarbij elke credit $2,50 kost. Kijk op hun prijsstellingpagina voor meer details. De pagina geeft ook de creditkosten weer voor verschillende soorten dataverwerking, zoals het lezen van API-bronnen (6 credits per miljoen rijen) en het lezen van databases, datawarehouses en bestandsbronnen (4 credits per GB). Het schrijven naar databases en datawarehouse-bestemmingen brengt geen extra kosten met zich mee. Bijvoorbeeld, het importeren van een database van iets meer dan 7 GB groot met 30 miljoen rijen zou ongeveer $70 kosten (berekend tegen 4 credits per GB). Daarentegen zou het gebruik van het starterplan van Fivetran voor dezelfde taak meer dan $3000 kosten. Het aanzienlijke prijsverschil tussen deze services is duidelijk.

Fivetran: Prijsstelling op basis van Maandelijks Actieve Rijen

De prijsstructuur van Fivetran is gebaseerd op Maandelijks Actieve Rijen (MAR), berekend als het aantal toegevoegde of bijgewerkte rijen. Kosten per MAR variëren afhankelijk van het plan en het gebruik, met gedetailleerde informatie beschikbaar hier. Zo kost het verwerken van 1 miljoen MAR per maand in een starterplan ongeveer $500 per maand, terwijl het in een standaardplan ongeveer $750 per maand zou zijn. Voor het vergelijken van functies tussen plannen, raadpleeg de pagina met functievergelijking.

Meltano: Cloud-oplossing in Bèta

Meltano fungeert uitsluitend als open-source product, met een cloud-oplossing in bèta. De prijsstelling is op dit moment nog niet beschikbaar. De enige kosten die worden gemaakt voor het gebruik van Meltano als OSS hebben betrekking op hosting (cloud/on-premise) en mogelijk extra engineering-arbeid voor het onderhouden van de service.

Conclusie: Navigeren door het landschap van Ingestie-hulpmiddelen

In deze vergelijking van drie populaire ingestie-hulpmiddelen - Fivetran, Airbyte en Meltano - hebben we de verschillende functies, prijsmodellen en mogelijkheden die ze bieden onderzocht. Fivetran staat als een volledig beheerde oplossing, uitblinkend in volwassen connectors en gebruiksgemak, maar komt met een hoger prijskaartje. Aan de andere kant biedt Airbyte een flexibele cloud- en open-source oplossing, waardoor meer controle mogelijk is en de kosten lager zijn, hoewel hun connectors nog steeds in ontwikkeling zijn. Meltano neemt daarentegen een op ontwikkelaars gerichte aanpak met een open-source oplossing, die vertrouwt op code en configuratiebestanden voor maatwerk, wat het ideaal maakt voor mensen met meer technische expertise.

Uiteindelijk hangt de ideale keuze onder deze hulpmiddelen af van de specifieke eisen, middelen en expertise van jouw organisatie. Door zorgvuldig de genoemde factoren te overwegen en de sterke punten van elk hulpmiddel te begrijpen, kun je naadloos data integreren in jouw stack, waardoor een solide basis wordt gelegd voor effectieve en data-gedreven besluitvorming in jouw bedrijf.