BLOG
Deze blog is geschreven door Gabie Boon, Data Engineer Triple.
Hallo, ik ben Gabie. In 2020 begon ik mijn afstudeerstage voor HBO Informatica aan Triple. Na succesvol onderzoek te hebben afgerond, ben ik afgestudeerd en ben ik lid geworden van het datateam van Triple als Data Engineer.
In deze blog zal ik je alles vertellen over mijn avontuur bij Triple, de ontwikkeling die ik heb doorgemaakt en hoe ik de wereld van data ben binnengekomen. Als ik terugkijk, zie ik mezelf bij het bedrijf komen zonder enige kennis van data. En kijk nu eens naar mij: ik ben volledig in staat om Triple's partners zelfstandig te voorzien van end-to-end datasolutions!
De wonderlijke wereld van data
Het team was relatief nieuw, het was net gevormd. Dit gaf mij het voordeel en de vrijheid om mijn eigen werkmethode te bepalen. Omdat ik zo weinig wist over het werken met data, was het logisch dat ik het grootste deel van mijn eerste weken in deze functie besteedde aan studeren. Ik neem je mee door wat ik heb geleerd.
Het werken met data bestaat uit twee aspecten: het verzamelen van data (datavoorbereiding) en het visualiseren van data (datascience). Dit zijn twee aparte disciplines waar ik mee ben begonnen. Ik zal je meer vertellen over hoe ik binnen deze vakgebieden werk.
Data voorbereiden voor gebruik: datavoorbereiding
Alle data wordt opgeslagen op een centrale locatie voordat het gevisualiseerd kan worden. Bij Triple passen we hiervoor twee methoden toe: een datameer en een datawarehouse. In een datameer wordt ruwe data opgeslagen. Dit zijn voornamelijk semi-gestructureerde gegevens (CSV, logs, XML, JSON) en ongestructureerde gegevens (e-mails, PDF's, documenten) in grote hoeveelheden. Omdat we de gegevensbronnen dagelijks uitlezen in het datameer, kunnen we ook een behoorlijke geschiedenis opbouwen. Een groot voordeel van het opslaan van data in een ruwe staat is dat het later zeer nuttig kan zijn voor Kunstmatige Intelligentie. Een datawarehouse is een gecentraliseerde locatie waar getransformeerde data gestructureerd wordt opgeslagen. In het datawarehouse worden verbanden aangegeven tussen de verschillende gegevensbronnen, zodat ze uiteindelijk gevisualiseerd kunnen worden.
Op de bovenstaande afbeelding kun je zien hoe het datavoorbereidingsproces werkt. We laden gegevensbronnen (API's, databases en meer) in het datameer met onze eigen software. Vervolgens laden we een datamodel in het datawarehouse. De gegevens kunnen rechtstreeks vanuit het datawarehouse worden gebruikt voor de volgende stap: het visualiseren van de gegevens, waarbij we (soms handmatig en soms automatisch) de relatie tussen de gegevens laten zien.
Datavoorbereiding kan plaatsvinden op verschillende platforms. Bij Triple werken we voornamelijk met Azure als cloudoplossing. Voor sommige projecten werken we met Google Cloud en AWS (Amazon).
Gegevens visualiseren: datascience
We visualiseren gegevens met verschillende tools. Microsoft Power BI is onze favoriet omdat het al jarenlang is opgenomen als standaardtool in de Office 365-licentie. Veel organisaties hebben het al tot hun beschikking, de drempel om het te gaan gebruiken is relatief laag. Power BI is ook een eenvoudige no/low-code-oplossing waarmee visualisaties kunnen worden gemaakt door slepen en neerzetten. Het nadeel van Power BI is dat je gebonden bent aan een beperkt aantal opmaakopties.
Als er behoefte is aan een dashboard met aanvullende opmaakopties, gebruiken we Tableau, dat vergelijkbaar is met Power BI. Het belangrijkste verschil is dat visualisaties uitgebreider kunnen worden aangepast. Tableau ondersteunt ook beter het gebruik van realtime dashboards.
Naast deze twee klassieke dashboardtools gebruiken we ook een ingesloten dashboardtool. Sisense is een handige tool voor onze partners, het biedt een op maat gemaakte webtoepassing. Door gebruik te maken van hun API's en SDK's kunnen we de visualisaties integreren in de gewenste toepassing.
Pizza's, hobbyprojecten en bijeenkomsten
Naast de gave projecten en de leerervaring is Triple ook een superleuke organisatie om voor te werken. We hebben allerlei leuke evenementen. Elke dinsdag hebben we Tropical Tuesday, waarbij we samen dineren (bijvoorbeeld pizza, Thais eten of spareribs) en na het werk samenwerken aan hobbyprojecten met collega's. Een keer per maand organiseert Triple een groot themafeest, en het is geweldig om daar met mijn collega's te genieten van een paar drankjes.
Meer verhalen van Tripelaars
Ontdek de Triple Universe
Leer meer over Triple, onze cultuur of neem een kijkje tussen onze vacatures.
