Benchmark de datalake, Ansible Automates et Web scrapping JS : le mix Big Data / DevOps dans tout son art
Le Big Data évolue très vite. Les technologies et l’approche DevOps aussi. Ansible, Datalake et WebScrapper, voici une sélection de ce qui nous a marqué en février :
Ansible Automates
Nous utilisons cet outil pour déployer les infrastructures Big Data de nos clients. C’est pourquoi nous sommes allés à l’Ansible Automates Paris, à l’hôtel Pullman à Montparnasse. Et quoi de mieux que les développeurs du produit pour en parler ? Plusieurs sujets abordés : Roadmap, best practices, démo et Ansible Tower 3.
Retrouvez nos live tweets de la journée sur : https://twitter.com/Ingensi
Comparaison des formats / outils de stockage dans un datalake
Le CERN a décidé de faire concourir 4 outils :
Ces tests nous apprennent que Parquet et Kudu avec Snappy sont en tête pour l’efficacité de stockage. HBase et Kudu s’imposent pour du random access, Parquet et Kudu permettent de meilleurs analyses de données tandis que HBase et Kudu offrent la possibilité de modifier les données.
Plus de détails sur les performances des ces 4 outils de Datalake
Extraire les données d’un site en 3 minutes avec Javascript
Le BigData est de plus en plus gourmand en « data ». Pour faciliter l’extraction des pages web, voici un article qui explique en quelques minutes comment coder en Javascript un webscrapper.
On peut facilement imaginer pousser ces données dans un datalake, afin de les traiter a posteriori ou pour enrichir des traitements de données.
Intéressé ?
Si ces problématiques vous intéressent, contactez nous pour en discuter !
Soit sur Twitter via @cyresgroupe ou directement sur notre site
___
Explore, enrich, make data yours !
___
