La découverte de la charge de travail sur Google Cloud Platform (GCP) est un outil qui permet de visualiser rapidement les charges de travail cloud GCP. Cette solution peut être utilisée pour personnaliser et partager des visualisations détaillées des charges de travail basées sur les données en direct d’un projet GCP. Fondamentalement, nous gérons l’inventaire GCP avec l’API Cloud Asset.

Cela fonctionne en maintenant un inventaire des ressources GCP à travers le projet GCP et en visualisant les données des actifs cloud à l’aide de Data Studio.

Nous utilisons l’API Cloud Asset pour la découverte de la charge de travail. L’inventaire des actifs cloud prend en charge les actifs GCP suivants :

• Instances Compute Engine/groupes d’instances/modèles d’instances
• Seaux Cloud Storage
• Réseaux/sous-réseaux, pare-feux
• Zones gérées Cloud DNS, règles Cloud DNS
• Applications App Engine, services, versions
• Comptes de facturation GCP
• Politiques IAM associées à ces ressources
• Organisations, dossiers et projets
• Autres ressources Compute Engine, telles que disques, seaux backend, vérifications de santé, images et instantanés

Inventaire des actifs cloud

L’Inventaire des actifs cloud fournit des informations approfondies et détaillées sur les métadonnées des ressources qui peuvent être exploitées pour analyser les actifs GCP.

L’API Cloud Asset facilite la gestion de notre inventaire de ressources GCP. Nous pouvons utiliser l’API pour lister, exporter et supprimer des ressources GCP.

Pour utiliser l’API Cloud Asset, nous devons avoir un projet GCP et activer l’API pour notre projet. Cela peut être fait via la console GCP en recherchant « Cloud Asset API » dans la bibliothèque d’API. Ensuite, cliquez sur l’API et sur le bouton « Activer » pour l’activer pour votre projet.

Puisque l’API d’inventaire des actifs est construite sur HTTP et JSON, tout client HTTP standard peut lui envoyer des requêtes et analyser les réponses.

APIs d’inventaire des actifs cloud

• Bibliothèques clientes Inventaire des actifs cloud
• API REST pour Inventaire des actifs cloud
• API RPC pour Inventaire des actifs cloud
• Google Cloud asset pour l’inventaire des actifs cloud

Bibliothèques clientes Cloud Asset Inventory

• ExportAssetsGcs : Exporte les actifs avec l’horodatage et les types de ressources vers un emplacement Cloud Storage donné
• ExportAssetsBigQuery : Exporte les actifs avec l’horodatage et les types de ressources vers une table BigQuery donnée
• BatchGetAssetsHistory : Récupère par lot l’historique mis à jour des actifs qui se chevauchent sur une période de temps
• SearchAllResources : Cela peut aussi être utilisé pour localiser les ressources qui sont inactives et qui peuvent probablement être supprimées/nettoyées, par exemple, des adresses globales ou régionales ayant été réservées mais non utilisées :
  • # init request
  • request = asset_v1.SearchAllResourcesRequest(
  • scope="projects/myproject-123",
  • asset_types=[
  • "compute.googleapis.com/Address",
  • ],
  • query="NOT state:in_use",
  • )

Approche de la solution

Nous avons utilisé l’approche suivante pour élaborer une solution :

• Lors de la découverte de charges de travail sur GCP, nous visualisons les données des actifs cloud à l’aide de Data Studio
• Nous avons utilisé Cloud Scheduler pour déclencher une fonction cloud à intervalle régulier
• Fonction cloud, qui est responsable de lancer un exportation de masse de l’API Inventaire des actifs cloud vers BigQuery
• Visualisation des données BigQuery dans Data Studio.

Ensemble de données BigQuery

Nous devons créer un ensemble de données BigQuery pour exporter les données d’actifs cloud

--data_location us-central1 \
--dataset CloudAssetAPIDataSet

Sujet Pub/Sub

Nous devons créer un sujet Pub/Sub qui sera utilisé dans le déclencheur Pub/Sub

gcloud pubsub topics create cf-cloudasset-trigger

Fonctions cloud

Nous devons déployer la fonction cloud avec Google Cloud et définir le sujet Pub/Sub comme sujet déclencheur

gcloud functions deploy java-export-cloudasset-to-bq\
--runtime Java11 \
--entry-point com.example.Example\
--trigger-topic cf-cloudasset-trigger \
--region us-central1\
--memory 256MB\
--timeout 300

Planificateur cloud

Nous devons utiliser Cloud Scheduler pour la planification au format cron

gcloud scheduler jobs create pubsub cloudasset-export-job \
--location us-central1 \
--schedule "0 */3 * * *" \
--topic cf-cloudasset-trigger \

--message-body-from-file “Asset.json"

Visualisation des données

Nous utilisons Data Studio pour visualiser les données des actifs cloud exportées vers BigQuery. Google Data Studio offre différentes façons de visualiser les données, notamment des diagrammes à barres, des diagrammes circulaires, des graphiques linéaires, des courbes, des cartes, des infographies et des tableaux.

Tableau de bord contenant différentes ressources provisionnées avec le compte :

Tableau de bord contenant différentes ressources provisionnées avec leur état actuel et l’information de facturation :