Cette série de blogues en trois parties offre un guide complet pour la mise en place du Azure Databricks Unity Catalog dans un environnement VNet. La série couvre les aspects allant de l’introduction du Unity Catalog, des configurations d’infrastructure et de réseau, jusqu’à la sécurité, la configuration du métastore et l’intégration de l’espace de travail.

• Dans Partie 1, nous avons présenté un aperçu du catalogue Unity et expliqué comment le configurer.
• Ce billet de blogue—Partie 2—porte sur le processus de configuration du réseau.
• Enfin, dans Partie 3, nous terminons la série en configurant le metastore.

Puisque nous avons déjà exploré et établi notre Unity Catalog, concentrons-nous maintenant sur le processus crucial de configuration du réseau.

Configuration du réseau

Comme configuration initiale, nous devons créer un groupe de ressources pour le réseau. Une fois le groupe de ressources réseau créé, nous pouvons créer le réseau virtuel.

Création du réseau virtuel

Sur la page d'accueil, recherchez réseaux virtuels dans la recherche globale et cliquez sur Créer pour le créer.

• Sous Abonnement, sélectionnez le nom selon le projet
• Sous Groupe de ressources, sélectionnez le nom du RG selon le projet
• Donnez un nom au réseau virtuel selon la nomenclature et sélectionnez la région
• Cliquez sur Suivant

Dans la section Adresses IP, supprimez l'adresse IP par défaut et saisissez l'adresse IP obtenue.

• Après avoir ajouté l’adresse IP, supprimez le sous-réseau par défaut
• Cliquez sur Réviser + créer pour la validation
• Enfin, cliquez sur Créer

Création de sous-réseau

• Sous le réseau virtuel créé, sélectionnez Sous-réseaux dans le panneau de gauche
• Cliquez sur + Sous-réseau pour en créer un nouveau
• Fournissez le nom du sous-réseau et la plage d'adresses du sous-réseau

Création d’un groupe de sécurité réseau (NSG)

• Dans la recherche globale, recherchez network security group et cliquez sur l’icône
• Pour créer un NSG, cliquez sur Créer
• Sous Abonnement, sélectionnez le nom (créez selon le nom du projet)
• Sous le groupe de ressources, sélectionnez le nom du RG
• Donnez un nom au network security group selon la nomenclature et sélectionnez la région
• Cliquez sur Vérifier + créer pour la validation
• Une fois le déploiement terminé, le NSG sera créé

Configuration du stockage

Avant de procéder à la création du stockage, un sous-réseau est configuré pour déléguer vers le compte de stockage.

Étapes pour créer un compte de stockage :

• Accédez au portail Azure et sélectionnez Créer une ressource.
• Dans la boîte Rechercher dans la place de marché, tapez Compte de stockage et sélectionnez-le dans la liste.
• Cliquez sur créer et fournissez les informations requises dans les onglets de base et avancés.
• Dans l’onglet Réseautage, sous Accès réseau, sélectionnez Désactiver l’accès public et utiliser l’accès privé.
• Cliquez sur + Ajouter un point de terminaison privé

Point de terminaison privé

• Abonnement : Sélectionnez Nom de l’abonnement
• Groupe de ressources : Créez un nouveau groupe de ressources ou sélectionnez un groupe existant
• Emplacement : Sélectionnez un emplacement (p. ex., Centre des États-Unis)
• Nom du point de terminaison privé : Donnez un nom au point de terminaison privé
• Sous-ressource de stockage : Il s’agit de la sous-ressource spécifique pour le nouveau compte de stockage auquel ce point de terminaison privé pourra accéder — sélectionnez selon le cas
• Réseau virtuel : Sélectionnez VNET
• Sous-réseau : Sélectionnez un sous-réseau pour le point de terminaison privé
• Intégration DNS privé : Sélectionnez Non pour l’instant—nous allons configurer après la création du point de terminaison privé
• Préférence d’acheminement : Sélectionnez Routage réseau Microsoft
• Protection des données : Configurez selon vos besoins
• Chiffrement : Configurez selon vos besoins
• Vérifier + Créer : Passez en revue les configurations et cliquez sur Créer
• Configuration DNS : Pour le point de terminaison privé

Ensuite, allez dans le groupe de ressources dans lequel le point de terminaison privé a été créé, puis cliquez sur le point de terminaison privé, ensuite cliquez sur Configuration DNS.

Cliquez sur Ajouter une configuration.

• Sélectionnez l’abonnement en fonction de l’emplacement
• Sélectionnez la zone DNS selon le type de ressource que nous créons et cliquez sur Ajouter

La configuration du stockage est maintenant terminée, passons donc à la configuration de Databricks.

Configuration de Databricks

Voici la liste des conditions préalables avant de déployer Databricks dans un réseau privé virtuel Azure.

Azure Databricks prend en charge deux types de déploiement de lien privé.

Déploiement standard (recommandé) : Databricks recommande d’utiliser un point de terminaison privé distinct pour la connexion frontale à partir d’un VNet de transit séparé pour une sécurité accrue.

Déploiement simplifié : Certaines organisations ne peuvent pas utiliser le déploiement standard pour diverses raisons liées aux politiques réseau, comme l’interdiction de plusieurs points de terminaison privés ou la déconseillation des VNet de transit séparés.

Le schéma suivant illustre le flux réseau dans une mise en œuvre typique du déploiement standard recommandé de lien privé :

Source : https://learn.microsoft.com/en-us/azure/databricks/security/network/classic/private-link-standard

Étape 1 : Déployer Databricks dans un VPN

Dans un VNET, nous avons besoin de 3 sous-réseaux (hôte/public, conteneur/privé et point de terminaison privé).

Créez un réseau virtuel (VNet) dans un groupe de ressources avec trois sous-réseaux :

• Sous-réseau d’hôtes (public) – Pour l’infrastructure de l’espace de travail
• Sous-réseau de conteneur (privé) – Pour les ressources du cluster Databricks
• Sous-réseau de point de terminaison privé (PE) – Pour l’accès sécurisé via Azure Private endpoint

Planifiez la taille du sous-réseau avant le déploiement, car il n’est pas possible de le redimensionner ou de le modifier une fois que l’espace de travail Databricks est déployé.

Configurez le service Databricks à partir du portail Azure, comme illustré ci-dessous :

• Cliquez sur Examiner + créer

Considérations clés :

Choisir SCC/NPIP et l’injection VNet

• Connectivité sécurisée des clusters (SCC) et Pas d’IP publique (NPIP) assurent une communication privée entre les clusters Databricks et le plan de contrôle
• Sélectionnez le VNet approprié où l’espace de travail Databricks sera déployé

Exigences de sous-réseau

• Deux sous-réseaux dédiés sont requis par espace de travail :
  • Sous-réseau public – Assigne une IP privée à la machine hôte du nœud de cluster
  • Sous-réseau privé – Assigne une IP privée au conteneur Databricks Runtime
• Chaque nœud de cluster aura deux IP privées
• Plage de taille de sous-réseau : de /18 à /26 déterminée selon les prévisions de charge de travail
• L’espace d’adressage doit être aligné sur la stratégie de réseau de l’entreprise, même si des adresses non-RFC 1918 sont utilisées

Délégation de sous-réseau et règles NSG

• Si vous déployez via le portail Azure, Databricks crée automatiquement ces sous-réseaux et les délègue à Microsoft Databricks/workspaces.
• Les groupes de sécurité réseau (NSG) sont configurés par Databricks, avec un préavis pour toute mise à jour.
• Des sous-réseaux préexistants peuvent être utilisés s’ils répondent aux exigences de Databricks.

Cartographie des sous-réseaux et des espaces de travail

• Chaque espace de travail Databricks nécessite sa propre paire de sous-réseaux (public et privé)
• Les sous-réseaux ne peuvent pas être redimensionnés une fois l'espace de travail déployé
• Le déploiement crée un groupe de ressources géré, qui ne peut pas être modifié

Améliorations de lien privé et de sécurité

• Prise en charge des liens privés :
  • Interface utilisateur : Désactive l'accès au réseau public pour les connexions utilisateur vers espace de travail
  • Arrière-plan : Restreint la communication du plan de contrôle sans exposition publique
• Des points de terminaison privés peuvent être configurés pour un déploiement Databricks entièrement privé

Chiffrement et protection des données

• Activer les clés gérées par le client (CMK) pour le chiffrement de DBFS, des services gérés et des disques pour une sécurité accrue

Règles de sécurité réseau :

Règles entrantes

• Communication entre travailleurs - Permet le trafic entre les instances du cluster afin que les conducteurs et les travailleurs puissent communiquer sans interruption
• Accès au métastore - Autorise le trafic sortant du sous-réseau public vers le Hive Metastore (HMS) par défaut pour la gestion des métadonnées
• Accès au plan de contrôle - Permet le trafic sortant du sous-réseau public vers le Plan de contrôle Databricks, incluant :
  • Connectivité sécurisée du cluster (SCC)
  • Applications Web (IU et API)

Remarque : Le tag de service Azure Databricks n’est pas ajouté aux règles NSG si le lien privé back-end est activé.

• Accès au stockage - Permet le trafic sortant du sous-réseau public vers les ressources de stockage essentielles du plan de contrôle, telles que :
  • Stockage des journaux
  • Artéfacts
  • Databricks File System (DBFS)
• Ports additionnels pour le lien privé - Les ports 443 et 6666 doivent être ajoutés pour le trafic sortant vers le sous-réseau de point de terminaison privé
• Les mêmes ports doivent être ouverts pour le trafic entrant dans les règles NSG du sous-réseau de point de terminaison privé

Règles sortantes

Règle de trafic sortant (65001)

• Par défaut, la règle 65001 permet la sortie vers Internet lorsqu’un NSG est créé
• Ce comportement sera ensuite remplacé en acheminant tout le trafic sortant des sous-réseaux Databricks via un pare-feu, ce qui garantit qu’il n’y ait pas d’accès direct à Internet public

Étape 2 : Étapes pour configurer NCC

La configuration de la connectivité réseau (NCC) est essentielle pour établir des connexions sécurisées entre l’espace de travail Databricks et le calcul sans serveur afin d’assurer un accès sécurisé au compte de stockage, surtout lorsque l’accès au réseau public est désactivé.

• Lancer l’espace de travail Databricks
• Cliquez sur Gérer le compte — accéder à la console d’administration Unity Catalog
• Cliquez sur Ressources infonuagiques
• Ajouter la configuration de la connectivité réseau

• Ajoutez un nom pour l'objet et sélectionnez la région
• Après avoir créé le NCC, entrez à l'intérieur et cliquez sur Point de terminaison privé
• Ajoutez un point de terminaison privé de type Dfs et Blob
• Ajoutez l'identifiant de ressource du compte de stockage, et dans le type de sous-ressource, ajoutez Dfs et Blob

Vérifier la connectivité

• Testez la connexion en exécutant une DML/DDL à partir du SQLwarehouse
• Assurez-vous que les paramètres Pare-feux et réseaux virtuels du compte de stockage permettent l’accès depuis le VNet et l’adresse IP sélectionnés

Recommandation : Pour garantir un accès sécurisé au compte de stockage, il est recommandé de configurer une connectivité privée à partir du calcul sans serveur.

Étape 3 : Déployer des règles dans le pare-feu Azure

Créez une collection de règles réseau et de règles d’application comme suit. Notez que les règles d’application sont facultatives si le trafic sortant passe par UDR (voir la section suivante).

• Le balise de service Azure Databricks n'est pas requise si des points de terminaison privés sont activés pour l'espace de travail
• Azure Databricks fait également des appels supplémentaires au service NTP, CDN, Cloudflare, aux pilotes GPU et au stockage externe pour les ensembles de données de démonstration, qui doivent être ajoutés à la liste blanche de manière appropriée
• Associez la stratégie de pare-feu au pare-feu

Étape 4 : Créer des routes définies par l’utilisateur (UDR)

• À ce stade, la plupart des configurations d'infrastructure pour un déploiement sécurisé et verrouillé ont été complétées. Nous devons maintenant acheminer le trafic approprié depuis les sous-réseaux de l'espace de travail Azure Databricks vers le plan de contrôle et le pare-feu Azure.
• Ajoutez des routes dans la table de routage pour transférer tout le trafic vers les appareils virtuels (pare-feu Azure).

Nous l'avons fait! Nous avons terminé la configuration du réseau. Il ne reste qu'une étape : configurer le metastore, que nous aborderons dans Partie 3. À bientôt!