Docs / Studio musical
Studio musical : des chansons avec voix
Ouvrez Audio → Composer pour utiliser le Studio musical. Il crée des chansons complètes sur votre Mac, avec le chant et les instruments, grâce au moteur musical YuE2. Vous pouvez aussi faire de la musique sans chant, créer une nouvelle version d’un morceau existant, ou transformer un enregistrement en partition.
Installer le moteur musical
Le moteur musical est un téléchargement séparé d’environ 11 Go.
- Ce qu’il faut : un Mac Apple Silicon avec 16 Go de mémoire ou plus, et 14 Go libres sur le disque où vous rangez les modèles. Sur un Mac de 16 Go, fermez les autres apps et les onglets du navigateur avant de composer.
- Comment : ouvrez Audio → Composer. Le formulaire reste grisé jusqu’à la fin de l’installation. Cliquez sur Installer le moteur musical (YuE2, ~11 Go) sur la carte, ou sur Composer, pour lancer le téléchargement. La carte affiche votre progression.
- Licence : YuE2 affiche un écran de licence avant le téléchargement ou la première utilisation ; acceptez-la une fois par Mac, sauf si la licence change. Les poids sont sous CC BY-NC 4.0 (usage non commercial uniquement), avec l’autorisation pour les créateurs individuels de vendre les chansons qu’ils font ; les entreprises ont besoin d’une licence pour les poids.
- Pour mettre l’installation en pause, cliquez sur Arrêter. Relancez l’installation pour la reprendre. Vous pouvez aussi installer via Install the music engine dans la barre latérale de Pinokio ou via Réglages → Modèles.
- Vous pouvez utiliser le formulaire dès que l’installation est terminée. Vous n’avez rien à redémarrer.
Deux extras optionnels se téléchargent la première fois que vous en avez besoin :
- Le pack de LoRA musicaux (environ 300 Mo) améliore la musique sans chant. Il ajoute aussi des extensions de voix et de style à la liste LoRA de voix et de style. Le formulaire propose le pack quand il serait utile.
- Les modèles de reprise (2,8 Go) sont nécessaires pour Reprendre un morceau et Obtenir la partition.
Si le moteur cesse de fonctionner après une mise à jour, cliquez sur Repair the music engine dans la barre latérale de Pinokio. Vos fichiers de modèle téléchargés sont conservés.
Choisir Simple ou Personnalisé
Utilisez le commutateur en haut du Studio musical pour choisir la part que vous écrivez vous-même.
- Simple : décrivez en quelques mots la chanson que vous voulez. Par exemple : « a slow piano ballad for a friend moving away, a woman with a low warm voice, brushed drums ». Gemma, un modèle d’IA qui tourne sur votre Mac, écrit une description de style et des paroles. Vous voyez les deux avant la création de la chanson. Cochez Instrumental pour un morceau sans chant.
- Personnalisé : écrivez vous-même vos paroles et votre description de style, avec accès à toutes les commandes ci-dessous.
Écrire un morceau
Dans Personnalisé, choisissez Écrire un morceau, puis :
-
Saisissez un Titre si vous en voulez un.
-
Sous De quoi ça parle ?, décrivez en une ou deux phrases votre idée, votre histoire ou votre émotion. Cliquez sur Écrire des paroles pour que Gemma en rédige un brouillon. Si Style plus bas est rempli, les paroles suivent aussi ce style. Vous pouvez modifier le brouillon et ses sections.
-
Sous Paroles, choisissez Sections pour modifier des cartes. Ajoutez des cartes avec Intro, Couplet, Pré-refrain, Refrain, Pont, Instrumental ou Outro. Ou choisissez Texte pour tout saisir dans un seul champ. Mettez le nom de chaque section entre crochets sur sa propre ligne, suivi de ses paroles. Laissez une ligne vide entre les sections :
[Verse] The station lights are fading Your footsteps find the street [Chorus] Carry the morning homeLaissez vides les paroles d’une section pour un passage sans chant.
-
Dans Style, décrivez en langage courant le genre, les instruments, la voix, la langue et le tempo. Par exemple : English, warm piano pop, expressive female voice, acoustic piano, light drums, 88 BPM. Il n’y a pas besoin de champs séparés avec des étiquettes.
-
Cliquez sur Composer. Votre chanson rejoint la même file d’attente que vos vidéos.
Instrumental
Cochez Instrumental pour un morceau entier sans chant. Vos paroles restent dans le champ mais ne sont pas utilisées. Le pack de LoRA musicaux fournit une extension dédiée qui améliore le résultat. Sans lui, le moteur s’appuie seulement sur une demande écrite d’absence de chant. Pour avoir un passage sans chant à l’intérieur d’une chanson, laissez plutôt vides les paroles de cette section.
Régler la chanson
| Commande | Ce qu’elle fait |
|---|---|
| Partition : Mélodie + accords (par défaut), Mélodie seule, Sans partition | Choisit si YuE2 planifie la chanson sous forme de partition avant de la créer. Mélodie + accords donne les chansons les plus structurées |
| Qualité : Brouillon (8 étapes) ou Final (32 étapes, par défaut) | Utilisez Brouillon pour essayer des idées. Il est plusieurs fois plus rapide que Final |
| Durée max. : 30 s à 6 min (4:00 par défaut) | Fixe la durée maximale autorisée de la chanson. Ce sont vos paroles qui déterminent sa longueur. Ce réglage coupe une chanson plus longue mais n’allonge pas une chanson plus courte |
| Seed | Le nombre utilisé pour faire varier le résultat. Laissez -1 pour un choix aléatoire. Réutilisez une seed pour obtenir de nouveau la même chanson |
| Prises : 1 à 8 | Met en file d’attente ce nombre de versions à partir des réglages du formulaire, chacune avec sa propre seed |
| LoRA de voix et de style | Choisissez des extensions qui changent l’écriture et le son, et réglez l’intensité de chacune. Pour ajouter votre propre fichier .safetensors, placez-le dans le sous-dossier user/ du dossier des LoRA. Il apparaît alors dans cette liste. Ces extensions sont suspendues tant qu’Instrumental est sélectionné |
| Avancé → Guidage du texte | Règle à quel point la chanson suit votre style et vos paroles. La valeur par défaut est 1.0. Des valeurs plus élevées les suivent plus à la lettre mais peuvent sonner raide ; des valeurs plus basses laissent plus de variation |
| Avancé → Précision : 8 bits (par défaut) ou bf16 | Si vous choisissez bf16, prévoyez environ 8 Go de mémoire en plus |
Reprendre un morceau, ou obtenir sa partition
- Choisissez Reprendre un morceau, puis faites glisser un fichier audio dans Morceau source. Choisissez ce qu’il faut garder : Mélodie + accords reprend l’air et l’harmonie de l’enregistrement complet ; La ligne chantée ne reprend que la mélodie du chant, avec une nouvelle musique d’accompagnement ; Tout garde aussi la musique d’accompagnement et prend le plus de temps à lire. Le résultat utilise votre style et vos paroles.
- Choisissez Obtenir la partition pour transformer un enregistrement en partition sans créer de chanson.
Les deux ont besoin des modèles de reprise (2,8 Go, téléchargés une fois). Ne reprenez que de la musique que vous avez le droit d’utiliser.
Ce que vous pouvez faire d’une chanson terminée
Retrouvez votre chanson terminée dans la galerie, enregistrée en fichier audio WAV stéréo 48 kHz. Utilisez le filtre Audio pour n’afficher que l’audio. Sous le lecteur, la carte de la chanson affiche le titre, le style, les paroles et la partition. Utilisez ces boutons pour créer une autre version :
| Bouton | Ce qui est conservé | Ce qui change |
|---|---|---|
| Nouvelle prise | La partition, les paroles et le style | L’interprétation, avec une nouvelle seed. La chanson n’est pas replanifiée |
| Relancer le son | La partition, les paroles, le style et l’interprétation | Le son de l’enregistrement. Prend environ un tiers du temps nécessaire pour créer une chanson complète |
| Nouveau style sur cette partition | La partition | Les paroles et le style. Remplissez le formulaire avec vos modifications avant de cliquer |
| En faire une reprise | La mélodie que vous entendez | Tout le reste |
Cliquez sur Modifier la partition pour ouvrir la partition sous forme de texte. Après vos modifications, cliquez sur Aperçu pour voir la partition mise à jour. Cliquez sur Rendre cette partition pour mettre en file d’attente une chanson qui utilise vos modifications.
Les chansons faites avant la version 4.16 n’ont pas le plan enregistré dont ces boutons ont besoin. Leurs boutons expliquent pourquoi ces actions ne sont pas disponibles.
Cliquez sur Utiliser… sur la carte de la chanson pour choisir ce qu’il faut faire ensuite : Synchronisation labiale fait chanter la chanson à un visage de votre image ; Synchronisation labiale avec Hailuo H3 fait la même chose avec H3 quand il est installé. Vous pouvez aussi choisir Vidéo musicale ou Bande-son pour une vidéo.
Vidéo musicale
Ouvrez Audio → Vidéo musicale pour faire un film à partir de votre chanson et de vos images. Choisissez la chanson, ajoutez vos images et marquez chacune comme Chanteur (montré en train de chanter), Instrument ou Salle. Dans Style, décrivez l’apparence voulue pour chaque plan.
Cliquez sur Planifier la vidéo. La planification est instantanée et gratuite. Elle lit le rythme, crée une liste de plans et l’ouvre dans Storyboard. Dans Storyboard, créez les plans, puis assemblez-les avec la chanson pour faire votre film.
À quoi s’attendre
-
Durée. L’estimation sous Composer suppose une chanson aussi longue que Durée max., donc la plupart des chansons finissent plus tôt. Sur un M4 Max, Final crée une chanson de 3 minutes en environ 3 minutes ; Brouillon prend moins de la moitié de ce temps. Votre première chanson après l’installation prend plus de temps, car les modèles doivent aussi se charger.
Le temps médian est d’environ 1,5 minute sur un M4 Max, 3 minutes sur un M5 Pro, 5,5 minutes sur un M1 Max et 6 minutes sur un M4 Pro. La moitié des chansons finissent plus tôt que la médiane et l’autre moitié prennent plus de temps. Ces temps viennent des compteurs d’utilisation anonymes de Phosphene ; voir les benchmarks de vitesse.
-
Mémoire. Avec 8 bits sélectionné, l’utilisation de mémoire atteint environ 11 Go pendant l’écriture de votre chanson. Sur un Mac de 16 Go, fermez les autres apps et les onglets du navigateur avant de composer. Nous recommandons quand même 24 Go ou plus pour les longues chansons quand d’autres apps sont ouvertes.
-
Prises. Essayez deux ou trois versions en Brouillon, puis créez celle qui vous plaît en Final. Si vous aimez déjà la mélodie d’une chanson, utilisez Nouvelle prise pour une autre interprétation.
-
Durée du morceau. Ce sont vos paroles qui déterminent la longueur de la chanson. Des paroles courtes donnent une chanson courte, même avec Durée max. réglée sur 6 minutes.
Quand quelque chose ne va pas
| Ce que vous voyez | Ce qu’il faut faire |
|---|---|
| Composer reste grisé | L’installation est absente ou inachevée. Cliquez sur Installer le moteur musical sur la carte pour la lancer ou la reprendre |
L’installation s’arrête avec une ligne FATAL error: | Elle nomme la cause : pas assez de mémoire (16 Go), pas assez de disque (14 Go libres) ou pas de connexion à GitHub. Voir Quand une installation s’arrête |
| Le moteur se dit indisponible, mais les fichiers de modèle sont téléchargés | Cliquez sur Repair the music engine dans la barre latérale de Pinokio. Vous n’avez pas à télécharger de nouveau les fichiers de modèle |
| Music Studio stopped your song because your Mac was running low on memory | Fermez les autres apps et les onglets du navigateur, puis composez de nouveau. Rien n’a été enregistré pour cette chanson |
| Une chanson attend avec Waiting for memory (Mac de 24 Go ou moins) | Votre Mac a trop peu de mémoire libre pour démarrer une chanson. Quittez d’autres apps et elle démarre toute seule ; au bout de 90 secondes, elle s’arrête avec un message clair au lieu d’échouer en cours de route |
| Une chanson attend avec Waiting for the GPU | Une autre tâche utilise le processeur graphique de votre Mac. Votre chanson démarre quand cette tâche se termine. Cliquez sur Arrêter pour annuler l’attente |
| Une chanson a été arrêtée | Aucune chanson partielle n’est enregistrée. Cliquez sur Composer pour la remettre en file d’attente |
Source : webapp/docs/music.md dans le dépôt public. Relu pour ce site avant publication. Traduit de l'original anglais. Suggérer une modification.