Pro
FR
Se connecterCompte Télécharger pour Mac
Télécharger pour Mac

Docs / Studio musical

Studio musical : des chansons avec voix

Ouvrez Audio → Composer pour utiliser le Studio musical. Il crée des chansons complètes sur votre Mac, avec le chant et les instruments, grâce au moteur musical YuE2. Vous pouvez aussi faire de la musique sans chant, créer une nouvelle version d’un morceau existant, ou transformer un enregistrement en partition.

Installer le moteur musical

Le moteur musical est un téléchargement séparé d’environ 11 Go.

  • Ce qu’il faut : un Mac Apple Silicon avec 16 Go de mémoire ou plus, et 14 Go libres sur le disque où vous rangez les modèles. Sur un Mac de 16 Go, fermez les autres apps et les onglets du navigateur avant de composer.
  • Comment : ouvrez Audio → Composer. Le formulaire reste grisé jusqu’à la fin de l’installation. Cliquez sur Installer le moteur musical (YuE2, ~11 Go) sur la carte, ou sur Composer, pour lancer le téléchargement. La carte affiche votre progression.
  • Licence : YuE2 affiche un écran de licence avant le téléchargement ou la première utilisation ; acceptez-la une fois par Mac, sauf si la licence change. Les poids sont sous CC BY-NC 4.0 (usage non commercial uniquement), avec l’autorisation pour les créateurs individuels de vendre les chansons qu’ils font ; les entreprises ont besoin d’une licence pour les poids.
  • Pour mettre l’installation en pause, cliquez sur Arrêter. Relancez l’installation pour la reprendre. Vous pouvez aussi installer via Install the music engine dans la barre latérale de Pinokio ou via Réglages → Modèles.
  • Vous pouvez utiliser le formulaire dès que l’installation est terminée. Vous n’avez rien à redémarrer.

Deux extras optionnels se téléchargent la première fois que vous en avez besoin :

  • Le pack de LoRA musicaux (environ 300 Mo) améliore la musique sans chant. Il ajoute aussi des extensions de voix et de style à la liste LoRA de voix et de style. Le formulaire propose le pack quand il serait utile.
  • Les modèles de reprise (2,8 Go) sont nécessaires pour Reprendre un morceau et Obtenir la partition.

Si le moteur cesse de fonctionner après une mise à jour, cliquez sur Repair the music engine dans la barre latérale de Pinokio. Vos fichiers de modèle téléchargés sont conservés.

Choisir Simple ou Personnalisé

Utilisez le commutateur en haut du Studio musical pour choisir la part que vous écrivez vous-même.

  • Simple : décrivez en quelques mots la chanson que vous voulez. Par exemple : « a slow piano ballad for a friend moving away, a woman with a low warm voice, brushed drums ». Gemma, un modèle d’IA qui tourne sur votre Mac, écrit une description de style et des paroles. Vous voyez les deux avant la création de la chanson. Cochez Instrumental pour un morceau sans chant.
  • Personnalisé : écrivez vous-même vos paroles et votre description de style, avec accès à toutes les commandes ci-dessous.

Écrire un morceau

Dans Personnalisé, choisissez Écrire un morceau, puis :

  1. Saisissez un Titre si vous en voulez un.

  2. Sous De quoi ça parle ?, décrivez en une ou deux phrases votre idée, votre histoire ou votre émotion. Cliquez sur Écrire des paroles pour que Gemma en rédige un brouillon. Si Style plus bas est rempli, les paroles suivent aussi ce style. Vous pouvez modifier le brouillon et ses sections.

  3. Sous Paroles, choisissez Sections pour modifier des cartes. Ajoutez des cartes avec Intro, Couplet, Pré-refrain, Refrain, Pont, Instrumental ou Outro. Ou choisissez Texte pour tout saisir dans un seul champ. Mettez le nom de chaque section entre crochets sur sa propre ligne, suivi de ses paroles. Laissez une ligne vide entre les sections :

    [Verse]
    The station lights are fading
    Your footsteps find the street
    
    [Chorus]
    Carry the morning home

    Laissez vides les paroles d’une section pour un passage sans chant.

  4. Dans Style, décrivez en langage courant le genre, les instruments, la voix, la langue et le tempo. Par exemple : English, warm piano pop, expressive female voice, acoustic piano, light drums, 88 BPM. Il n’y a pas besoin de champs séparés avec des étiquettes.

  5. Cliquez sur Composer. Votre chanson rejoint la même file d’attente que vos vidéos.

Instrumental

Cochez Instrumental pour un morceau entier sans chant. Vos paroles restent dans le champ mais ne sont pas utilisées. Le pack de LoRA musicaux fournit une extension dédiée qui améliore le résultat. Sans lui, le moteur s’appuie seulement sur une demande écrite d’absence de chant. Pour avoir un passage sans chant à l’intérieur d’une chanson, laissez plutôt vides les paroles de cette section.

Régler la chanson

CommandeCe qu’elle fait
Partition : Mélodie + accords (par défaut), Mélodie seule, Sans partitionChoisit si YuE2 planifie la chanson sous forme de partition avant de la créer. Mélodie + accords donne les chansons les plus structurées
Qualité : Brouillon (8 étapes) ou Final (32 étapes, par défaut)Utilisez Brouillon pour essayer des idées. Il est plusieurs fois plus rapide que Final
Durée max. : 30 s à 6 min (4:00 par défaut)Fixe la durée maximale autorisée de la chanson. Ce sont vos paroles qui déterminent sa longueur. Ce réglage coupe une chanson plus longue mais n’allonge pas une chanson plus courte
SeedLe nombre utilisé pour faire varier le résultat. Laissez -1 pour un choix aléatoire. Réutilisez une seed pour obtenir de nouveau la même chanson
Prises : 1 à 8Met en file d’attente ce nombre de versions à partir des réglages du formulaire, chacune avec sa propre seed
LoRA de voix et de styleChoisissez des extensions qui changent l’écriture et le son, et réglez l’intensité de chacune. Pour ajouter votre propre fichier .safetensors, placez-le dans le sous-dossier user/ du dossier des LoRA. Il apparaît alors dans cette liste. Ces extensions sont suspendues tant qu’Instrumental est sélectionné
Avancé → Guidage du texteRègle à quel point la chanson suit votre style et vos paroles. La valeur par défaut est 1.0. Des valeurs plus élevées les suivent plus à la lettre mais peuvent sonner raide ; des valeurs plus basses laissent plus de variation
Avancé → Précision : 8 bits (par défaut) ou bf16Si vous choisissez bf16, prévoyez environ 8 Go de mémoire en plus

Reprendre un morceau, ou obtenir sa partition

  • Choisissez Reprendre un morceau, puis faites glisser un fichier audio dans Morceau source. Choisissez ce qu’il faut garder : Mélodie + accords reprend l’air et l’harmonie de l’enregistrement complet ; La ligne chantée ne reprend que la mélodie du chant, avec une nouvelle musique d’accompagnement ; Tout garde aussi la musique d’accompagnement et prend le plus de temps à lire. Le résultat utilise votre style et vos paroles.
  • Choisissez Obtenir la partition pour transformer un enregistrement en partition sans créer de chanson.

Les deux ont besoin des modèles de reprise (2,8 Go, téléchargés une fois). Ne reprenez que de la musique que vous avez le droit d’utiliser.

Ce que vous pouvez faire d’une chanson terminée

Retrouvez votre chanson terminée dans la galerie, enregistrée en fichier audio WAV stéréo 48 kHz. Utilisez le filtre Audio pour n’afficher que l’audio. Sous le lecteur, la carte de la chanson affiche le titre, le style, les paroles et la partition. Utilisez ces boutons pour créer une autre version :

BoutonCe qui est conservéCe qui change
Nouvelle priseLa partition, les paroles et le styleL’interprétation, avec une nouvelle seed. La chanson n’est pas replanifiée
Relancer le sonLa partition, les paroles, le style et l’interprétationLe son de l’enregistrement. Prend environ un tiers du temps nécessaire pour créer une chanson complète
Nouveau style sur cette partitionLa partitionLes paroles et le style. Remplissez le formulaire avec vos modifications avant de cliquer
En faire une repriseLa mélodie que vous entendezTout le reste

Cliquez sur Modifier la partition pour ouvrir la partition sous forme de texte. Après vos modifications, cliquez sur Aperçu pour voir la partition mise à jour. Cliquez sur Rendre cette partition pour mettre en file d’attente une chanson qui utilise vos modifications.

Les chansons faites avant la version 4.16 n’ont pas le plan enregistré dont ces boutons ont besoin. Leurs boutons expliquent pourquoi ces actions ne sont pas disponibles.

Cliquez sur Utiliser… sur la carte de la chanson pour choisir ce qu’il faut faire ensuite : Synchronisation labiale fait chanter la chanson à un visage de votre image ; Synchronisation labiale avec Hailuo H3 fait la même chose avec H3 quand il est installé. Vous pouvez aussi choisir Vidéo musicale ou Bande-son pour une vidéo.

Vidéo musicale

Ouvrez Audio → Vidéo musicale pour faire un film à partir de votre chanson et de vos images. Choisissez la chanson, ajoutez vos images et marquez chacune comme Chanteur (montré en train de chanter), Instrument ou Salle. Dans Style, décrivez l’apparence voulue pour chaque plan.

Cliquez sur Planifier la vidéo. La planification est instantanée et gratuite. Elle lit le rythme, crée une liste de plans et l’ouvre dans Storyboard. Dans Storyboard, créez les plans, puis assemblez-les avec la chanson pour faire votre film.

À quoi s’attendre

  • Durée. L’estimation sous Composer suppose une chanson aussi longue que Durée max., donc la plupart des chansons finissent plus tôt. Sur un M4 Max, Final crée une chanson de 3 minutes en environ 3 minutes ; Brouillon prend moins de la moitié de ce temps. Votre première chanson après l’installation prend plus de temps, car les modèles doivent aussi se charger.

    Le temps médian est d’environ 1,5 minute sur un M4 Max, 3 minutes sur un M5 Pro, 5,5 minutes sur un M1 Max et 6 minutes sur un M4 Pro. La moitié des chansons finissent plus tôt que la médiane et l’autre moitié prennent plus de temps. Ces temps viennent des compteurs d’utilisation anonymes de Phosphene ; voir les benchmarks de vitesse.

  • Mémoire. Avec 8 bits sélectionné, l’utilisation de mémoire atteint environ 11 Go pendant l’écriture de votre chanson. Sur un Mac de 16 Go, fermez les autres apps et les onglets du navigateur avant de composer. Nous recommandons quand même 24 Go ou plus pour les longues chansons quand d’autres apps sont ouvertes.

  • Prises. Essayez deux ou trois versions en Brouillon, puis créez celle qui vous plaît en Final. Si vous aimez déjà la mélodie d’une chanson, utilisez Nouvelle prise pour une autre interprétation.

  • Durée du morceau. Ce sont vos paroles qui déterminent la longueur de la chanson. Des paroles courtes donnent une chanson courte, même avec Durée max. réglée sur 6 minutes.

Quand quelque chose ne va pas

Ce que vous voyezCe qu’il faut faire
Composer reste griséL’installation est absente ou inachevée. Cliquez sur Installer le moteur musical sur la carte pour la lancer ou la reprendre
L’installation s’arrête avec une ligne FATAL error:Elle nomme la cause : pas assez de mémoire (16 Go), pas assez de disque (14 Go libres) ou pas de connexion à GitHub. Voir Quand une installation s’arrête
Le moteur se dit indisponible, mais les fichiers de modèle sont téléchargésCliquez sur Repair the music engine dans la barre latérale de Pinokio. Vous n’avez pas à télécharger de nouveau les fichiers de modèle
Music Studio stopped your song because your Mac was running low on memoryFermez les autres apps et les onglets du navigateur, puis composez de nouveau. Rien n’a été enregistré pour cette chanson
Une chanson attend avec Waiting for memory (Mac de 24 Go ou moins)Votre Mac a trop peu de mémoire libre pour démarrer une chanson. Quittez d’autres apps et elle démarre toute seule ; au bout de 90 secondes, elle s’arrête avec un message clair au lieu d’échouer en cours de route
Une chanson attend avec Waiting for the GPUUne autre tâche utilise le processeur graphique de votre Mac. Votre chanson démarre quand cette tâche se termine. Cliquez sur Arrêter pour annuler l’attente
Une chanson a été arrêtéeAucune chanson partielle n’est enregistrée. Cliquez sur Composer pour la remettre en file d’attente

Source : webapp/docs/music.md dans le dépôt public. Relu pour ce site avant publication. Traduit de l'original anglais. Suggérer une modification.