O que vai conseguir fazer
- Criar um prompt de voz de 10 segundos que os dois modos do SoulX-Singer conseguem usar.
- Escrever uma melodia curta em notas e obter cada verso bem cantado em quatro takes.
- Gerar um rap-guia com o ACE-Step 1.5 numa GPU de 6 GB e voltar a cantá-lo com a sua voz no SoulX SVC.
- Pontuar takes e sementes verso a verso com o Whisper e apanhar palavras impróprias mal ouvidas.
- Misturar o resultado a -14 LUFS e publicá-lo com a indicação de conteúdo gerado por IA.
Pontos-chave
- O canto com voz clonada por IA põe modelos open source a cantar com a sua própria voz clonada a partir de cerca de 10 segundos de fala, sem treino por voz.
- Uma melodia escrita vai diretamente para o modo score do SoulX-Singer; um rap passa por uma canção-guia do ACE-Step 1.5 que o SoulX SVC volta a cantar com a sua voz, com o mesmo ritmo.
- O Whisper large-v3 lê cada verso de cada take, por isso o melhor take ganha cada verso e as palavras impróprias mal ouvidas ficam assinaladas antes de publicar.
- Seis gigabytes chegam: o ACE-Step sem modelo de linguagem, com pesos INT8 e descarga para a CPU, e um trabalho de GPU de cada vez.
- Clone apenas a sua voz ou uma com consentimento escrito, e identifique a canção como música gerada por IA quando a carregar.
O canto com voz clonada por IA é uma técnica que põe modelos open source a cantar uma melodia ou uma canção-guia com a sua própria voz clonada, a partir de cerca de 10 segundos de fala. No fim, tem uma canção curta com a sua voz, feita numa GPU de 6 GB, com cada verso verificado pelo Whisper.
A instalação leva uma tarde. Depois, uma canção escrita de 4 versos leva cerca de 12 minutos de GPU: 4,5 minutos para o prompt de voz, quatro takes de cerca de 1,5 minutos cada e 1 minuto de avaliação.
Na Neomanex corro este pipeline para as canções dos nossos vídeos e ouço cada verso assinalado antes de sair. Os exemplos usam a Pebblewick Coffee, uma torrefação de bairro fictícia.
O que é o canto com voz clonada por IA, e os dois caminhos
Escolha o caminho com uma pergunta: consegue escrever a melodia? Se sim, o trabalho é fácil. Se não, precisa primeiro de um cantor-guia.
| Caminho A: melodia escrita | Caminho B: rap, ou um estilo que não consegue escrever em notas | |
|---|---|---|
| Entrada | Letra mais notas | Letra mais uma descrição de estilo |
| Cantor | O modo score do SoulX-Singer canta as suas notas com a sua voz | O ACE-Step 1.5 cria uma canção-guia; o SoulX-Singer SVC volta a cantá-la com a sua voz |
| Juiz | O Whisper large-v3 escolhe o melhor take por verso | O Whisper large-v3 pontua cada semente por verso |
O SVS (síntese de voz cantada) canta a partir de notas e palavras. O SVC (conversão de voz cantada) pega numa voz já gravada e troca o timbre, mas mantém o ritmo e a melodia. O SoulX-Singer faz as duas coisas.

Sem treino: um prompt de voz de 10 segundos
Treinar um modelo RVC é o outro caminho. O projeto RVC(abre num novo separador) recomenda pelo menos 10 minutos de fala com pouco ruído e um treino por voz. O SoulX-Singer é zero-shot: lê um prompt de 10 segundos e não treina nada, por isso o primeiro take sai na mesma tarde. Não o medi face a um modelo RVC treinado.
Aqui está o caminho B numa canção real: um rap cantado com a minha própria voz clonada.
Do que precisa
Seis gigabytes chegam se tratar a GPU como uma fila única. Não prometo nada para outras placas.
| Requisito | Versão que uso |
|---|---|
| GPU NVIDIA com CUDA | RTX 3060 Laptop GPU, 6 GB |
| Python e ffmpeg | Python 3.10 |
| SoulX-Singer | commit 81aeb3a, transformers 4.41.2 |
| ACE-Step 1.5 | commit ca1e85f |
| faster-whisper | 1.2.1 |
| Uma voz que pode usar | A sua, ou uma com o consentimento escrito do dono |
O diretório de modelos da Neomanex lista os modelos de pesos abertos que acompanhamos.

Corre um trabalho de GPU de cada vez, atrás de um bloqueio (lock). Antes de um modelo carregar, a placa fica abaixo de 600 MiB durante 45 segundos. O Whisper corre em CUDA com float16, nunca int8, nunca na CPU.
Passo 1: grave um prompt de voz de 10 segundos
O prompt decide quanto de si passa para a voz, por isso mantenha-o limpo e curto. Use cerca de 10 segundos de fala com a sua voz: uma gravação limpa, ou um take limpo de um clone de texto para fala (TTS) da sua própria voz. Um take de TTS serve como prompt; o passo 5 explica onde o áudio sintético prejudica. O da Pebblewick diz «This is my voice, recorded for a song I write myself.» (Esta é a minha voz, gravada para uma canção que eu próprio escrevo.)
O pipeline guarda os primeiros 10 segundos e constrói dois prompts. O prompt de SVC é mono a 24 kHz, mais um ficheiro de altura tonal RMVPE. O prompt do modo score é mono a 44,1 kHz, passado pelo pré-processamento do SoulX para obter os tempos das palavras, as notas e a altura tonal. Remova o ruído para o modo score, onde uma gravação de sala em bruto perde palavras. Para o SVC, qualquer um serve.
Passo 2: escreva a melodia em notas
Escrever notas parece lento, e é isso que faz cada verso seguinte sair certo. Um ficheiro de canção tem um token por nota: uma altura MIDI e uma duração em tempos. ~ liga uma sílaba à nota seguinte. _ sustenta um melisma e termina a palavra; sem ele, a palavra seguinte cola-se à vogal sustentada.
«Wake Up Warm», o jingle da Pebblewick, corre a 100 BPM em dó maior:
| Verso | Letra |
|---|---|
| 1 | Wake up warm, the kettle's on |
| 2 | Pebblewick pours it slow |
| 3 | Beans we roast before the dawn |
| 4 | One more cup before you go |
Mantenho uma voz masculina entre D3 e D4. A última nota de cada palavra dura 92 % do seu comprimento e depois faz pausa, para as consoantes ficarem separadas. Use o modo score para uma canção escrita: o modo melody sobre uma voz emprestada transforma as consoantes novas numa algaraviada.
O verso 2 em tokens (sílaba, altura MIDI, tempos):
Peb~ 52 0.5 | ble~ 55 0.5 | wick 57 1 | pours 60 1 | it 57 0.5 | slow~ 55 1 | _ 52 2
O modo score não lê tokens. Um conversor curto transforma cada verso num segmento-alvo: cada nota leva a sua palavra, o ARPAbet da palavra obtido com g2p_en, uma altura (0 para uma pausa) e um tipo de nota (2 começa uma palavra, 3 continua-a, 1 é uma pausa). A 100 BPM, um tempo dura 0,6 segundos:
{"text": "<SP> Pebblewick Pebblewick Pebblewick <SP> pours <SP> ...",
"note_pitch": "0 52 55 57 0 60 0 ...",
"note_type": "1 2 3 3 1 2 1 ...",
"duration": "0.200 0.300 0.300 0.552 0.048 0.552 0.048 ..."}
A lista de segmentos é song/lead.json, o alvo nos comandos de construção.
Passo 3: cante quatro takes e deixe o Whisper escolher cada verso
Nunca confie só no seu ouvido para avaliar um take. Deixe o Whisper ler cada verso e depois ouça a escolha.
O SoulX-Singer faz amostragem, por isso cada take sai diferente. Canto quatro. O Whisper large-v3 (beam 5, sem condicionamento no texto anterior) transcreve cada verso de cada take isoladamente. Cada célula dá a semelhança de texto entre o que o Whisper ouviu e a letra, de 0 a 1. A pontuação mais alta ganha o verso; em caso de empate, ganha o take de número mais baixo.
| Verso | Take 1 | Take 2 | Take 3 | Take 4 | Escolha |
|---|---|---|---|---|---|
| 1 | «Wake up one, the kettle's on» 0,83 | 1,00 | 1,00 | 1,00 | take 2 |
| 2 | «Pebble wick pours it slow» 0,67 | «Pebblewick pause it slow» 0,75 | 1,00 | 1,00 | take 3 |
| 3 | 1,00 | «Beings we roast before the dawn» 0,83 | 1,00 | 1,00 | take 1 |
| 4 | «One more cut before you go» 0,83 | 1,00 | 1,00 | 1,00 | take 2 |
Cinco falhas em 16 células, escolhas 2, 3, 1, 2, e todos os versos escolhidos estão certos. O segundo melhor take pode ficar por baixo da escolha como duplicação vocal.

Passo 4: gere um rap-guia com o ACE-Step 1.5
O cantor-guia é um substituto: quer o ritmo dele, não a voz, por isso peça uma voz seca e simples. A descrição da Pebblewick é «boom bap hip hop, solo male rapper, clear diction, dry upfront vocal», 90 BPM, 30 segundos, quatro versos de 10 palavras:
| Verso | Letra |
|---|---|
| 1 | Up at five with the drum turning beans to gold |
| 2 | Pebblewick roast got a caramel kick when it gets cold |
| 3 | We ship the beans the day we roast, never stale |
| 4 | Pour it slow, raise a cup, every sip tells the tale |
Em 6 GB, o ACE-Step 1.5 corre o DiT turbo de 2B sem modelo de linguagem (thinking e chain of thought desligados), com quantização INT8 só dos pesos e descarga para a CPU (CPU offload). O modelo de linguagem de 1,7B não cabe ao lado do DiT e, de qualquer forma, reescreve a sua descrição e a sua letra.
A mesma semente e as mesmas palavras dão um guia idêntico byte a byte. O ACE-Step acrescenta ad-libs e repete ou corta um verso do refrão, por isso parte de cada pontuação é estrutura.
Passo 5: volte a cantar o guia com a sua voz no SoulX SVC
O SVC copia a interpretação tal como está, erros incluídos, por isso um guia limpo importa mais do que o prompt. Um modelo de karaoke mel-band roformer separa a voz principal do beat, e o RMVPE extrai a altura tonal. Nada remove a reverberação, por isso a voz seca do passo 4 importa: o SVC perde consoantes debaixo de reverberação. O SoulX-Singer SVC com --auto_shift volta a cantá-la com a sua voz e na sua tessitura, com o mesmo ritmo, sobre o beat do ACE-Step.

O SVC mantém o flow e esbate as consoantes duras. Precisa de uma interpretação real por baixo: sobre um clone TTS da sua voz a ler o rap, piora as palavras. Um prompt sintético serve; uma voz sintética para converter não serve.
Construo pipelines como este com agentes de IA em fluxos de trabalho escritos e mostro o trabalho todas as semanas. Veja como o fazemos, por dentro, em neomanex.com/pt/join.
Passo 6: pontue cada semente, verso a verso
Pontuo cada semente face à letra. O Whisper lê a voz convertida em janelas de 5 segundos, com cada extremidade ajustada aos 20 ms mais silenciosos num raio de 0,3 segundos, para que nenhum corte caia a meio de uma palavra. As palavras ouvidas alinham-se com a letra por distância de edição, e cada erro é atribuído ao seu verso. A WER (taxa de erro por palavra) é o número de erros a dividir pelas 40 palavras da letra. Um verso fica assinalado quando o Whisper ouve uma palavra de uma lista de palavras impróprias (palavrões e termos sexuais).
| Verso | Semente 1 | Semente 2 | Semente 3 |
|---|---|---|---|
| 1 | 6 | 3 | 4 |
| 2 | 4 | 2 | 2 |
| 3 | 5 | 3, imprópria: «We sh*t the beans» | 3 |
| 4 | 5 | 2 | 3 |
| WER | 0,50 | 0,25 (a mais baixa) | 0,30 |
| Veredito | excluída pela pontuação | excluída pelo verso 3 | publicar depois de ouvir |
A semente 2 tem a melhor pontuação e mesmo assim perde. Escolho a semente 3 pela pontuação e pelo ouvido.

Passo 7: misture a -14 LUFS e identifique-a como feita por IA
Uma mistura que enterra as palavras desfaz a avaliação. O Whisper avalia o take seco; a mistura só acrescenta efeitos leves. Os dois caminhos aplicam à voz um filtro passa-alto a 90 Hz e chegam a -14 LUFS, com pico real (true peak) de -1,5 dBTP e intervalo de loudness de 9. O caminho B acrescenta um compressor de 2,5:1 e +2 dB a 3,5 kHz, para igualar o nível da voz do guia. O caminho A baixa a gama de 1 a 5 kHz da banda por baixo da voz.
Guarde o wav de cada take escolhido: o SoulX nunca canta duas vezes da mesma forma a mesma entrada. Ouça cada verso assinalado. Depois identifique o conteúdo ao carregá-lo: o YouTube pede aos criadores que divulguem música gerada por IA(abre num novo separador) com a definição «AI use» (utilização de IA) no YouTube Studio.
O que corre mal, e a regra que cada falha deixou
Todas as falhas aqui foram silenciosas: o take soava bem e as palavras estavam erradas.
| Falha (recontada com a Pebblewick) | Regra atual |
|---|---|
| Sementes com as mesmas palavras e definições foram de limpas a inutilizáveis | Corra várias sementes, pontue cada uma verso a verso e escolha pela pontuação, depois pelo ouvido |
| O SVC manteve o ritmo e esbateu «kick» | Peça um guia seco, a solo e com dicção clara; avalie depois da conversão |
| O Whisper ouviu «ship» como um palavrão | Assinale palavras impróprias por verso; nunca publique um take assinalado sem o ouvir |
| Um rap rápido transcrito de uma só vez perdeu os primeiros segundos | Avalie em janelas de 5 segundos ajustadas ao silêncio |
| Uma letra nova sobre uma curva de altura emprestada saiu ininteligível | Escreva a melodia e use o modo score |
| Outro trabalho ocupou a placa entre a verificação de memória livre e o carregamento: falta de memória | Um trabalho de GPU de cada vez, atrás de um bloqueio, à espera de uma placa livre; o canto volta a tentar depois de uma falta de memória |
Transformar falhas em regras é um ciclo próprio: construa um sistema de IA que se melhora a si próprio.
Construa o seu: o conjunto mínimo de comandos
Comece pelo caminho A com quatro versos. Assim que um verso sair limpo, o resto é repetição. Estes comandos usam os projetos originais nas versões acima.
SoulX-Singer, um take em modo score (metadados do prompt do pré-processamento do SoulX, song/lead.json do seu conversor):
git clone https://github.com/Soul-AILab/SoulX-Singer.git && cd SoulX-Singer && git checkout 81aeb3a
python3.10 -m venv .venv && .venv/bin/pip install -r requirements.txt huggingface_hub
.venv/bin/hf download Soul-AILab/SoulX-Singer --local-dir pretrained_models/SoulX-Singer
.venv/bin/hf download Soul-AILab/SoulX-Singer-Preprocess --local-dir pretrained_models/SoulX-Singer-Preprocess
.venv/bin/python -m cli.inference --device cuda --control score \
--model_path pretrained_models/SoulX-Singer/model.pt --config soulxsinger/config/soulxsinger.yaml \
--prompt_wav_path prompt/vocal.wav --prompt_metadata_path prompt/metadata.json \
--target_metadata_path song/lead.json --phoneset_path soulxsinger/utils/phoneme/phone_set.json \
--save_dir out/take1
ACE-Step 1.5, um rap-guia no escalão de 6 GB:
cd .. && git clone https://github.com/ACE-Step/ACE-Step-1.5.git && cd ACE-Step-1.5 && git checkout ca1e85f && uv sync
Guarde isto como guide.py dentro de ACE-Step-1.5, com a sua letra em rap.txt ao lado, e corra-o com uv run python guide.py:
from acestep.handler import AceStepHandler
from acestep.llm_inference import LLMHandler
from acestep.inference import GenerationParams, GenerationConfig, generate_music
dit = AceStepHandler()
dit.initialize_service(project_root=".", config_path="acestep-v15-turbo", device="cuda",
offload_to_cpu=True, offload_dit_to_cpu=True, quantization="int8_weight_only")
p = GenerationParams(caption="boom bap hip hop, solo male rapper, clear diction, dry upfront vocal",
lyrics=open("rap.txt").read(), vocal_language="en", bpm=90, duration=30,
thinking=False, use_cot_metas=False, use_cot_caption=False, use_cot_language=False, seed=3)
generate_music(dit, LLMHandler(), p, GenerationConfig(batch_size=1, audio_format="wav",
use_random_seed=False, seeds=[3]), save_dir="guide")
Separação e altura tonal, com as ferramentas de pré-processamento do próprio SoulX: de volta ao SoulX-Singer, com o respetivo venv, copie o wav que o ACE-Step escreveu para guide/seed3.wav (cd ../SoulX-Singer && mkdir -p guide e depois copie o ficheiro de ../ACE-Step-1.5/guide/):
import soundfile as sf
from preprocess.tools import VocalSeparator, F0Extractor
P = "pretrained_models/SoulX-Singer-Preprocess/"
sep = VocalSeparator(
sep_model_path=P + "mel-band-roformer-karaoke/mel_band_roformer_karaoke_becruily.ckpt",
sep_config_path=P + "mel-band-roformer-karaoke/config_karaoke_becruily.yaml",
der_model_path=P + "dereverb_mel_band_roformer/dereverb_mel_band_roformer_anvuew_sdr_19.1729.ckpt",
der_config_path=P + "dereverb_mel_band_roformer/dereverb_mel_band_roformer_anvuew.yaml", device="cuda")
r = sep.process("guide/seed3.wav")
sf.write("guide/vocal.wav", r.vocals.T, r.sample_rate)
sf.write("guide/beat.wav", r.accompaniment.T, r.sample_rate)
f0 = F0Extractor(model_path=P + "rmvpe/rmvpe.pt", device="cuda")
for w in ("guide/vocal.wav", "prompt/vocal.wav"):
f0.process(w, f0_path=w.replace(".wav", "_f0.npy"))
SoulX SVC, a voz-guia separada cantada com a sua voz:
.venv/bin/python -m cli.inference_svc --device cuda --auto_shift \
--model_path pretrained_models/SoulX-Singer/model-svc.pt --config soulxsinger/config/soulxsinger.yaml \
--prompt_wav_path prompt/vocal.wav --prompt_f0_path prompt/vocal_f0.npy \
--target_wav_path guide/vocal.wav --target_f0_path guide/vocal_f0.npy --save_dir out/svc
faster-whisper, um verso ou uma janela:
from faster_whisper import WhisperModel
m = WhisperModel("large-v3", device="cuda", compute_type="float16")
segments, _ = m.transcribe("line2.wav", language="en", beam_size=5, condition_on_previous_text=False)
heard = " ".join(s.text.strip() for s in segments)
Quer ver a próxima canção a ser feita, take a take? Veja como o fazemos, por dentro, em neomanex.com/pt/join.
Passos
Grave um prompt de voz de 10 segundos
Use cerca de 10 segundos de fala limpa com a sua voz, cortada nos primeiros 10 segundos. Crie um prompt mono a 24 kHz com um ficheiro de altura tonal para o SVC e um prompt pré-processado pelo SoulX para o modo score.
Escreva a melodia em notas
Escreva um token por nota, com uma altura MIDI e uma duração em tempos. Ligue sílabas entre notas com ~, termine um melisma sustentado com _ e mantenha uma voz masculina entre D3 e D4.
Cante quatro takes e deixe o Whisper escolher cada verso
Cante quatro takes com o SoulX-Singer em modo score. O Whisper large-v3 transcreve cada verso de cada take, e o take mais próximo da letra ganha cada verso.
Gere um rap-guia com o ACE-Step 1.5
Escreva uma descrição que peça um rapper a solo, dicção clara e uma voz seca e à frente. Corra o modelo turbo de 2B sem modelo de linguagem, com pesos INT8 e descarga para a CPU, uma semente por guia.
Volte a cantar o guia com a sua voz no SoulX SVC
Separe a voz do guia do beat e extraia a altura tonal. Corra o SoulX-Singer SVC com auto shift e volte a pôr a sua nova voz sobre o beat.
Pontue cada semente, verso a verso
Transcreva a voz convertida em janelas de 5 segundos ajustadas ao silêncio, alinhe as palavras com a letra e conte os erros por verso. Exclua qualquer semente com uma palavra imprópria mal ouvida e depois escolha pela pontuação e pelo ouvido.
Misture a -14 LUFS e identifique-a como feita por IA
Aplique à voz um filtro passa-alto a 90 Hz, use poucos efeitos e normalize a -14 LUFS com um pico real de -1,5 dBTP. Ouça cada verso assinalado e identifique o conteúdo carregado como música gerada por IA.
Perguntas frequentes
O que é o canto com voz clonada por IA?
O canto com voz clonada por IA é uma técnica que põe modelos open source a cantar uma melodia ou uma canção-guia com a sua própria voz clonada, a partir de cerca de 10 segundos de fala. Uma melodia escrita vai para o modo score do SoulX-Singer, que canta as suas notas. Um rap passa por uma canção-guia do ACE-Step 1.5 que o SoulX-Singer SVC volta a cantar com a sua voz, com o mesmo ritmo. Não é preciso treinar nada por voz.
Para quem é o canto com voz clonada por IA em open source?
O canto com voz clonada por IA em open source é para criadores, makers e pequenos estúdios com uma GPU NVIDIA de consumo de 6 GB ou mais que querem jingles, introduções ou canções curtas com a sua própria voz. O SoulX-Singer, o ACE-Step 1.5 e o Whisper correm todos localmente nessa placa, e o Whisper verifica cada verso cantado face à letra antes de qualquer publicação.
Como ponho a IA a cantar uma canção com a minha voz, de graça?
Grave cerca de 10 segundos de fala limpa com a sua voz. Depois escreva a melodia em notas, um token por nota, e cante quatro takes com o SoulX-Singer em modo score. O Whisper large-v3 transcreve cada verso de cada take, e o take mais próximo da letra ganha cada verso. Todos os modelos são open source e correm na sua própria GPU. Use apenas a sua voz ou uma com consentimento escrito.
Preciso de treinar um modelo com a minha voz para a pôr a cantar?
Não. O SoulX-Singer é zero-shot: lê um prompt de voz de 10 segundos no momento da inferência e não treina nada por voz. Treinar um modelo RVC é o outro caminho, e o projeto RVC recomenda pelo menos 10 minutos de fala com pouco ruído e um treino para cada voz. O zero-shot é mais rápido de montar, e um modelo RVC treinado continua a ser a alternativa quando tem as gravações.
A IA consegue fazer rap com a minha voz usando modelos open source?
Sim. O ACE-Step 1.5 gera um rap-guia a partir da sua letra e de uma descrição de estilo, e o SoulX-Singer SVC volta a cantar esse guia com a sua voz, com o mesmo ritmo. O SVC mantém o flow e esbate as consoantes duras, por isso cada semente sai diferente. Gere várias sementes, pontue cada uma verso a verso com o Whisper large-v3 e escolha pela pontuação e depois pelo ouvido.
O ACE-Step 1.5 e o SoulX-Singer correm numa GPU de 6 GB?
Sim, numa RTX 3060 Laptop GPU com 6 GB. O ACE-Step 1.5 corre o DiT turbo de 2B sem modelo de linguagem, com quantização INT8 só dos pesos e descarga para a CPU. O SoulX-Singer e o Whisper large-v3 (float16) carregam cada um sozinho, porque só corre um trabalho de GPU de cada vez. Antes de cada carregamento, a placa fica abaixo de 600 MiB durante 45 segundos. Outras placas não foram testadas.
Posso clonar a voz de outra pessoa para a pôr a cantar?
Só com o consentimento escrito do dono da voz. O canto com voz clonada por IA funciona com qualquer prompt de 10 segundos, por isso é o consentimento que o limita: clone a sua própria voz, ou uma cujo dono concordou por escrito, e nunca a voz de uma figura pública sem esse acordo. Quando publicar a canção, o YouTube pede aos criadores que divulguem a música gerada por IA com a definição «AI use» (utilização de IA) no carregamento.
Como sei se a IA cantou as palavras certas?
Transcreva cada take com o Whisper large-v3 e compare-o com a letra. Numa melodia escrita, o Whisper lê cada verso isoladamente e o take mais próximo ganha o verso. Num rap, o Whisper lê janelas de 5 segundos ajustadas ao silêncio, e cada erro é atribuído ao seu verso. Os versos onde o Whisper ouve palavrões ficam assinalados, por isso ouça cada um antes de publicar.
