Leitfäden

KI-Stimme klonen und singen lassen, Open Source: ohne Training, 6 GB

Singen mit geklonter KI-Stimme ist eine Technik, bei der Open-Source-Modelle eine Melodie oder einen Guide-Song mit Ihrer eigenen geklonten Stimme singen, auf Basis von etwa 10 Sekunden Sprache. Eine ausgeschriebene Melodie geht direkt an SoulX-Singer, ein Rap läuft zuerst über einen Guide-Song von ACE-Step 1.5, und Whisper prüft jede Zeile.

David Marsa

David Marsa

Founder & CEO

Mittelstufe11 Min. LesezeitVeröffentlicht am 18.11.2026

Zuletzt geprüft am 18.11.2026

Zehn Sekunden Sprache, dazu ausgeschriebene Noten oder ein generierter Beat, verschmelzen zu einer Singstimme.

Das können Sie danach

  • Einen Stimm-Prompt von 10 Sekunden erstellen, den beide Modi von SoulX-Singer nutzen können.
  • Eine kurze Melodie als Noten schreiben und jede Zeile in vier Takes richtig singen lassen.
  • Mit ACE-Step 1.5 auf einer GPU mit 6 GB einen Guide-Rap erzeugen und ihn mit SoulX SVC in Ihrer Stimme neu singen lassen.
  • Takes und Seeds mit Whisper Zeile für Zeile bewerten und anstößige Verhörer erkennen.
  • Das Ergebnis auf -14 LUFS mischen und mit einem Hinweis auf KI-Inhalte veröffentlichen.

Das Wichtigste

  • Mit einer geklonten KI-Stimme singen Open-Source-Modelle in Ihrer eigenen Stimme, auf Basis von etwa 10 Sekunden Sprache und ohne Training pro Stimme.
  • Eine ausgeschriebene Melodie geht direkt an den Score-Modus von SoulX-Singer. Ein Rap läuft über einen Guide-Song von ACE-Step 1.5, den SoulX SVC mit demselben Timing in Ihrer Stimme neu singt.
  • Whisper large-v3 liest jede Zeile jedes Takes, sodass pro Zeile der beste Take gewinnt und anstößige Verhörer vor der Veröffentlichung markiert werden.
  • Sechs Gigabyte reichen: ACE-Step ohne Sprachmodell, INT8-Gewichte und CPU-Offload, und immer nur ein GPU-Job gleichzeitig.
  • Klonen Sie nur Ihre eigene Stimme oder eine mit schriftlicher Zustimmung, und kennzeichnen Sie den Song beim Upload als KI-generierte Musik.

Singen mit geklonter KI-Stimme ist eine Technik, bei der Open-Source-Modelle eine Melodie oder einen Guide-Song mit Ihrer eigenen geklonten Stimme singen, auf Basis von etwa 10 Sekunden Sprache. Am Ende haben Sie einen kurzen Song in Ihrer eigenen Stimme, erstellt auf einer GPU mit 6 GB, und Whisper hat jede Zeile geprüft.

Die Installation dauert einen Nachmittag. Ein ausgeschriebener Song mit 4 Zeilen braucht danach etwa 12 Minuten GPU-Zeit: 4,5 Minuten für den Stimm-Prompt, vier Takes mit je etwa 1,5 Minuten und 1 Minute für die Bewertung.

Bei Neomanex betreibe ich diese Pipeline für die Songs in unseren Videos, und jede markierte Zeile höre ich mir an, bevor sie rausgeht. Die Beispiele nutzen Pebblewick Coffee, eine fiktive Kaffeerösterei aus der Nachbarschaft.

Was Singen mit geklonter KI-Stimme ist, und die zwei Wege

Den Weg entscheidet eine einzige Frage: Können Sie die Melodie aufschreiben? Wenn ja, ist die Aufgabe einfach. Wenn nicht, brauchen Sie zuerst einen Guide-Sänger.

Weg A: ausgeschriebene MelodieWeg B: Rap oder ein Stil, den Sie nicht notieren können
EingabeLiedtext plus NotenLiedtext plus eine Stilbeschreibung (Caption)
SängerDer Score-Modus von SoulX-Singer singt Ihre Noten in Ihrer StimmeACE-Step 1.5 erzeugt einen Guide-Song, SoulX-Singer SVC singt ihn in Ihrer Stimme neu
BewertungWhisper large-v3 wählt pro Zeile den besten TakeWhisper large-v3 bewertet jeden Seed Zeile für Zeile

SVS (Singing Voice Synthesis) singt aus Noten und Text. SVC (Singing Voice Conversion) nimmt einen vorhandenen Gesang und tauscht die Stimme aus, wobei Timing und Melodie erhalten bleiben. SoulX-Singer kann beides.

Wenn Sie die Melodie aufschreiben können, singt SoulX-Singer sie. Wenn nicht, erzeugt ACE-Step eine Vorlage, die SoulX in Ihrer Stimme neu singt. Beide Wege enden in einem Mix bei -14 LUFS.

Kein Training: ein Stimm-Prompt von 10 Sekunden

Ein RVC-Modell zu trainieren ist der andere Weg. Das RVC-Projekt(wird in einem neuen Tab geöffnet) empfiehlt mindestens 10 Minuten rauscharme Sprache und einen eigenen Trainingslauf pro Stimme. SoulX-Singer arbeitet zero-shot: Es liest einen Prompt von 10 Sekunden und trainiert nichts, sodass der erste Take noch am selben Nachmittag entsteht. Einen Vergleich mit einem trainierten RVC-Modell habe ich nicht gemessen.

Hier ist Weg B an einem echten Song: ein Rap, gesungen mit meiner eigenen geklonten Stimme.

Was Sie brauchen

Sechs Gigabyte reichen, wenn Sie die GPU als eine einzige Warteschlange behandeln. Für andere Karten verspreche ich nichts.

BedarfMeine Version
NVIDIA-GPU mit CUDARTX 3060 Laptop GPU, 6 GB
Python und ffmpegPython 3.10
SoulX-SingerCommit 81aeb3a, transformers 4.41.2
ACE-Step 1.5Commit ca1e85f
faster-whisper1.2.1
Eine Stimme, die Sie nutzen dürfenIhre eigene oder eine mit schriftlicher Zustimmung der Person, der sie gehört

Das Neomanex-Modellverzeichnis listet die Open-Weight-Modelle, die wir verfolgen.

Sechs Gigabyte reichen, wenn das Sprachmodell aus bleibt und nur ein Modell auf der Karte liegt.

Es läuft immer nur ein GPU-Job gleichzeitig, abgesichert durch eine Sperre. Bevor ein Modell geladen wird, bleibt die Karte 45 Sekunden lang unter 600 MiB. Whisper läuft auf CUDA in float16, nie in int8 und nie auf der CPU.

Schritt 1: Einen Stimm-Prompt von 10 Sekunden aufnehmen

Der Prompt entscheidet, wie viel von Ihnen durchkommt, also halten Sie ihn sauber und kurz. Nutzen Sie etwa 10 Sekunden Sprache in Ihrer Stimme: eine saubere Aufnahme oder einen sauberen Take aus einem Text-to-Speech-Klon (TTS) Ihrer eigenen Stimme. Ein TTS-Take funktioniert als Prompt. In Schritt 5 steht, wo synthetisches Audio schadet. Der Prompt von Pebblewick sagt „This is my voice, recorded for a song I write myself.“

Die Pipeline behält die ersten 10 Sekunden und baut daraus zwei Prompts. Der SVC-Prompt ist 24 kHz mono plus eine RMVPE-Tonhöhendatei. Der Prompt für den Score-Modus ist 44,1 kHz mono und durchläuft die Vorverarbeitung von SoulX für Wortzeiten, Noten und Tonhöhe. Entrauschen Sie ihn für den Score-Modus, denn dort verliert eine unbearbeitete Raumaufnahme Wörter. Für SVC funktioniert beides.

Schritt 2: Die Melodie als Noten aufschreiben

Noten zu schreiben fühlt sich langsam an, und genau das sorgt dafür, dass später jede Zeile richtig herauskommt. Eine Song-Datei enthält ein Token pro Note: eine MIDI-Tonhöhe und eine Länge in Schlägen. ~ verbindet eine Silbe mit der nächsten Note. _ hält ein Melisma und beendet das Wort. Ohne es klebt das nächste Wort am gehaltenen Vokal.

„Wake Up Warm“, der Jingle von Pebblewick, läuft mit 100 BPM in C-Dur:

ZeileLiedtext
1Wake up warm, the kettle's on
2Pebblewick pours it slow
3Beans we roast before the dawn
4One more cup before you go

Eine Männerstimme halte ich zwischen D3 und D4. Die letzte Note jedes Worts klingt 92 % ihrer Länge, danach folgt eine Pause, damit die Konsonanten getrennt bleiben. Nehmen Sie für einen ausgeschriebenen Song den Score-Modus: Der Melodie-Modus auf einem geliehenen Gesang verschmiert neue Konsonanten zu Kauderwelsch.

Zeile 2 als Tokens (Silbe, MIDI-Tonhöhe, Schläge):

Peb~ 52 0.5 | ble~ 55 0.5 | wick 57 1 | pours 60 1 | it 57 0.5 | slow~ 55 1 | _ 52 2

Der Score-Modus liest keine Tokens. Ein kurzer Konverter macht aus jeder Zeile ein Zielsegment: Jede Note trägt ihr Wort, das ARPAbet des Worts aus g2p_en, eine Tonhöhe (0 für eine Pause) und einen Notentyp (2 beginnt ein Wort, 3 führt es fort, 1 ist eine Pause). Bei 100 BPM dauert ein Schlag 0,6 Sekunden:

{"text": "<SP> Pebblewick Pebblewick Pebblewick <SP> pours <SP> ...",
 "note_pitch": "0 52 55 57 0 60 0 ...",
 "note_type": "1 2 3 3 1 2 1 ...",
 "duration": "0.200 0.300 0.300 0.552 0.048 0.552 0.048 ..."}

Die Liste der Segmente ist song/lead.json, das Ziel in den Build-Befehlen.

Schritt 3: Vier Takes singen und Whisper jede Zeile wählen lassen

Verlassen Sie sich bei einem Take nie nur auf Ihr Gehör. Lassen Sie Whisper jede Zeile lesen und hören Sie sich dann die Auswahl an.

SoulX-Singer arbeitet mit Sampling, daher unterscheidet sich jeder Take. Ich singe vier. Whisper large-v3 (Beam 5, ohne Konditionierung auf vorherigen Text) transkribiert jede Zeile jedes Takes einzeln. Jede Zelle bewertet die Textähnlichkeit zwischen dem, was Whisper gehört hat, und dem Liedtext, von 0 bis 1. Der höchste Wert gewinnt die Zeile. Bei Gleichstand gewinnt der frühere Take.

ZeileTake 1Take 2Take 3Take 4Auswahl
1„Wake up one, the kettle's on“ 0,831,001,001,00Take 2
2„Pebble wick pours it slow“ 0,67„Pebblewick pause it slow“ 0,751,001,00Take 3
31,00„Beings we roast before the dawn“ 0,831,001,00Take 1
4„One more cut before you go“ 0,831,001,001,00Take 2

Fünf Fehltreffer in 16 Zellen, gewählt werden die Takes 2, 3, 1 und 2, und jede gewählte Zeile stimmt. Der zweitbeste Take kann als Gesangsdopplung unter der Auswahl liegen.

Whisper liest jede Zeile jedes Takes, und der Take, der dem Liedtext am nächsten kommt, gewinnt die Zeile.

Schritt 4: Einen Guide-Rap mit ACE-Step 1.5 erzeugen

Der Guide-Sänger ist nur ein Platzhalter: Sie wollen sein Timing, nicht seine Stimme, also fordern Sie einen trockenen, schlichten Gesang an. Die Caption von Pebblewick lautet „boom bap hip hop, solo male rapper, clear diction, dry upfront vocal“, dazu 90 BPM, 30 Sekunden und vier Zeilen mit je 10 Wörtern:

ZeileLiedtext
1Up at five with the drum turning beans to gold
2Pebblewick roast got a caramel kick when it gets cold
3We ship the beans the day we roast, never stale
4Pour it slow, raise a cup, every sip tells the tale

Auf 6 GB läuft ACE-Step 1.5 mit dem 2B-Turbo-DiT ohne Sprachmodell (Thinking und Chain of Thought aus), mit INT8-Quantisierung nur der Gewichte und CPU-Offload. Das Sprachmodell mit 1,7B passt nicht neben den DiT, und es schreibt Ihre Caption und Ihren Liedtext ohnehin um.

Derselbe Seed und derselbe Text ergeben einen byte-identischen Guide. ACE-Step fügt Ad-libs hinzu und wiederholt oder streicht eine Hook-Zeile, daher bewertet jede Punktzahl auch die Struktur.

Schritt 5: Den Guide mit SoulX SVC in Ihrer Stimme neu singen

SVC kopiert die Performance exakt, Fehler eingeschlossen, deshalb zählt ein sauberer Guide mehr als der Prompt. Ein Mel-Band-Roformer-Karaoke-Modell trennt den Leadgesang vom Beat, und RMVPE extrahiert die Tonhöhe. Nichts entfernt Hall, deshalb ist der trockene Gesang aus Schritt 4 so wichtig: Unter Hall verliert SVC Konsonanten. SoulX-Singer SVC mit --auto_shift singt ihn in Ihrer Stimme und Ihrem Stimmumfang neu, mit demselben Timing, zurück über den Beat von ACE-Step.

SVC behält das Timing des Guides Wort für Wort und tauscht die Stimme aus. Bei harten Konsonanten verliert es Wörter.

SVC behält den Flow und verwischt harte Konsonanten. Es braucht eine echte Performance als Grundlage: Auf einem TTS-Klon Ihrer Stimme, der den Rap vorliest, macht es die Wörter schlechter. Ein synthetischer Prompt ist in Ordnung, ein synthetischer Gesang zum Konvertieren nicht.

Pipelines wie diese baue ich mit KI-Agenten nach schriftlichen Workflows und zeige die Arbeit jede Woche. Wie wir das von innen betreiben, sehen Sie unter neomanex.com/join.

Schritt 6: Jeden Seed Zeile für Zeile bewerten

Ich bewerte jeden Seed gegen das Textblatt. Whisper liest den konvertierten Gesang in Fenstern von 5 Sekunden, und jede Fenstergrenze rastet auf die leiseste Stelle von 20 ms innerhalb von 0,3 Sekunden ein, damit kein Schnitt mitten in einem Wort landet. Die gehörten Wörter werden per Editierdistanz am Textblatt ausgerichtet, und jeder Fehler wird seiner Zeile zugerechnet. Die WER (Word Error Rate, Wortfehlerrate) ist die Zahl der Fehler geteilt durch die 40 Wörter des Liedtexts. Eine Zeile wird markiert, wenn Whisper ein Wort aus einer Liste anstößiger Wörter hört (Schimpfwörter und sexuelle Begriffe).

ZeileSeed 1Seed 2Seed 3
1634
2422
353, anstößig: „We sh*t the beans“3
4523
WER0,500,25 (niedrigste)0,30
Urteilscheidet wegen der Punktzahl ausscheidet wegen Zeile 3 ausnach dem Anhören veröffentlichen

Seed 2 hat die beste Punktzahl und verliert trotzdem. Ich wähle Seed 3 nach Punktzahl und nach Gehör.

Die niedrigste Punktzahl ist nicht immer der Take zum Veröffentlichen: Ein anstößiger Verhörer in einer Zeile schließt einen Seed aus.

Schritt 7: Auf -14 LUFS mischen und als KI-generiert kennzeichnen

Ein Mix, der die Wörter zudeckt, macht die Bewertung zunichte. Whisper bewertet den trockenen Take, der Mix fügt nur leichte Effekte hinzu. Beide Wege filtern den Gesang mit einem Hochpass bei 90 Hz und landen bei -14 LUFS, True Peak -1,5 dBTP, Loudness Range 9. Weg B ergänzt einen Kompressor mit 2,5:1 und +2 dB bei 3,5 kHz, passend zum Gesangspegel des Guides. Weg A senkt den Bereich von 1 bis 5 kHz der Band unter der Stimme ab.

Behalten Sie die WAV-Datei jedes gewählten Takes: SoulX singt dieselbe Eingabe nie zweimal gleich. Hören Sie sich jede markierte Zeile an. Kennzeichnen Sie dann den Upload: YouTube bittet Creator, KI-generierte Musik offenzulegen(wird in einem neuen Tab geöffnet), über die Einstellung „AI use“ (KI-Nutzung) in YouTube Studio.

Was schiefgeht, und die Regel, die jeder Fehler hervorgebracht hat

Jeder dieser Fehler war leise: Der Take klang gut, und die Wörter waren falsch.

Fehler (am Beispiel Pebblewick erzählt)Regel heute
Seeds mit demselben Text und denselben Einstellungen reichten von sauber bis unbrauchbarMehrere Seeds erzeugen, jeden Zeile für Zeile bewerten, nach Punktzahl und dann nach Gehör wählen
SVC behielt das Timing und verwischte „kick“Einen trockenen Solo-Guide mit klarer Aussprache anfordern, nach der Konvertierung bewerten
Whisper hörte „ship“ als SchimpfwortAnstößige Wörter pro Zeile markieren, einen markierten Take nie ungehört veröffentlichen
Ein schneller Rap, am Stück transkribiert, verlor seine ersten SekundenIn Fenstern von 5 Sekunden bewerten, die an Stille einrasten
Ein neuer Text auf einer geliehenen Tonhöhenkurve kam unverständlich herausDie Melodie ausschreiben und den Score-Modus nutzen
Ein anderer Job belegte die Karte zwischen Speicherprüfung und Laden: Speichermangel (Out of Memory)Ein GPU-Job hinter einer Sperre, auf eine freie Karte warten, Gesang nach Speichermangel erneut versuchen

Aus Fehlern Regeln zu machen ist eine eigene Schleife: ein selbstverbesserndes KI-System bauen.

Selbst bauen: die minimalen Befehle

Beginnen Sie mit Weg A und vier Zeilen. Sobald eine Zeile sauber zurückkommt, ist der Rest Wiederholung. Diese Befehle nutzen die Upstream-Projekte in den oben genannten Versionen.

SoulX-Singer, ein Take im Score-Modus (Prompt-Metadaten aus der Vorverarbeitung von SoulX, song/lead.json aus Ihrem Konverter):

git clone https://github.com/Soul-AILab/SoulX-Singer.git && cd SoulX-Singer && git checkout 81aeb3a
python3.10 -m venv .venv && .venv/bin/pip install -r requirements.txt huggingface_hub
.venv/bin/hf download Soul-AILab/SoulX-Singer --local-dir pretrained_models/SoulX-Singer
.venv/bin/hf download Soul-AILab/SoulX-Singer-Preprocess --local-dir pretrained_models/SoulX-Singer-Preprocess

.venv/bin/python -m cli.inference --device cuda --control score \
  --model_path pretrained_models/SoulX-Singer/model.pt --config soulxsinger/config/soulxsinger.yaml \
  --prompt_wav_path prompt/vocal.wav --prompt_metadata_path prompt/metadata.json \
  --target_metadata_path song/lead.json --phoneset_path soulxsinger/utils/phoneme/phone_set.json \
  --save_dir out/take1

ACE-Step 1.5, ein Guide-Rap in der 6-GB-Stufe:

cd .. && git clone https://github.com/ACE-Step/ACE-Step-1.5.git && cd ACE-Step-1.5 && git checkout ca1e85f && uv sync

Speichern Sie das als guide.py in ACE-Step-1.5, mit Ihrem Liedtext in rap.txt daneben, und starten Sie es mit uv run python guide.py:

from acestep.handler import AceStepHandler
from acestep.llm_inference import LLMHandler
from acestep.inference import GenerationParams, GenerationConfig, generate_music

dit = AceStepHandler()
dit.initialize_service(project_root=".", config_path="acestep-v15-turbo", device="cuda",
                       offload_to_cpu=True, offload_dit_to_cpu=True, quantization="int8_weight_only")
p = GenerationParams(caption="boom bap hip hop, solo male rapper, clear diction, dry upfront vocal",
                     lyrics=open("rap.txt").read(), vocal_language="en", bpm=90, duration=30,
                     thinking=False, use_cot_metas=False, use_cot_caption=False, use_cot_language=False, seed=3)
generate_music(dit, LLMHandler(), p, GenerationConfig(batch_size=1, audio_format="wav",
               use_random_seed=False, seeds=[3]), save_dir="guide")

Trennung und Tonhöhe mit den eigenen Vorverarbeitungswerkzeugen von SoulX: Kopieren Sie, zurück in SoulX-Singer mit dessen venv, die WAV-Datei, die ACE-Step geschrieben hat, nach guide/seed3.wav (cd ../SoulX-Singer && mkdir -p guide, dann die Datei aus ../ACE-Step-1.5/guide/ kopieren):

import soundfile as sf
from preprocess.tools import VocalSeparator, F0Extractor

P = "pretrained_models/SoulX-Singer-Preprocess/"
sep = VocalSeparator(
    sep_model_path=P + "mel-band-roformer-karaoke/mel_band_roformer_karaoke_becruily.ckpt",
    sep_config_path=P + "mel-band-roformer-karaoke/config_karaoke_becruily.yaml",
    der_model_path=P + "dereverb_mel_band_roformer/dereverb_mel_band_roformer_anvuew_sdr_19.1729.ckpt",
    der_config_path=P + "dereverb_mel_band_roformer/dereverb_mel_band_roformer_anvuew.yaml", device="cuda")
r = sep.process("guide/seed3.wav")
sf.write("guide/vocal.wav", r.vocals.T, r.sample_rate)
sf.write("guide/beat.wav", r.accompaniment.T, r.sample_rate)

f0 = F0Extractor(model_path=P + "rmvpe/rmvpe.pt", device="cuda")
for w in ("guide/vocal.wav", "prompt/vocal.wav"):
    f0.process(w, f0_path=w.replace(".wav", "_f0.npy"))

SoulX SVC, der getrennte Guide-Gesang in Ihrer Stimme:

.venv/bin/python -m cli.inference_svc --device cuda --auto_shift \
  --model_path pretrained_models/SoulX-Singer/model-svc.pt --config soulxsinger/config/soulxsinger.yaml \
  --prompt_wav_path prompt/vocal.wav --prompt_f0_path prompt/vocal_f0.npy \
  --target_wav_path guide/vocal.wav --target_f0_path guide/vocal_f0.npy --save_dir out/svc

faster-whisper, eine Zeile oder ein Fenster:

from faster_whisper import WhisperModel

m = WhisperModel("large-v3", device="cuda", compute_type="float16")
segments, _ = m.transcribe("line2.wav", language="en", beam_size=5, condition_on_previous_text=False)
heard = " ".join(s.text.strip() for s in segments)

Möchten Sie zusehen, wie der nächste Song entsteht, Take für Take? Wie wir das von innen betreiben, sehen Sie unter neomanex.com/join.

Schritte

  1. Einen Stimm-Prompt von 10 Sekunden aufnehmen

    Nutzen Sie etwa 10 Sekunden saubere Sprache in Ihrer Stimme, gekürzt auf die ersten 10 Sekunden. Bauen Sie einen Prompt mit 24 kHz mono und einer Tonhöhendatei für SVC sowie einen mit SoulX vorverarbeiteten Prompt für den Score-Modus.

  2. Die Melodie als Noten aufschreiben

    Schreiben Sie ein Token pro Note mit einer MIDI-Tonhöhe und einer Länge in Schlägen. Verbinden Sie Silben über Noten hinweg mit ~, beenden Sie ein gehaltenes Melisma mit _ und halten Sie eine Männerstimme zwischen D3 und D4.

  3. Vier Takes singen und Whisper jede Zeile wählen lassen

    Singen Sie mit SoulX-Singer im Score-Modus vier Takes. Whisper large-v3 transkribiert jede Zeile jedes Takes, und der Take, der dem Liedtext am nächsten kommt, gewinnt die Zeile.

  4. Einen Guide-Rap mit ACE-Step 1.5 erzeugen

    Schreiben Sie eine Caption, die einen Solo-Rapper, klare Aussprache und einen trockenen, präsenten Gesang verlangt. Starten Sie das 2B-Turbo-Modell ohne Sprachmodell, mit INT8-Gewichten und CPU-Offload, ein Seed pro Guide.

  5. Den Guide mit SoulX SVC in Ihrer Stimme neu singen

    Trennen Sie den Guide-Gesang vom Beat und extrahieren Sie die Tonhöhe. Starten Sie SoulX-Singer SVC mit Auto-Shift und legen Sie Ihren neuen Gesang zurück über den Beat.

  6. Jeden Seed Zeile für Zeile bewerten

    Transkribieren Sie den konvertierten Gesang in Fenstern von 5 Sekunden, die an Stille einrasten, richten Sie die Wörter am Textblatt aus und zählen Sie die Fehler pro Zeile. Schließen Sie jeden Seed mit einem anstößigen Verhörer aus und wählen Sie dann nach Punktzahl und nach Gehör.

  7. Auf -14 LUFS mischen und als KI-generiert kennzeichnen

    Filtern Sie den Gesang mit einem Hochpass bei 90 Hz, halten Sie die Effekte leicht und normalisieren Sie auf -14 LUFS mit einem True Peak von -1,5 dBTP. Hören Sie sich jede markierte Zeile an und kennzeichnen Sie den Upload als KI-generierte Musik.

Häufige Fragen

Was ist Singen mit geklonter KI-Stimme?

Singen mit geklonter KI-Stimme ist eine Technik, bei der Open-Source-Modelle eine Melodie oder einen Guide-Song mit Ihrer eigenen geklonten Stimme singen, auf Basis von etwa 10 Sekunden Sprache. Eine ausgeschriebene Melodie geht an den Score-Modus von SoulX-Singer, der Ihre Noten singt. Ein Rap läuft über einen Guide-Song von ACE-Step 1.5, den SoulX-Singer SVC mit demselben Timing in Ihrer Stimme neu singt. Ein Training pro Stimme ist nicht nötig.

Für wen ist Singen mit geklonter KI-Stimme auf Open-Source-Basis gedacht?

Singen mit geklonter KI-Stimme auf Open-Source-Basis richtet sich an Maker, Creator und kleine Studios mit einer NVIDIA-Consumer-GPU ab 6 GB, die Jingles, Intros oder kurze Songs in ihrer eigenen Stimme wollen. SoulX-Singer, ACE-Step 1.5 und Whisper laufen alle lokal auf dieser Karte, und Whisper prüft jede gesungene Zeile gegen das Textblatt, bevor etwas veröffentlicht wird.

Wie lasse ich eine KI kostenlos einen Song in meiner eigenen Stimme singen?

Nehmen Sie etwa 10 Sekunden saubere Sprache in Ihrer Stimme auf. Schreiben Sie dann die Melodie als Noten, ein Token pro Note, und singen Sie mit SoulX-Singer im Score-Modus vier Takes. Whisper large-v3 transkribiert jede Zeile jedes Takes, und der Take, der dem Liedtext am nächsten kommt, gewinnt die Zeile. Alle Modelle sind Open Source und laufen auf Ihrer eigenen GPU. Nutzen Sie nur Ihre eigene Stimme oder eine mit schriftlicher Zustimmung.

Muss ich ein Modell auf meine Stimme trainieren, damit sie singt?

Nein. SoulX-Singer arbeitet zero-shot: Es liest bei der Inferenz einen Stimm-Prompt von 10 Sekunden und trainiert nichts pro Stimme. Der andere Weg ist ein trainiertes RVC-Modell, und das RVC-Projekt empfiehlt dafür mindestens 10 Minuten rauscharme Sprache plus einen Trainingslauf pro Stimme. Zero-shot ist schneller eingerichtet, und ein trainiertes RVC-Modell bleibt die Alternative, wenn Sie die Aufnahmen haben.

Kann eine KI mit Open-Source-Modellen in meiner eigenen Stimme rappen?

Ja. ACE-Step 1.5 erzeugt aus Ihrem Liedtext und einer Stilbeschreibung einen Guide-Rap, und SoulX-Singer SVC singt diesen Guide mit demselben Timing in Ihrer Stimme neu. SVC behält den Flow und verwischt harte Konsonanten, daher klingt jeder Seed anders. Erzeugen Sie mehrere Seeds, bewerten Sie jeden Zeile für Zeile mit Whisper large-v3 und wählen Sie nach Punktzahl und dann nach Gehör.

Laufen ACE-Step 1.5 und SoulX-Singer auf einer GPU mit 6 GB?

Ja, auf einer RTX 3060 Laptop GPU mit 6 GB. ACE-Step 1.5 läuft mit dem 2B-Turbo-DiT ohne Sprachmodell, mit INT8-Quantisierung nur der Gewichte und CPU-Offload. SoulX-Singer und Whisper large-v3 (float16) werden jeweils allein geladen, weil immer nur ein GPU-Job läuft. Vor jedem Laden bleibt die Karte 45 Sekunden lang unter 600 MiB. Andere Karten sind nicht getestet.

Darf ich die Stimme einer anderen Person klonen, um sie singen zu lassen?

Nur mit schriftlicher Zustimmung der Person, der die Stimme gehört. Singen mit geklonter KI-Stimme funktioniert mit jedem Prompt von 10 Sekunden, deshalb ist die Zustimmung die Regel, die es begrenzt: Klonen Sie Ihre eigene Stimme oder eine, deren Inhaber schriftlich zugestimmt hat, und nie die Stimme einer öffentlichen Person ohne diese Zustimmung. Wenn Sie den Song veröffentlichen, bittet YouTube Creator, KI-generierte Musik beim Upload über die Einstellung zur KI-Nutzung offenzulegen.

Woher weiß ich, dass die KI die richtigen Wörter gesungen hat?

Transkribieren Sie jeden Take mit Whisper large-v3 und vergleichen Sie ihn mit dem Textblatt. Bei einer ausgeschriebenen Melodie liest Whisper jede Zeile einzeln, und der nächstliegende Take gewinnt die Zeile. Bei einem Rap liest Whisper Fenster von 5 Sekunden, die an Stille einrasten, und jeder Fehler wird seiner Zeile im Liedtext zugerechnet. Zeilen, in denen Whisper Schimpfwörter hört, werden markiert, also hören Sie sich jede davon vor der Veröffentlichung an.