Mine põhisisu juurde

Ülestähendus

Seaded → Ülestähendus loetleb tuvastajad: teenused, mis muudavad heli tekstiks, lõppenud vestluste jaoks ja etteütleja jaoks vestluse ajal.

Vestlus tähendatakse üles, kui te seda Salvestiste aknas palute, või iseenesest, kui jaotises Töötlemine on sisse lülitatud Töötle vestlusi automaatselt. Teie enda masinas töötav tuvastaja ei maksa midagi; pilves töötav võtab tasu heliminuti eest.

Tuvastajad​

Tuvastaja on kõnetuvastusteenus, millele telefon heli saadab. Lisa lisab uue; selle kaardi nupp Kontrolli kontrollib, kas teenus tõesti vastab. Igaüks on loendis oma nimega ja selle all on teenuse mudel ja aadress. Tabel loetleb kõik teenuseliigid, mida telefon toetab, nii nagu kaardi Liik neid pakub, koos aadressi ja mudelitega, mille selle liigi uus tuvastaja saab; viimane veerg näitab pildil seadistatud viit:

LiikAadress ülestähenduste jaoksAadress etteütleja jaoksMudelPildil
OpenAI-ga ühilduv (Whisper, OpenAI)https://api.openai.com/v1wss://api.openai.comgpt-4o-transcribe, otse gpt-live-transcribeOpenAI · gpt-4o-transcribe
Deepgramhttps://api.deepgram.com/v1wss://api.deepgram.comnova-3Deepgram · nova-2
ElevenLabs (Scribe)https://api.elevenlabs.io/v1wss://api.elevenlabs.ioscribe_v1, otse scribe_v2_realtimeElevenLabs · scribe_v2
Speechmaticshttps://asr.api.speechmatics.com/v2wss://global.rt.speechmatics.com või piirkonna jaoks eu., us., au. global. asemelenhanced—
xAI (Grok)https://api.x.ai/v1wss://api.x.ai(tühi: teenuse vaikemudel), otse grok-voice-transcribe-2.0X.ai · otse grok-voice-transcribe-2.0
Sonioxhttps://api.soniox.comwss://stt-rt.soniox.com(tühi: teenuse vaikemudel), otse stt-rt-v5—
AssemblyAIhttps://api.assemblyai.comwss://streaming.assemblyai.com(tühi: teenuse vaikemudel)—
Vosk (teie enda masinas)teie server, näiteks ws://localhost:2700(sama server)(seatakse serveris)Vosk · ws://localhost:2700
WhisperLive (teie enda masinas)teie server, näiteks ws://localhost:9090(sama server)otse small—
NVIDIA Riva (teie enda masinas)teie server, näiteks localhost:50051(sama server)(seatakse serveris)—

Väli Aadress etteütleja jaoks on tavaliselt WebSocketi aadress: wss:// pilves oleva teenuse jaoks, ws:// teie oma võrgus oleva serveri jaoks; NVIDIA Riva antakse kujul host:port.

Kaks märki rea paremas servas näitavad, mille jaoks tuvastaja on vaikimisi valitud. Kell põleb vaikimisi tuvastajal ülestähenduste jaoks — pildil X.ai —, mida kasutatakse, kui te muud ei vali. Välk põleb vaikimisi tuvastajal etteütleja jaoks — pildil Vosk. Tuvastajaid võib olla mitu; ülestähenduse kohal olev ripploend Salvestiste aknas näitab igaühe tehtud ülestähendusi.

Tuvastaja kaart​

Tuvastajale vajutamine avab selle kaardi.

VäliMis see on
NimiNimi loendites.
LiikTeenuse liik, mis otsustab, kuidas telefon sellega räägib: OpenAI-ga ühilduv (Whisper, OpenAI), Deepgram, ElevenLabs (Scribe), xAI (Grok), AssemblyAI, Soniox, Speechmatics ja kolm, mis töötavad teie enda masinas — Vosk, WhisperLive ja NVIDIA Riva.
Aadress ülestähenduste jaoksKuhu lõppenud vestlused saadetakse.
Aadress etteütleja jaoksKuhu otseheli vestluse ajal läheb. Tavaliselt WebSocketi aadress: wss:// pilves oleva teenuse jaoks, nagu wss://api.x.ai pildil, ws:// teie oma võrgus oleva serveri jaoks. Tühi tuletatakse kõrvalolevast aadressist.
VõtiTeenuse võti. See on selle arvuti võtmehoidjas, mitte kunagi seadistusfailis.
KontrolliKüsib teenuselt ja ütleb, mida see vastas, näiteks Vastas ja pakub 3 mudelit.
Mudel ülestähenduste jaoks ja Mudel etteütleja jaoksMudel täpselt nii, nagu teenus seda nimetab. Tühjana ei saadeta mudeli nime, ja teenus kasutab oma vaikemudelit; kui pakkuja selle avaldab, nimetab kaart selle. Liigi puhul, millel valikut pole, välja ei näidata. Pildil pole xAI-l välja Mudel ülestähenduste jaoks ja väljal Mudel etteütleja jaoks on grok-voice-transcribe-2.0.
Vaikimisi ülestähenduste jaoksTeeb sellest tuvastaja, mida kasutatakse, kui te muud ei vali.
Vaikimisi etteütleja jaoksTeeb sellest tuvastaja, millega etteütleja uus abiline kuulab.
SeesVäljalülitatuna jääb tuvastaja loendisse, kuid seda ei kasutata.

Täpsemad seaded avab ülejäänud kaardi. Kõige olulisemad väärtused:

VäliMida see teeb
PiirkondTeenuse piirkond, kui neid on mitu.
Saada mõlemad pooled eraldiKõne salvestatakse nii, et kaks inimest on kahel kanalil, ja just sellest teab tuvastaja, kes mida ütles. Lülitage see välja serveril, mis väidab, et oskab seda, kuid ei oska.
Küsi, kes räägibEristab inimesi ühe kanali sees, kui seal räägib mitu inimest.
Kirjuta arvud numbritegaSummad, kuupäevad ja telefoninumbrid tulevad tagasi nii, nagu neid kirjutatakse, mitte sõnadega välja kirjutatuna.
Üleslaadimise piir, Pikkuse piirSuurim fail baitides ja pikim salvestis sekundites, mille see telefon saadab.
Päringuid korragaMitu päringut võib korraga pooleli olla.
Lõpeta vastus pärast, Liida lühikesed vastused vahega kuni, Paus repliikide vahelEtteütleja jaoks: kui kaua ilma uute sõnadeta lõpetab vastuse, kui kaua lühike vastus ootab järgmist, et sellega liituda, ja kui pikk vaikus lõpetab repliigi, kui tuvastaja seda ise ei märgi. Millisekundites.
KeelKahetäheline keelekood ISO 639-1 järgi (en, de, es, fr, sr…). Jätke see tühjaks ja tuvastaja otsustab ise — see on õige, kui teie kõned pole keeles, mida see pidevalt valesti kuuleb.
LisadÜks name = value rea kohta, edastatakse teenusele muutmata kujul. Jätke tühjaks, kui server midagi ei dokumenteeri.
Ootamine, minutidKui kaua ülestähendust oodata. Tühi arvutab selle salvestise pikkuse järgi.
Hind minuti eestMida maksab minut otseheli teenuse hinnakirja järgi. Etteütleja näitab, mida seanss on maksnud, ja peatub oma kuulimiidi juures.

Otsetuvastus etteütleja jaoks​

Etteütleja vajab tuvastajat, mis kuulab, kui keegi räägib, voona, mitte valmis failina. Seda oskavad need liigid: Deepgram, ElevenLabs (Scribe), xAI (Grok), OpenAI-ga ühilduv (OpenAI reaalajas ülestähendusega), AssemblyAI, Soniox ja Speechmatics pilves ning Vosk, WhisperLive ja NVIDIA Riva teie enda masinas. Teie enda masinas töötav tuvastaja hoiab teise poole hääle majas ega maksa midagi.

Nii kasutate üht: avage selle kaart, kontrollige välja Aadress etteütleja jaoks — tavaliselt WebSocketi aadress, näiteks wss://api.x.ai X.ai jaoks, wss://api.deepgram.com Deepgrami jaoks või ws://localhost:2700 Voski jaoks; tühjana tuletatakse see väljast Aadress ülestähenduste jaoks. Seejärel valige Mudel etteütleja jaoks: otsemudelid erinevad sageli failide omadest — X.ai jaoks grok-voice-transcribe-2.0 nagu kaardil pildil, ElevenLabsi jaoks scribe_v2_realtime, OpenAI jaoks gpt-live-transcribe, Sonioxi jaoks stt-rt-v5. Vajutage Kontrolli. Märkige Vaikimisi etteütleja jaoks, et uued abilised kuulaksid sellega.

Millise mudeli valida​

Tabel loetleb loendi Liik iga liigi kõnetuvastusmudelid. Paksus kirjas mudelid on pildil seadistatud; tuvastaja X.ai mudel on tühi, seega kasutatakse teenuse vaikemudelit grok-voice-transcribe-2.0. Tühi on seal väli Mudel ülestähenduste jaoks; väljal Mudel etteütleja jaoks on sama mudel. Milleks ütleb, milleks mudel on tehtud: valmis salvestiste jaoks (ülestähendused), etteütleja otsekõne jaoks (etteütleja) või mõlemaks.

Liik ja aadressMudelMilleksMille jaoks see on
OpenAI-ga ühilduv (Whisper, OpenAI)
https://api.openai.com/v1
gpt-transcribeülestähendusedMudel, mida OpenAI soovitab salvestatud kõne jaoks selle algkeeles.
gpt-4o-transcribemõlemaksÜldotstarbeline ülestähendus. Selle liigi uus tuvastaja saab selle.
gpt-4o-mini-transcribemõlemaksEelmise kergem ja odavam variant.
gpt-4o-transcribe-diarizeülestähendusedMärgib, kes millal räägib. Kasutage seda ainult siis, kui seda vajate.
whisper-1ülestähendusedVanem Whisperi mudel, mis on alles erijuhtudeks nagu sõnapõhised ajatemplid ja subtiitrid.
gpt-live-transcribeetteütlejaOpenAI otsemudel: sõnad tulevad, kui neid öeldakse. Telefon pakub seda etteütlejale.
Deepgram
https://api.deepgram.com/v1
nova-3mõlemaksDeepgrami parim üldotstarbeline mudel koosolekute, mürarikka ja mitmekeelse heli jaoks. Selle liigi uus tuvastaja saab selle.
nova-2mõlemaksEelmine põlvkond; hoidke see keelte jaoks, mida nova-3 veel ei toeta.
nova-2-phonecallmõlemaksnova-2, häälestatud telefoniliini kitsale helile. Inglise keel.
flux-general-enetteütlejaTehtud vestluseks: kuuleb, kui keegi on rääkimise lõpetanud. Inglise keel.
flux-general-multietteütlejaSama kümnes keeles, ja vestlus võib nende vahel vahetuda.
enhanced, baseülestähendusedVanemad tasemed; base on suurte mahtude jaoks.
whisperülestähendusedWhisper Deepgrami käitatuna.
ElevenLabs (Scribe)
https://api.elevenlabs.io/v1
scribe_v2ülestähendusedÜldotstarbeline ülestähendus enam kui 90 keeles, kõnelejate eristamisega.
scribe_v2_realtimeetteütlejascribe_v2 otseversioon. Telefon pakub seda etteütlejale.
scribe_v2_medicalülestähendusedscribe_v2, häälestatud kliinilisele helile.
scribe_v1ülestähendusedEsimene põlvkond; aegunud, kasutage scribe_v2.
Speechmatics
https://asr.api.speechmatics.com/v2
enhancedmõlemaksKõige täpsem, ühes keeles peetud vestluse jaoks. Selle liigi uus tuvastaja saab selle.
standardmõlemaksKiirem ja odavam, veidi vähem täpne.
melia-1ülestähendusedMitmekeelne vestlus, mis vahetab keelt keset lauset, tuleb tagasi ühe ülestähendusena. Ainult salvestised, EL-i ja USA piirkonnas; oma sõnastikku ja kõnelejate märgiseid veel pole.
xAI (Grok)
https://api.x.ai/v1
grok-voice-transcribe-2.0mõlemaksAinus praegune mudel ja vaikimisi mudel: 38 keelt, mille ta ise ära tunneb. Failid kuni 500 MB; otsekõne läheb aadressile wss://api.x.ai.
grok-voice-transcribe-1.0ülestähendusedAegunud: teenus suunab selle ümber 2.0 peale.
Soniox
https://api.soniox.com
stt-async-v5ülestähendusedÜle 60 keele, kõnelejate eristamisega.
stt-rt-v5etteütlejaOtse, samas enam kui 60 keeles, ja kuuleb, kus repliik lõpeb. Telefon pakub seda etteütlejale.
AssemblyAI
https://api.assemblyai.com
universal-3-5-promõlemaksKõige täpsem mudel salvestiste jaoks; 18 keelt, ja vestlus võib nende vahel vahetuda.
universal-2ülestähendused99 keelt, odavam; AssemblyAI kasutab seda keele puhul, mida universal-3-5-pro ei oska.
universal-3-6-proetteütlejaAssemblyAI uusim otsemudel, 32 keelt; teenus kasutab seda, kui mudel on tühi.
universal-streaming-multilingualetteütlejaOdavam otsetuvastus inglise, hispaania, saksa, prantsuse, portugali ja itaalia keeles.
universal-streaming-englishetteütlejaOdavam otsetuvastus, ainult inglise keeles.
Vosk (teie enda masinas)
ws://localhost:2700
(seatakse serveris)mõlemaksTasuta ja kerge; töötab ilma graafikakaardita. Mudel on see, millega server käivitati, üks keele kohta, näiteks vosk-model-en-us-0.22 või väike vosk-model-small-en-us-0.15.
WhisperLive (teie enda masinas)
ws://localhost:9090
smallmõlemaksWhisper otsevoona. Suurus valitakse kaardil: tiny, base, small (mida telefon pakub), medium, large-v3; mida suurem, seda täpsem ja seda rohkem vajab see graafikakaarti.
NVIDIA Riva (teie enda masinas)
localhost:50051
(seatakse serveris)mõlemaksNVIDIA kõneserver arvutile, millel on NVIDIA graafikakaart. See pakub mudeleid nagu Parakeet ja Canary.

Mida enne valimist teada:

  • Ülestähendused või etteütleja. Otsekõne jaoks tehtud mudel ei võta vastu valmis faili ja enamik failimudeleid ei oska otse kuulata. Seepärast on kaardil kaks välja: Mudel ülestähenduste jaoks ja Mudel etteütleja jaoks.
  • Faili suurus. OpenAI võtab vastu kuni 25 MB faile, X.ai kuni 500 MB. Pikk vestlus võib olla suurem, kui pilveteenus vastu võtab.
  • Hind. Pilveteenused võtavad tasu heliminuti eest ja hinnad sõltuvad mudelist ning muutuvad; lugege neid enne vahetamist teenuse enda lehelt. Teie enda masinas töötav tuvastaja ei maksa midagi.
  • Keeled. Igal teenusel on oma loend; kontrollige enda oma ja seadke kood väljale Keel tuvastaja täpsemates seadetes, kui see arvab valesti.

Teenuse mudelite loend muutub sageli. Kui soovitud mudel siit puudub, on ajakohane loend teenuse enda dokumentatsioonis — OpenAI, Deepgram, ElevenLabs, Speechmatics, X.ai, Soniox, AssemblyAI, Vosk, WhisperLive, NVIDIA Riva — ja Mudel on nimi täpselt nii, nagu teenus selle annab.

Teie enda mudelid​

Tuvastaja ei pea olema pilveteenus. Telefon saab kasutada mis tahes mudelit, mida pakutakse OpenAI-ga ühilduva API kaudu — liides POST /v1/audio/transcriptions —, olgu see teie arvutis kohapeal või teie enda serveris. Heli ei lahku kunagi teie ruumidest, minutite eest tasu ei võeta ja mahupiirangut pole.

Lisamiseks vajutage Lisa ja andke:

  • serveri aadress kuni /v1-ni kaasa arvatud, näiteks http://localhost:8000/v1 arvuti enda jaoks või http://asr.local:8080/v1 teie võrgus oleva serveri jaoks;
  • mudeli nimi täpselt nii, nagu server selle loetleb, näiteks openai/whisper-large-v3-turbo.

Mida saab kasutada​

Tavaline valik on Whisper, OpenAI avatud kõnetuvastusmudel. Selle kasutamine on tasuta, see mõistab umbes sadat keelt ja seda on mitmes suuruses: väike mudel töötab tavalisel arvutil, suured on märgatavalt täpsemad ja neile sobib kõige paremini graafikakaart.

MudelMärkused
whisper-large-v3Kõige täpsem Whisper. GPU-ga serverile.
openai/whisper-large-v3-turbolarge-v3 kiirem versioon väikese täpsuse kaoga.
Systran/faster-whisper-large-v3large-v3 teisendatuna faster-whisperi mootorile; kiirem ja mälule säästlikum.
medium, small, baseVäiksemad Whisperi mudelid graafikakaardita arvutile.

Whisper on mudel, mille ümber need serverid on ehitatud. Mõned neist saavad pakkuda ka teisi kõnetuvastusmudeleid, näiteks NVIDIA Parakeeti.

Serverid, mis pakuvad OpenAI-ga ühilduvat API-t​

Mudelit peab käitama server, mis pakub OpenAI-ga ühilduvat lõpp-punkti /v1/audio/transcriptions. Need teevad seda:

ServerMis see on
vLLMSuure jõudlusega mudeliserver. Pakub pärast käivitamist Whisperit aadressil http://localhost:8000/v1.
SpeachesKõnemudelite server, „kõne Ollama”, ehitatud faster-whisperile. Laadib mudeli, kui seda esimest korda küsitakse.
whisper.cppKäitab Whisperit tõhusalt protsessoril, ka Apple siliconil. Selle whisper-server käivitatakse võtmega --inference-path /v1/audio/transcriptions.
LocalAIOpenAI otsene asendaja, mis käitab mudeleid kohapeal.

Iga teine server, mis pakub sama lõpp-punkti, töötab samamoodi. Kui server vajab võtit, sisestage see nagu pilveteenuse puhul.

Enne serverile toetumist tehke proovisalvestis ja vaadake ülestähendust salvestiste aknas: vestlus keeles, mida mudel halvasti tunneb, näitab seda kohe.