Pereiti prie pagrindinio turinio

Užrašas

Nustatymai → Užrašas išvardija atpažintuvus: paslaugas, kurios garsą paverčia tekstu, baigtiems pokalbiams ir sufleriui pokalbio metu.

Pokalbis užrašomas, kai to paprašote įrašų lange, arba savaime, jei skiltyje Apdorojimas įjungta Apdoroti pokalbius automatiškai. Atpažintuvas jūsų pačių kompiuteryje nieko nekainuoja; debesyje veikiantis ima mokestį už garso minutę.

Atpažintuvai​

Atpažintuvas — tai kalbos atpažinimo paslauga, kuriai telefonas siunčia garsą. Pridėti prideda naują; jo kortelės mygtukas Patikrinti patikrina, ar paslauga tikrai atsako. Kiekvienas sąraše rodomas su pavadinimu, o po juo — jo paslaugos modelis ir adresas. Lentelėje išvardytos visos telefono palaikomos paslaugų rūšys, kaip jas siūlo kortelės Rūšis, su adresu ir modeliais, kuriuos gauna naujas tos rūšies atpažintuvas; paskutinis stulpelis rodo penkis paveikslėlyje nustatytus:

RūšisAdresas užrašamsAdresas sufleriuiModelisPaveikslėlyje
Suderinama su OpenAI (Whisper, OpenAI)https://api.openai.com/v1wss://api.openai.comgpt-4o-transcribe, gyvai gpt-live-transcribeOpenAI · gpt-4o-transcribe
Deepgramhttps://api.deepgram.com/v1wss://api.deepgram.comnova-3Deepgram · nova-2
ElevenLabs (Scribe)https://api.elevenlabs.io/v1wss://api.elevenlabs.ioscribe_v1, gyvai scribe_v2_realtimeElevenLabs · scribe_v2
Speechmaticshttps://asr.api.speechmatics.com/v2wss://global.rt.speechmatics.com arba regionui eu., us., au. vietoj global.enhanced—
xAI (Grok)https://api.x.ai/v1wss://api.x.ai(tuščia: paslaugos numatytasis), gyvai grok-voice-transcribe-2.0X.ai · gyvai grok-voice-transcribe-2.0
Sonioxhttps://api.soniox.comwss://stt-rt.soniox.com(tuščia: paslaugos numatytasis), gyvai stt-rt-v5—
AssemblyAIhttps://api.assemblyai.comwss://streaming.assemblyai.com(tuščia: paslaugos numatytasis)—
Vosk (jūsų pačių kompiuteryje)jūsų serveris, pavyzdžiui ws://localhost:2700(tas pats serveris)(nustatomas serveryje)Vosk · ws://localhost:2700
WhisperLive (jūsų pačių kompiuteryje)jūsų serveris, pavyzdžiui ws://localhost:9090(tas pats serveris)gyvai small—
NVIDIA Riva (jūsų pačių kompiuteryje)jūsų serveris, pavyzdžiui localhost:50051(tas pats serveris)(nustatomas serveryje)—

Laukas Adresas sufleriui paprastai yra WebSocket adresas: wss:// debesijos paslaugai, ws:// serveriui jūsų tinkle; NVIDIA Riva nurodoma kaip serveris:prievadas.

Du ženklai eilutės dešinėje rodo, kam atpažintuvas yra numatytasis. Laikrodis šviečia prie numatytojo užrašams — paveikslėlyje X.ai —, kuris naudojamas, kai nepasirenkate kito. Žaibas šviečia prie numatytojo sufleriui — paveikslėlyje Vosk. Galite laikyti kelis atpažintuvus; išskleidžiamasis sąrašas virš užrašo įrašų lange rodo kiekvieno iš jų padarytus užrašus.

Atpažintuvo kortelė​

Paspaudus atpažintuvą atsiveria jo kortelė.

LaukasKas tai
PavadinimasPavadinimas sąrašuose.
RūšisPaslaugos rūšis, nuo kurios priklauso, kaip telefonas su ja kalbasi: Suderinama su OpenAI (Whisper, OpenAI), Deepgram, ElevenLabs (Scribe), xAI (Grok), AssemblyAI, Soniox, Speechmatics ir trys, veikiančios jūsų pačių kompiuteryje, — Vosk, WhisperLive ir NVIDIA Riva.
Adresas užrašamsKur siunčiami baigti pokalbiai.
Adresas sufleriuiKur keliauja gyvas garsas pokalbio metu. Paprastai WebSocket adresas: wss:// debesijos paslaugai, kaip wss://api.x.ai paveikslėlyje, ws:// serveriui jūsų tinkle. Tuščia nustatoma pagal šalia esantį adresą.
RaktasPaslaugos raktas. Tai laikoma šio kompiuterio raktinėje, niekada nustatymų faile.
PatikrintiPaklausia paslaugos ir pasako, ką ji atsakė, pavyzdžiui, Atsakė ir siūlo 3 modelius.
Modelis užrašams ir Modelis sufleriuiModelis tiksliai taip, kaip jį vadina paslauga. Tuščia nesiunčia modelio pavadinimo, ir paslauga naudoja savo numatytąjį; jei tiekėjas jį skelbia, kortelė jį nurodo. Rūšiai, kuri neturi pasirinkimo, laukas nerodomas. Paveikslėlyje xAI neturi lauko Modelis užrašams, o lauke Modelis sufleriui nustatyta grok-voice-transcribe-2.0.
Numatytasis užrašamsPadaro šį atpažintuvą tuo, kuris naudojamas, kai nepasirenkate kito.
Numatytasis sufleriuiPadaro šį atpažintuvą tuo, kuriuo klauso naujas suflerio pagalbininkas.
ĮjungtaIšjungtas atpažintuvas lieka sąraše, bet nenaudojamas.

Išplėstiniai nustatymai atveria likusią kortelės dalį. Svarbiausios reikšmės:

LaukasKą jis daro
RegionasPaslaugos regionas, jei jų yra keli.
Siųsti abi puses atskiraiSkambutis įrašomas taip, kad du žmonės būtų dviejuose kanaluose, — būtent iš to atpažintuvas žino, kas ką pasakė. Išjunkite serveriui, kuris teigia tai mokąs, bet nemoka.
Klausti, kas kalbaAtskiria žmones viename kanale, kai jame kalba keli.
Skaičius rašyti skaitmenimisSumos, datos ir telefono numeriai grįžta taip, kaip rašomi, o ne žodžiais.
Įkėlimo riba, Trukmės ribaDidžiausias failas baitais ir ilgiausias įrašas sekundėmis, kuriuos šis telefonas išsiųs.
Užklausų vienu metuKiek užklausų gali būti vykdoma tuo pačiu metu.
Užbaigti atsakymą po, Jungti trumpus atsakymus per, Pauzė tarp replikųSufleriui: kiek laiko be naujų žodžių užbaigia atsakymą, kiek trumpas atsakymas laukia kito, kad būtų su juo sujungtas, ir kiek tylos užbaigia repliką, kai atpažintuvas jos nepažymi. Milisekundėmis.
KalbaDviejų raidžių kalbos kodas pagal ISO 639-1 (en, de, es, fr, sr…). Palikite tuščią, ir atpažintuvas nuspręs pats — tai teisinga, nebent jūsų pokalbiai vyksta kalba, kurią jis vis klaidingai girdi.
PriedaiPo vieną name = value eilutėje, perduodama paslaugai tokia, kokia yra. Palikite tuščią, nebent serveris ką nors dokumentuoja.
Laukimas, minutėsKiek laukti užrašo. Tuščia apskaičiuoja pagal įrašo trukmę.
Kaina už minutęKiek kainuoja gyvo garso minutė pagal paslaugos kainoraštį. Suflerius rodo, kiek kainavo seansas, ir sustoja ties savo mėnesio lubomis.

Gyvas atpažinimas sufleriui​

Sufleriui reikia atpažintuvo, kuris klausosi, kol kas nors kalba, srautu, o ne baigtu failu. Tai gali šios rūšys: Deepgram, ElevenLabs (Scribe), xAI (Grok), Suderinama su OpenAI (su OpenAI realiojo laiko užrašymu), AssemblyAI, Soniox ir Speechmatics debesyje ir Vosk, WhisperLive bei NVIDIA Riva jūsų pačių kompiuteryje. Atpažintuvas jūsų pačių kompiuteryje išlaiko pašnekovo balsą jūsų patalpose ir nieko nekainuoja.

Kaip jį naudoti: atverkite jo kortelę, patikrinkite lauką Adresas sufleriui — paprastai WebSocket adresą, pavyzdžiui, wss://api.x.ai X.ai, wss://api.deepgram.com Deepgram arba ws://localhost:2700 Vosk; tuščias jis išvedamas iš lauko Adresas užrašams. Tada pasirinkite Modelis sufleriui: gyvi modeliai dažnai skiriasi nuo skirtų failams — X.ai grok-voice-transcribe-2.0, kaip kortelėje paveikslėlyje, ElevenLabs scribe_v2_realtime, OpenAI gpt-live-transcribe, Soniox stt-rt-v5. Spauskite Patikrinti. Pažymėkite Numatytasis sufleriui, kad nauji pagalbininkai klausytųsi juo.

Kurį modelį pasirinkti​

Lentelėje išvardyti kiekvienos sąrašo Rūšis rūšies kalbos atpažinimo modeliai. Paryškinti modeliai yra nustatyti paveikslėlyje; atpažintuvo X.ai modelis tuščias, todėl naudojamas paslaugos numatytasis grok-voice-transcribe-2.0. Tuščias ten yra laukas Modelis užrašams; lauke Modelis sufleriui nustatytas tas pats modelis. Kam nurodo, kam modelis skirtas: baigtiems įrašams (užrašai), gyvai kalbai sufleriui (suflerius) ar abiem.

Rūšis ir adresasModelisKamKam jis tinka
Suderinama su OpenAI (Whisper, OpenAI)
https://api.openai.com/v1
gpt-transcribeužrašaiModelis, kurį OpenAI rekomenduoja įrašytai kalbai jos originalo kalba.
gpt-4o-transcribeabiemBendrosios paskirties užrašymas. Jį gauna naujas šios rūšies atpažintuvas.
gpt-4o-mini-transcribeabiemLengvesnis ir pigesnis ankstesniojo variantas.
gpt-4o-transcribe-diarizeužrašaiPažymi, kas kada kalba. Naudokite tik tada, kai to reikia.
whisper-1užrašaiSenesnis Whisper modelis, paliktas ypatingiems poreikiams, pavyzdžiui, žodžių laiko žymoms ir subtitrams.
gpt-live-transcribesufleriusOpenAI gyvas modelis: žodžiai ateina tuo metu, kai ištariami. Telefonas jį siūlo sufleriui.
Deepgram
https://api.deepgram.com/v1
nova-3abiemGeriausias Deepgram bendrosios paskirties modelis susitikimams, triukšmingam ir daugiakalbiam garsui. Jį gauna naujas šios rūšies atpažintuvas.
nova-2abiemAnkstesnė karta; palikite ją kalboms, kurių nova-3 dar nepalaiko.
nova-2-phonecallabiemnova-2, pritaikytas siauram telefono linijos garsui. Anglų kalba.
flux-general-ensufleriusSukurtas pokalbiui: girdi, kada žmogus baigė kalbėti. Anglų kalba.
flux-general-multisufleriusTas pats dešimčia kalbų, ir pokalbis gali pereiti iš vienos į kitą.
enhanced, baseužrašaiSenesni lygiai; base skirtas dideliems kiekiams.
whisperužrašaiWhisper, paleistas Deepgram.
ElevenLabs (Scribe)
https://api.elevenlabs.io/v1
scribe_v2užrašaiBendrosios paskirties užrašymas daugiau nei 90 kalbų, su kalbėtojų atskyrimu.
scribe_v2_realtimesufleriusGyva scribe_v2 versija. Telefonas ją siūlo sufleriui.
scribe_v2_medicalužrašaiscribe_v2, pritaikytas klinikiniam garsui.
scribe_v1užrašaiPirmoji karta; pasenusi, naudokite scribe_v2.
Speechmatics
https://asr.api.speechmatics.com/v2
enhancedabiemTiksliausias, pokalbiui viena kalba. Jį gauna naujas šios rūšies atpažintuvas.
standardabiemGreitesnis ir pigesnis, šiek tiek mažiau tikslus.
melia-1užrašaiPokalbis keliomis kalbomis, keičiantis kalbą sakinio viduryje, grįžta vienu užrašu. Tik įrašams, ES ir JAV regionuose; savo žodyno ir kalbėtojų žymų kol kas nėra.
xAI (Grok)
https://api.x.ai/v1
grok-voice-transcribe-2.0abiemVienintelis dabartinis ir numatytasis modelis: 38 kalbos, kurias atpažįsta pats. Failai iki 500 MB; gyva kalba siunčiama į wss://api.x.ai.
grok-voice-transcribe-1.0užrašaiPasenęs: paslauga jį nukreipia į 2.0.
Soniox
https://api.soniox.com
stt-async-v5užrašaiDaugiau nei 60 kalbų, su kalbėtojų atskyrimu.
stt-rt-v5sufleriusGyvai, tomis pačiomis 60+ kalbų, ir girdi, kur baigiasi replika. Telefonas jį siūlo sufleriui.
AssemblyAI
https://api.assemblyai.com
universal-3-5-proabiemTiksliausias modelis įrašams; 18 kalbų, ir pokalbis gali pereiti iš vienos į kitą.
universal-2užrašai99 kalbos, pigesnis; AssemblyAI jį naudoja kalbai, kurios universal-3-5-pro nemoka.
universal-3-6-prosufleriusNaujausias AssemblyAI gyvas modelis, 32 kalbos; paslauga jį naudoja, kai modelis tuščias.
universal-streaming-multilingualsufleriusPigesnis gyvas atpažinimas anglų, ispanų, vokiečių, prancūzų, portugalų ir italų kalbomis.
universal-streaming-englishsufleriusPigesnis gyvas atpažinimas, tik anglų kalba.
Vosk (jūsų pačių kompiuteryje)
ws://localhost:2700
(nustatomas serveryje)abiemNemokamas ir lengvas; veikia be vaizdo plokštės. Modelis yra tas, su kuriuo paleistas serveris, po vieną kiekvienai kalbai, pavyzdžiui, vosk-model-en-us-0.22 arba mažasis vosk-model-small-en-us-0.15.
WhisperLive (jūsų pačių kompiuteryje)
ws://localhost:9090
smallabiemWhisper gyvu srautu. Dydis pasirenkamas kortelėje: tiny, base, small (jį siūlo telefonas), medium, large-v3; kuo didesnis, tuo tikslesnis ir tuo labiau jam reikia vaizdo plokštės.
NVIDIA Riva (jūsų pačių kompiuteryje)
localhost:50051
(nustatomas serveryje)abiemNVIDIA kalbos serveris kompiuteriui su NVIDIA vaizdo plokšte. Jis teikia tokius modelius kaip Parakeet ir Canary.

Ką verta žinoti prieš renkantis:

  • Užrašai ar suflerius. Gyvai kalbai skirtas modelis nepriima baigto failo, o dauguma failų modelių nemoka klausytis gyvai. Todėl kortelėje yra du laukai — Modelis užrašams ir Modelis sufleriui.
  • Failo dydis. OpenAI priima failus iki 25 MB, X.ai — iki 500 MB. Ilgas pokalbis gali būti didesnis, nei priima debesijos paslauga.
  • Kaina. Debesijos paslaugos ima mokestį už garso minutę, o tarifai priklauso nuo modelio ir keičiasi; prieš keisdami pasižiūrėkite juos pačios paslaugos puslapyje. Atpažintuvas jūsų pačių kompiuteryje nieko nekainuoja.
  • Kalbos. Kiekviena paslauga turi savo sąrašą; patikrinkite savąjį ir nustatykite kodą lauke Kalba atpažintuvo išplėstiniuose nustatymuose, jei jis spėja neteisingai.

Paslaugos modelių sąrašas dažnai keičiasi. Jei norimo modelio čia nėra, dabartinis sąrašas yra pačios paslaugos dokumentacijoje — OpenAI, Deepgram, ElevenLabs, Speechmatics, X.ai, Soniox, AssemblyAI, Vosk, WhisperLive, NVIDIA Riva, — o Modelis yra pavadinimas tiksliai toks, kokį pateikia paslauga.

Jūsų pačių modeliai​

Atpažintuvas neprivalo būti debesijos paslauga. Telefonas gali naudoti bet kurį modelį, teikiamą per su OpenAI suderinamą API — sąsają POST /v1/audio/transcriptions —, nesvarbu, ar jis veikia jūsų kompiuteryje, ar jūsų serveryje. Garsas niekada nepalieka jūsų patalpų, už minutes neimamas mokestis, o kiekis neribojamas.

Norėdami jį pridėti, paspauskite Pridėti ir nurodykite:

  • serverio adresą iki /v1 imtinai, pavyzdžiui, http://localhost:8000/v1 pačiam kompiuteriui arba http://asr.local:8080/v1 serveriui jūsų tinkle;
  • modelio pavadinimą tiksliai tokį, kokį pateikia serveris, pavyzdžiui, openai/whisper-large-v3-turbo.

Ką galima naudoti​

Įprastas pasirinkimas yra Whisper, atviras OpenAI kalbos atpažinimo modelis. Jis nemokamas, supranta apie šimtą kalbų ir yra kelių dydžių: mažas modelis veikia įprastame kompiuteryje, dideli yra pastebimai tikslesni ir jiems geriausia turėti vaizdo plokštę.

ModelisPastabos
whisper-large-v3Tiksliausias Whisper. Serveriui su GPU.
openai/whisper-large-v3-turboGreitesnė large-v3 versija su nedideliu tikslumo praradimu.
Systran/faster-whisper-large-v3large-v3, konvertuotas faster-whisper varikliui; greitesnis ir taupesnis atminčiai.
medium, small, baseMažesni Whisper modeliai kompiuteriui be vaizdo plokštės.

Whisper yra modelis, aplink kurį sukurti šie serveriai. Kai kurie iš jų gali teikti ir kitus kalbos atpažinimo modelius, pavyzdžiui, NVIDIA Parakeet.

Serveriai, teikiantys su OpenAI suderinamą API​

Modelį turi vykdyti serveris, teikiantis su OpenAI suderinamą galinį tašką /v1/audio/transcriptions. Šie tai daro:

ServerisKas tai
vLLMDidelio našumo modelių serveris. Paleistas teikia Whisper adresu http://localhost:8000/v1.
SpeachesKalbos modelių serveris, „kalbos Ollama“, sukurtas ant faster-whisper. Įkelia modelį, kai jo paprašoma pirmą kartą.
whisper.cppEfektyviai vykdo Whisper procesoriumi, taip pat Apple silicon. Jo whisper-server paleidžiamas su --inference-path /v1/audio/transcriptions.
LocalAITiesioginis OpenAI pakaitalas, vykdantis modelius vietoje.

Bet kuris kitas serveris, teikiantis tą patį galinį tašką, veikia taip pat. Jei serveriui reikia rakto, įveskite jį kaip debesijos paslaugai.

Prieš pasikliaudami serveriu, padarykite bandomąjį įrašą ir peržiūrėkite iššifruotą tekstą įrašų lange: pokalbis kalba, kurią modelis menkai išmano, tai iškart parodo.