Chuyển tới nội dung chính

Gỡ băng

Cài đặt → Gỡ băng liệt kê các bộ nhận dạng: những dịch vụ biến âm thanh thành văn bản, cho các cuộc trò chuyện đã kết thúc và, cho người nhắc, ngay trong lúc cuộc trò chuyện diễn ra.

Một cuộc trò chuyện được gỡ băng khi bạn yêu cầu trong cửa sổ Bản ghi, hoặc tự động nếu Xử lý các cuộc trò chuyện tự động đang bật trong Xử lý. Bộ nhận dạng trên máy của chính bạn không tốn gì để chạy; bộ nhận dạng trên đám mây tính phí theo phút âm thanh.

Bộ nhận dạng​

Bộ nhận dạng là dịch vụ nhận dạng giọng nói mà điện thoại gửi âm thanh tới. Thêm thêm một bộ mới; nút Thử trên thẻ của nó kiểm tra xem dịch vụ có thật sự trả lời không. Mỗi bộ hiện trong danh sách với tên của nó, bên dưới là mô hình và địa chỉ dịch vụ. Bảng liệt kê mọi loại dịch vụ mà điện thoại hỗ trợ, đúng như trường Loại trên thẻ đưa ra, cùng địa chỉ và các mô hình mà một bộ nhận dạng mới thuộc loại đó được gán; cột cuối cho thấy năm bộ được thiết lập trong hình:

LoạiĐịa chỉ cho bản gỡ băngĐịa chỉ cho người nhắcMô hìnhTrong hình
Tương thích OpenAI (Whisper, OpenAI)https://api.openai.com/v1wss://api.openai.comgpt-4o-transcribe, trực tiếp gpt-live-transcribeOpenAI · gpt-4o-transcribe
Deepgramhttps://api.deepgram.com/v1wss://api.deepgram.comnova-3Deepgram · nova-2
ElevenLabs (Scribe)https://api.elevenlabs.io/v1wss://api.elevenlabs.ioscribe_v1, trực tiếp scribe_v2_realtimeElevenLabs · scribe_v2
Speechmaticshttps://asr.api.speechmatics.com/v2wss://global.rt.speechmatics.com, hoặc eu., us., au. thay cho global. theo khu vựcenhanced—
xAI (Grok)https://api.x.ai/v1wss://api.x.ai(trống: mô hình mặc định của dịch vụ), trực tiếp grok-voice-transcribe-2.0X.ai · trực tiếp grok-voice-transcribe-2.0
Sonioxhttps://api.soniox.comwss://stt-rt.soniox.com(trống: mô hình mặc định của dịch vụ), trực tiếp stt-rt-v5—
AssemblyAIhttps://api.assemblyai.comwss://streaming.assemblyai.com(trống: mô hình mặc định của dịch vụ)—
Vosk (trên máy của chính bạn)máy chủ của bạn, ví dụ ws://localhost:2700(cùng máy chủ đó)(đặt trên máy chủ)Vosk · ws://localhost:2700
WhisperLive (trên máy của chính bạn)máy chủ của bạn, ví dụ ws://localhost:9090(cùng máy chủ đó)trực tiếp small—
NVIDIA Riva (trên máy của chính bạn)máy chủ của bạn, ví dụ localhost:50051(cùng máy chủ đó)(đặt trên máy chủ)—

Địa chỉ cho người nhắc thường là địa chỉ WebSocket: wss:// cho dịch vụ trên đám mây, ws:// cho máy chủ trong mạng của bạn; NVIDIA Riva được nhập dạng máy:cổng.

Hai dấu ở bên phải một dòng cho biết bộ nhận dạng là mặc định cho việc gì. Đồng hồ sáng ở bộ mặc định cho các bản gỡ băng — X.ai trong hình —, được dùng khi bạn không chọn bộ khác. Tia chớp sáng ở bộ mặc định cho người nhắc — Vosk trong hình. Bạn có thể giữ nhiều bộ nhận dạng; danh sách thả xuống phía trên một bản gỡ băng trong cửa sổ Bản ghi liệt kê các bản gỡ băng do từng bộ tạo ra.

Thẻ của bộ nhận dạng​

Nhấn vào một bộ nhận dạng sẽ mở thẻ của nó.

TrườngLà gì
TênTên trong các danh sách.
LoạiLoại dịch vụ, quyết định cách điện thoại nói chuyện với nó: Tương thích OpenAI (Whisper, OpenAI), Deepgram, ElevenLabs (Scribe), xAI (Grok), AssemblyAI, Soniox, Speechmatics, và ba loại chạy trên máy của chính bạn — Vosk, WhisperLive và NVIDIA Riva.
Địa chỉ cho bản gỡ băngNơi các cuộc trò chuyện đã kết thúc được gửi tới.
Địa chỉ cho người nhắcNơi âm thanh trực tiếp được gửi tới trong lúc cuộc trò chuyện diễn ra. Thường là địa chỉ WebSocket: wss:// cho dịch vụ trên đám mây, như wss://api.x.ai trong hình, ws:// cho máy chủ trong mạng của bạn. Để trống thì suy ra từ địa chỉ bên cạnh.
KhoáKhoá của dịch vụ. Được giữ trong kho khoá của máy tính này, không bao giờ trong tệp cài đặt.
ThửHỏi dịch vụ và cho biết nó đã trả lời gì, ví dụ Đã trả lời, và cung cấp 3 mô hình.
Mô hình cho bản gỡ băng và Mô hình cho người nhắcMô hình, đúng như dịch vụ gọi tên nó. Để trống sẽ không gửi tên mô hình, và dịch vụ dùng mô hình mặc định của mình; nơi nhà cung cấp công bố mô hình đó, thẻ sẽ nêu tên. Với loại không có lựa chọn, trường này không hiện. Trong hình, xAI không có Mô hình cho bản gỡ băng, còn Mô hình cho người nhắc đặt là grok-voice-transcribe-2.0.
Mặc định cho các bản gỡ băngBiến bộ này thành bộ nhận dạng được dùng khi bạn không chọn bộ khác.
Mặc định cho người nhắcBiến bộ này thành bộ nhận dạng mà một trợ lý mới của người nhắc dùng để nghe.
Đang bậtKhi tắt, bộ nhận dạng vẫn ở trong danh sách nhưng không được dùng.

Cài đặt nâng cao mở phần còn lại của thẻ. Những giá trị quan trọng nhất:

TrườngLàm gì
VùngVùng của dịch vụ, với dịch vụ có nhiều vùng.
Gửi hai phía riêng biệtCuộc gọi được ghi với hai người trên hai kênh, và chính điều đó cho bộ nhận dạng biết ai nói gì. Hãy tắt nó với máy chủ nói rằng làm được việc này nhưng thực ra không làm được.
Xin biết ai đang nóiPhân biệt những người trong cùng một kênh, khi có nhiều người nói trên đó.
Viết số bằng chữ sốSố tiền, ngày tháng và số điện thoại trở về như cách chúng được viết, thay vì viết bằng chữ.
Giới hạn tải lên, Giới hạn độ dàiTệp lớn nhất, tính bằng byte, và bản ghi dài nhất, tính bằng giây, mà điện thoại này sẽ gửi.
Yêu cầu cùng lúcCó bao nhiêu yêu cầu được chạy cùng một lúc.
Kết thúc lượt trả lời sau, Gộp các lượt trả lời ngắn trong vòng, Khoảng nghỉ giữa lượtCho người nhắc: bao lâu không có từ mới thì kết thúc một lượt trả lời, một lượt ngắn chờ lượt kế tiếp bao lâu để được gộp vào, và bao lâu im lặng thì kết thúc một lượt nói ở nơi bộ nhận dạng không đánh dấu. Tính bằng mili giây.
Ngôn ngữMã ngôn ngữ hai chữ cái theo ISO 639-1 (en, de, es, fr, sr…). Để trống thì bộ nhận dạng tự quyết — như vậy là đúng, trừ khi các cuộc gọi của bạn bằng một ngôn ngữ mà nó cứ nghe nhầm.
Bổ sungMỗi dòng một name = value, được chuyển nguyên vẹn cho dịch vụ. Để trống trừ khi máy chủ có ghi tài liệu về điều gì đó.
Chờ, phútChờ một bản gỡ băng bao lâu. Để trống thì tính theo độ dài bản ghi.
Giá mỗi phútMột phút âm thanh trực tiếp tốn bao nhiêu, theo bảng giá của dịch vụ. Người nhắc cho thấy một phiên đã tốn bao nhiêu và dừng ở hạn mức hằng tháng của nó.

Nhận dạng trực tiếp cho người nhắc​

Người nhắc cần một bộ nhận dạng nghe trong lúc ai đó đang nói, qua một luồng chứ không phải một tệp đã xong. Những loại sau làm được: Deepgram, ElevenLabs (Scribe), xAI (Grok), Tương thích OpenAI (với tính năng gỡ băng thời gian thực của OpenAI), AssemblyAI, Soniox và Speechmatics trên đám mây và Vosk, WhisperLive, NVIDIA Riva trên máy của chính bạn. Bộ nhận dạng trên máy của chính bạn giữ giọng của người bên kia trong nội bộ và không tốn phí.

Để dùng một bộ: mở thẻ của nó, kiểm tra Địa chỉ cho người nhắc — thường là địa chỉ WebSocket, ví dụ wss://api.x.ai cho X.ai, wss://api.deepgram.com cho Deepgram hoặc ws://localhost:2700 cho Vosk; nếu để trống, địa chỉ được suy ra từ Địa chỉ cho bản gỡ băng. Sau đó chọn Mô hình cho người nhắc: các mô hình trực tiếp thường khác các mô hình cho tệp — grok-voice-transcribe-2.0 cho X.ai, như trên thẻ trong hình, scribe_v2_realtime cho ElevenLabs, gpt-live-transcribe cho OpenAI, stt-rt-v5 cho Soniox. Nhấn Thử. Đánh dấu Mặc định cho người nhắc để các trợ lý mới nghe bằng bộ đó.

Nên chọn mô hình nào​

Bảng liệt kê các mô hình nhận dạng giọng nói của mọi loại trong danh sách Loại. Các mô hình in đậm là những mô hình được thiết lập trong hình; với bộ nhận dạng X.ai, mô hình để trống nên mô hình mặc định của dịch vụ, grok-voice-transcribe-2.0, được dùng. Ô để trống ở đó là Mô hình cho bản gỡ băng; Mô hình cho người nhắc được đặt cùng mô hình đó. Cột Dùng cho cho biết mô hình được làm cho việc gì: bản ghi đã xong (gỡ băng), lời nói trực tiếp cho người nhắc (người nhắc), hay cả hai.

Loại và địa chỉMô hìnhDùng choDùng để làm gì
Tương thích OpenAI (Whisper, OpenAI)
https://api.openai.com/v1
gpt-transcribegỡ băngMô hình OpenAI khuyên dùng cho lời nói đã ghi âm bằng ngôn ngữ gốc.
gpt-4o-transcribecả haiGỡ băng đa dụng. Bộ nhận dạng mới thuộc loại này được gán mô hình này.
gpt-4o-mini-transcribecả haiPhiên bản nhẹ hơn, rẻ hơn của mô hình trên.
gpt-4o-transcribe-diarizegỡ băngĐánh dấu ai nói lúc nào. Chỉ dùng khi bạn cần.
whisper-1gỡ băngMô hình Whisper cũ, giữ lại cho các mục đích đặc biệt như mốc thời gian theo từ và phụ đề.
gpt-live-transcribengười nhắcMô hình trực tiếp của OpenAI: các từ đến ngay khi được nói ra. Điện thoại đề xuất nó cho người nhắc.
Deepgram
https://api.deepgram.com/v1
nova-3cả haiMô hình đa dụng tốt nhất của Deepgram, cho các cuộc họp, âm thanh ồn và đa ngôn ngữ. Bộ nhận dạng mới thuộc loại này được gán mô hình này.
nova-2cả haiThế hệ trước; giữ lại cho những ngôn ngữ nova-3 chưa hỗ trợ.
nova-2-phonecallcả hainova-2 được tinh chỉnh cho âm thanh hẹp của đường dây điện thoại. Tiếng Anh.
flux-general-enngười nhắcLàm cho hội thoại: nghe được khi nào ai đó nói xong. Tiếng Anh.
flux-general-multingười nhắcNhư trên với mười ngôn ngữ, và cuộc trò chuyện có thể chuyển qua lại giữa chúng.
enhanced, basegỡ băngCác cấp cũ hơn; base dành cho khối lượng lớn.
whispergỡ băngWhisper do Deepgram chạy.
ElevenLabs (Scribe)
https://api.elevenlabs.io/v1
scribe_v2gỡ băngGỡ băng đa dụng hơn 90 ngôn ngữ, có tách người nói.
scribe_v2_realtimengười nhắcPhiên bản trực tiếp của scribe_v2. Điện thoại đề xuất nó cho người nhắc.
scribe_v2_medicalgỡ băngscribe_v2 được tinh chỉnh cho âm thanh y khoa.
scribe_v1gỡ băngThế hệ đầu; đã lỗi thời, hãy dùng scribe_v2.
Speechmatics
https://asr.api.speechmatics.com/v2
enhancedcả haiChính xác nhất, cho cuộc trò chuyện bằng một ngôn ngữ. Bộ nhận dạng mới thuộc loại này được gán mô hình này.
standardcả haiNhanh hơn và rẻ hơn, kém chính xác hơn một chút.
melia-1gỡ băngCuộc trò chuyện nhiều ngôn ngữ, đổi ngôn ngữ giữa câu, trở về thành một bản gỡ băng duy nhất. Chỉ cho bản ghi, ở vùng EU và Mỹ; chưa có từ điển riêng và nhãn người nói.
xAI (Grok)
https://api.x.ai/v1
grok-voice-transcribe-2.0cả haiMô hình hiện hành duy nhất và là mặc định: 38 ngôn ngữ, tự nhận biết. Tệp đến 500 MB; lời nói trực tiếp gửi tới wss://api.x.ai.
grok-voice-transcribe-1.0gỡ băngĐã lỗi thời: dịch vụ chuyển nó sang 2.0.
Soniox
https://api.soniox.com
stt-async-v5gỡ băngHơn 60 ngôn ngữ, có tách người nói.
stt-rt-v5người nhắcTrực tiếp, với cùng hơn 60 ngôn ngữ, và nghe được chỗ một lượt nói kết thúc. Điện thoại đề xuất nó cho người nhắc.
AssemblyAI
https://api.assemblyai.com
universal-3-5-procả haiMô hình chính xác nhất cho bản ghi; 18 ngôn ngữ, và cuộc trò chuyện có thể chuyển qua lại giữa chúng.
universal-2gỡ băng99 ngôn ngữ, rẻ hơn; AssemblyAI chuyển sang nó với ngôn ngữ mà universal-3-5-pro không biết.
universal-3-6-prongười nhắcMô hình trực tiếp mới nhất của AssemblyAI, 32 ngôn ngữ; dịch vụ dùng nó khi mô hình để trống.
universal-streaming-multilingualngười nhắcNhận dạng trực tiếp rẻ hơn cho tiếng Anh, Tây Ban Nha, Đức, Pháp, Bồ Đào Nha và Ý.
universal-streaming-englishngười nhắcNhận dạng trực tiếp rẻ hơn, chỉ tiếng Anh.
Vosk (trên máy của chính bạn)
ws://localhost:2700
(đặt trên máy chủ)cả haiMiễn phí và nhẹ; chạy không cần card đồ hoạ. Mô hình là mô hình máy chủ đã được khởi động cùng, mỗi ngôn ngữ một mô hình, ví dụ vosk-model-vn-0.4 hoặc vosk-model-en-us-0.22.
WhisperLive (trên máy của chính bạn)
ws://localhost:9090
smallcả haiWhisper qua một luồng trực tiếp. Kích cỡ được chọn trên thẻ: tiny, base, small (cỡ mà điện thoại đề xuất), medium, large-v3; càng lớn càng chính xác và càng cần card đồ hoạ.
NVIDIA Riva (trên máy của chính bạn)
localhost:50051
(đặt trên máy chủ)cả haiMáy chủ giọng nói của NVIDIA, cho máy tính có card đồ hoạ NVIDIA. Nó cung cấp các mô hình như Parakeet và Canary.

Những điều nên biết trước khi chọn:

  • Gỡ băng hay người nhắc. Mô hình làm cho lời nói trực tiếp không nhận tệp đã xong, và phần lớn mô hình cho tệp không nghe trực tiếp được. Vì vậy thẻ có hai trường, Mô hình cho bản gỡ băng và Mô hình cho người nhắc.
  • Kích thước tệp. OpenAI nhận tệp tới 25 MB; X.ai tới 500 MB. Một cuộc trò chuyện dài có thể lớn hơn mức một dịch vụ đám mây chấp nhận.
  • Giá. Dịch vụ đám mây tính phí theo phút âm thanh, và mức phí khác nhau theo mô hình và thay đổi theo thời gian; hãy xem trên trang của chính dịch vụ trước khi chuyển. Bộ nhận dạng trên máy của chính bạn không tốn gì để chạy.
  • Ngôn ngữ. Mỗi dịch vụ có danh sách riêng; hãy kiểm tra danh sách của bạn, và đặt mã trong Ngôn ngữ ở phần cài đặt nâng cao của bộ nhận dạng nếu nó đoán sai.

Danh sách mô hình của một dịch vụ thay đổi thường xuyên. Nếu ở đây thiếu mô hình bạn muốn, tài liệu của chính dịch vụ có danh sách hiện hành — OpenAI, Deepgram, ElevenLabs, Speechmatics, X.ai, Soniox, AssemblyAI, Vosk, WhisperLive, NVIDIA Riva — và Mô hình là tên đúng như dịch vụ đưa ra.

Mô hình của riêng bạn​

Bộ nhận dạng không nhất thiết phải là dịch vụ đám mây. Điện thoại có thể dùng bất kỳ mô hình nào được phục vụ qua API tương thích OpenAI — giao diện POST /v1/audio/transcriptions — dù nó chạy cục bộ trên máy tính của bạn hay trên máy chủ của riêng bạn. Âm thanh không bao giờ rời khỏi cơ sở của bạn, không có gì bị tính phí theo phút, và không giới hạn khối lượng.

Để thêm một bộ, nhấn Thêm và cung cấp:

  • Địa chỉ của máy chủ, tính cả /v1, ví dụ http://localhost:8000/v1 cho chính máy tính này hoặc http://asr.local:8080/v1 cho một máy chủ trong mạng của bạn;
  • tên Mô hình đúng như máy chủ liệt kê, ví dụ openai/whisper-large-v3-turbo.

Có thể dùng gì​

Lựa chọn thường gặp là Whisper, mô hình nhận dạng giọng nói mã nguồn mở của OpenAI. Nó miễn phí, hiểu khoảng một trăm ngôn ngữ và có nhiều kích cỡ: mô hình nhỏ chạy trên máy tính thông thường, các mô hình lớn chính xác hơn rõ rệt và tốt nhất nên chạy với card đồ hoạ.

Mô hìnhGhi chú
whisper-large-v3Whisper chính xác nhất. Dành cho máy chủ có GPU.
openai/whisper-large-v3-turboPhiên bản nhanh hơn của large-v3, giảm độ chính xác một chút.
Systran/faster-whisper-large-v3large-v3 được chuyển đổi cho bộ máy faster-whisper; nhanh hơn và nhẹ bộ nhớ hơn.
medium, small, baseCác mô hình Whisper nhỏ hơn, cho máy tính không có card đồ hoạ.

Whisper là mô hình mà các máy chủ này được xây dựng xoay quanh. Một số máy chủ còn có thể phục vụ các mô hình nhận dạng giọng nói khác, như NVIDIA Parakeet.

Máy chủ cung cấp API tương thích OpenAI​

Mô hình phải được chạy bởi một máy chủ cung cấp endpoint /v1/audio/transcriptions tương thích OpenAI. Các máy chủ sau có điều đó:

Máy chủLà gì
vLLMMáy chủ mô hình hiệu năng cao. Phục vụ Whisper tại http://localhost:8000/v1 ngay khi khởi động.
SpeachesMáy chủ cho các mô hình giọng nói, "Ollama cho giọng nói", xây dựng trên faster-whisper. Tải mô hình khi nó được yêu cầu lần đầu.
whisper.cppChạy Whisper hiệu quả trên CPU, kể cả Apple silicon. whisper-server của nó được khởi động với --inference-path /v1/audio/transcriptions.
LocalAISản phẩm thay thế trực tiếp cho OpenAI, chạy mô hình cục bộ.

Bất kỳ máy chủ nào khác cung cấp cùng endpoint đều hoạt động theo cách tương tự. Nếu máy chủ cần khoá, hãy nhập nó như với dịch vụ đám mây.

Trước khi dựa vào một máy chủ, hãy ghi thử một bản và xem bản chép lời trong cửa sổ Bản ghi: một cuộc trò chuyện bằng ngôn ngữ mà mô hình biết kém sẽ cho thấy ngay điều đó.