Quale modello Whisper conviene usare su un Mac?

Sei dei modelli Whisper che offre Lesskeys sono stati eseguiti sulle stesse 300 frasi (37 minuti di audio) di LibriSpeech test-clean, il set di benchmark pubblico standard, che include le sue trascrizioni umane. Abbiamo calcolato il tasso di errore sulle parole rispetto a quelle trascrizioni, cronometrato ogni esecuzione e registrato la dimensione del download. Un tasso di errore più basso è meglio; la barra è disegnata in proporzione al valore più alto della sua colonna.

Sei modelli Whisper su 6.086 parole di LibriSpeech test-clean (Apple M1 Max)

Misurato su un Apple M1 Max con whisper.cpp, GPU Metal e flash attention attivi, impostazioni predefinite di whisper.cpp (beam size 5), lingua forzata su en, 8 thread. ● indica i modelli che consideriamo a pari merito con il migliore. «89 volte il tempo reale» significa che un'ora di audio viene trascritta in circa 1 minuto. Le dimensioni di questa tabella sono quelle misurate dei file, in unità decimali, quindi differiscono dalle etichette dell'app e delle altre pagine: il file di 574 MB di Large V3 Turbo Q5 lì è 547 MB, Small è 466 MB (qui 488 MB), Tiny è 75 MB (qui 78 MB), Large V3 Q5 è 1,0 GB e Large V3 è 3 GB.

Large V3 Q5, Large V3, Large V3 Turbo e Large V3 Turbo Q5 hanno chiuso a meno di 13 parole l'uno dall'altro su 6.086 parole di testo di riferimento. È la soglia di rumore della misura, non una differenza. Consideriamo a pari merito qualsiasi modello entro 0,5 punti percentuali dal migliore, perché il rumore della classifica renderebbe questa pagina più netta e meno vera.

Il dataset è pubblico (OpenSLR), i modelli sono le build ggml standard di Whisper e il programma di prova è un unico file Python. Il campione è scelto in modo deterministico (id delle frasi ordinati, a intervalli regolari, nessun seme casuale), quindi un'esecuzione indipendente sceglie le stesse frasi.

Il normalizzatore del punteggio è la parte da controllare, perché un tasso di errore sulle parole non significa nulla senza di esso. Il nostro ignora le differenze che sono di formattazione e non di riconoscimento (maiuscole, punteggiatura, trattini, 23 contro ventitré, Sig. contro signor) e conta comunque ogni vera sostituzione, cancellazione e inserimento. È bloccato da undici casi di test, compresi alcuni che verificano che gli errori veri non vengano normalizzati via. Senza questo passaggio i modelli vengono penalizzati per lo stile della punteggiatura invece che per la precisione.

I dati di velocità vengono da una sola macchina; un altro chip Apple Silicon darà valori diversi: l'ordine dovrebbe restare, i numeri assoluti no. Questo misura solo i modelli di trascrizione, non l'identificazione degli interlocutori, che è una fase separata con un proprio tasso di errore.