¿Qué modelo de Whisper conviene usar en un Mac?

Seis de los modelos de Whisper que ofrece Lesskeys procesaron las mismas 300 locuciones (37 minutos de audio) de LibriSpeech test-clean, el conjunto público estándar de referencia, que incluye sus propias transcripciones humanas. Calculamos la tasa de error de palabras frente a esas transcripciones, cronometramos cada ejecución y anotamos el tamaño de descarga. Menos error es mejor; la barra se dibuja en proporción al mayor valor de su columna.

Seis modelos de Whisper sobre 6.086 palabras de LibriSpeech test-clean (Apple M1 Max)

Medido en un Apple M1 Max con whisper.cpp, GPU Metal y flash attention activados, valores por defecto de whisper.cpp (tamaño de haz 5), idioma forzado a inglés (en), 8 hilos. ● marca los modelos que consideramos empatados en el mejor puesto. «89 veces el tiempo real» significa que una hora de audio se transcribe en aproximadamente 1 minuto. Los tamaños de esta tabla son tamaños de archivo medidos en unidades decimales, así que difieren de las etiquetas de la app y de otras páginas: el archivo de 574 MB de Large V3 Turbo Q5 es de 547 MB allí, Small es de 466 MB (aquí 488 MB), Tiny es de 75 MB (aquí 78 MB), Large V3 Q5 es de 1,0 GB y Large V3 de 3 GB.

Large V3 Q5, Large V3, Large V3 Turbo y Large V3 Turbo Q5 quedaron a 13 palabras o menos entre sí sobre 6.086 palabras de texto de referencia. Eso es el suelo de ruido de la medición, no una diferencia. Tratamos como empatado a cualquier modelo a 0,5 puntos porcentuales o menos del mejor, porque el ruido del ranking haría que esta página pareciera más tajante y fuera menos cierta.

El conjunto de datos es público (OpenSLR), los modelos son las compilaciones ggml estándar de Whisper y el banco de pruebas es un único archivo de Python. La muestra se elige de forma determinista (identificadores de locución ordenados, a intervalos regulares, sin semilla aleatoria), así que una ejecución independiente elige las mismas locuciones.

El normalizador de la puntuación es lo que conviene revisar, porque una tasa de error de palabras no significa nada sin él. El nuestro ignora diferencias que son de formato y no de reconocimiento (mayúsculas, puntuación, guiones, 23 frente a twenty three, Mr. frente a mister) y sigue contando cada sustitución, omisión e inserción real. Está fijado con once casos de prueba, incluidos algunos que comprueban que los errores reales no se normalizan. Sin ese paso, se castiga a los modelos por el estilo de puntuación y no por la precisión.

Las cifras de velocidad salen de una sola máquina; otro chip Apple Silicon dará otros resultados: el orden debería mantenerse, las cifras absolutas no. Esto mide solo los modelos de transcripción, no el etiquetado de hablantes, que es una etapa aparte con su propia tasa de error.