Gdy Whisper kończy za wcześnie i mówi, że skończył

Nawet po wyłączeniu ucięć Large V3 nie dorównuje kwantyzacji turbo 834 MB, która ma średnio 9,16% we wszystkich 29 językach i ani razu nie została ucięta. W 28 językach wspólnych dla wszystkich trzech przebiegów turbo (po odłożeniu hindi) średnie wynoszą: Q8 8,59%, domyślny 8,71% i turbo 1,6 GB 8,80%, w granicach 0,2 punktu od siebie, więc większość różnicy widocznej w nagłówku to jeden wiersz hindi. Rozmiar nie pozwalał tu przewidzieć ani niezawodności, ani dokładności.

5 artefaktów Whisper z rodziny large-v3, w 29 językach, 143 z 145 komórek. Dźwięk to FLEURS ze znormalizowaną głośnością, bez cyfr w tekście (mowa czytana z opublikowanymi transkrypcjami wzorcowymi), od około 460 do 2 520 jednostek na język.

Każdy przebieg przeszedł przez wydaną aplikację na maszynie wirtualnej z macOS Sequoia, a nie przez whisper-cli. To ma znaczenie: wykrywanie aktywności głosowej, filtr halucynacji, normalizacja głośności i ograniczenie języka znajdowały się na ścieżce przetwarzania, dokładnie tak jak u użytkownika. Język był twardo ustawiany dla każdego przebiegu i zachowany we wszystkich 143 komórkach; faktycznie załadowany model zgadzał się z żądanym we wszystkich 143. Dwie brakujące komórki to hindi na obu artefaktach large-v3, które w ogóle się nie ukończyły.

Pięć artefaktów Whisper z rodziny large-v3 w 29 językach (wiersze bez uciętego przebiegu są podświetlone)

• Mowa czytana, nie spotkania. FLEURS to czysta nagrana proza. Dźwięk rozmowy i nakładających się głosów jest zauważalnie trudniejszy, a tych wartości nie należy czytać jako tego, co uzyskasz na prawdziwej rozmowie.
• Jeden przebieg na komórkę. 143 komórki, po jednym przebiegu. Ucięcie powtarzało się na dwóch artefaktach large-v3 i w dwóch osobnych badaniach, ale ta macierz nie ustala częstości; ustala, że to się zdarza.
• Jeden komputer, dwa rozmiary pamięci. Komórki działały na jednej maszynie wirtualnej Apple Silicon, której pamięć wynosiła 12 GB dla pierwszych 33 komórek i 24 GB dla reszty; wszystkie 29 komórek modelu domyślnego i pierwsze cztery komórki Large V3 Q5 (arabski, czeski, duński, niemiecki) działały w części z 12 GB. Przypadają na nią dwa ucięte przebiegi: hindi na modelu domyślnym (241 MB dostępnej pamięci w najniższym punkcie) i czeski na Large V3 Q5 (60 MB). Każdy inny ucięty przebieg miał dostępne ponad 6 000 MB. Mała ilość pamięci mogła przyczynić się do tych dwóch i ta macierz nie potrafi tego oddzielić od modelu. Dekodowanie pozostawiono przy domyślnych ustawieniach ścieżki plikowej aplikacji, a nie narzędzia wiersza poleceń.
• Wartości bezwzględne są nieco zawyżone przez wybory normalizacji interpunkcji i wielkości liter. Nośne są porównania między modelami, a nie bezwzględne wartości procentowe.

Tym razem transkrypcje zachowano. W poprzednim przebiegu zostały nadpisane przez krok konfiguracji następnego przebiegu, a ucięcie trzeba było wnioskować z liczby słów, i właśnie dlatego tak długo pozostało niezauważone. „Gorszy współczynnik błędów” i „zatrzymał się wcześniej” wyglądają tak samo w tabeli wyników.