LesskeysAmikor a Whisper idő előtt leáll , és azt mondja, kész
Utoljára ellenőrizve:
Mi ez
Mi a csendes csonkolás
Az általa előállított szöveg helyes volt. Csak megállt, a folyamat pedig azt mondta, kész.
Egy beszédmodell rossz szavakat is adhat, de félúton meg is állhat, és az első rész helyes átiratát úgy adhatja vissza, mintha kész lenne. A legrosszabb futtatásunkban, a norvégnál az 521 referenciaszóból COMPLETED-ként naplózta: se hiba, se figyelmeztetés, se részeredmény-jelző.
10 a 143 futtatás állt le idő előtt-ból - 22%a hangból a legrosszabb futtatásban
9 a 10 a két large-v3 fájlon-ből
Melyik futtatások
Mely nyelvek álltak le idő előtt
- Norvég0,22
- Maláj0,32
- Vietnami0,34
- Koreai0,40
- Holland0,74
- Cseh0,22
- Portugál (Brazília)0,35
- Vietnami0,37
- Maláj0,75
- Hindi†0,72
Hindi: megjegyzés a pontozáshoz
† Ez az alapértelmezett modell futtatása: 886 egység 1 237 referenciaegységgel szemben, ugyanaz a felfújt szám, amelyet
Mindig rövid, soha nem hosszú
A mátrix minden szélsőséges cellája rövid, soha nem hosszú. A 143 futtatásból egy sem lépte túl a referenciáját a fél hossznál többel. Ez ellentétes előjelű az ismétlési hurok hibájához képest, amikor egy modell megakad, és percekig ugyanazt a mondatot adja ki, ami a referencia ötszörösét vagy többet kitevő lefedettséget ad. Mindkettő katasztrofális, és mindkettő láthatatlan egy szúrópróbán, de ugyanannak a számnak az előjele megkülönbözteti őket, így egyetlen ellenőrzés mindkettőt elkapja.
Vedd észre
Vedd észre referencia nélkül
Vesd össze, mennyi átirat jött vissza azzal, milyen hosszú volt a hang.
A szóhibaarány megállapításához referenciaátirat kell, ami éles környezetben soha nincs. A lefedettséghez nem. Ebben a mátrixban a két csoport tisztán elválik:
| Szempont | Futtatások | Átlagos lefedettség | Átlagos hibaarány |
|---|---|---|---|
| Csonkolt | 10 | 0,44 | 65,90% |
| Egészséges | 133 | 1,01 | 12,10% |
A hibaarány
A csonkolás felfújja a hibaarányt
A hibaarányának nagyjából 9,4 pontja nem azért van, mert a modell bármit rosszul hallana. Hanem azért, mert a modell nincs ott.
Csonkolás nélkül is lemarad a Large V3 a kisebb turbo modelltől
Mit jelent ez a Lesskeys által kínált modellekre
Ebben a változatban nincs lefedettségi ellenőrzés. A fent leírt ellenőrzés javaslat hozzá, nem kiadott funkció.
Állapot 2026. október 15-én , a jelenleg kapható App Store-változatra (3.1.4 )
Nyíltan kimondva, mert ez az oka annak, hogy érdemes ezt az oldalt közzétenni, nem elzárni:
- Mindkét large-v3 modellváltozat
szerepel a , és ők adják a 10 csonkolt futtatásból 9-et. Aki úgy gondolkodik, hogy „nagyobb letöltés, jobb eredmény”, a lista legkevésbé megbízható lehetőségét választja.Lesskeys modellválasztójában A nincs benne a modellválasztóban abban a változatban. Ebben a tesztben csak azért volt elérhető, mert a modellkönyvtárat induláskor átvizsgálja.834 MB kvantálás, amely a legalacsonyabb átlagos hibaarányt érte el (a többi turbo futtatástól való eltérés nagyrészt egyetlen hindi sor) és nulla csonkolást,-os Az alapértelmezett modell ( 547 MB ) a 29 nyelvből egyszer csonkolt, a hindinél (valószínűleg valódi csonkolás; lásd a lefedettségi lista alatti megjegyzést). Ez a futtatás és a csehre futtatottLarge V3 Q5 is a mátrix12 GB részében futott, kevés szabad memóriával (lásd a korlátokat).-os - Ebben a változatban nincs lefedettségi ellenőrzés. A fent leírt ellenőrzés javaslat hozzá, nem kiadott funkció. Ha megjelenik, ezt a szakaszt átírjuk, nem töröljük csendben.
Mit jelent ez Windowson
Az adatok
A módszer, a táblázat és a korlátok
Hogyan készültek a futtatások, és mit nem mondhatnak meg, összecsukva.
Hogyan mértük a csonkolást
Minden futtatás a kiadott alkalmazáson ment keresztülwhisper-cli
Az öt modell: méret, átlagos hiba, csonkolt futtatások
| Modell | Méret | Nyelvek | Átlagos hiba | Medián | Csonkolt futtatások |
|---|---|---|---|---|---|
| 29 | 9,16% | 6,80% | nincs | ||
| 29 | 9,52% | 7,23% | nincs | ||
| 29 | 9,99% | 7,81% | |||
| 28 | 24,64% | 15,80% | |||
| 28 | 26,66% | 18,66% |
A teszt korlátai
- Felolvasott beszéd, nem megbeszélések. A FLEURS tiszta, felvett próza. A beszélgetős és egymásra beszélős hang lényegesen nehezebb, és ezeket az arányokat nem szabad úgy olvasni, mintha egy valódi hívásnál ennyit kapnál.
- Cellánként egy menet. 143 cella, mindegyik egyszer futtatva. A csonkolás reprodukálható volt a két large-v3 modellváltozaton és két külön vizsgálatban, de ez a mátrix nem állapít meg gyakoriságot; azt állapítja meg, hogy megtörténik.
- Egy gép, két memóriaméret.
A cellák egyetlen Apple Silicon virtuális gépen futottak, amelynek memóriája az első 33 cellánál12 GB , a többinél24 GB volt; mind a 29 alapértelmezett modell-cella és az első négyLarge V3 Q5 cella (arab, cseh, dán, német) a12 GB részben futott. Két csonkolt futtatás esik ide: a hindi az alapértelmezetten (-os 241 MB elérhető memória a mélypontján) és a cseh aLarge V3 Q5-ön (60 MB ). Minden más csonkolt futtatásnál több mint 6000 MB volt elérhető. Az alacsony memória hozzájárulhatott e kettőhöz, és ez a mátrix nem tudja ezt a modelltől elválasztani. A dekódolás az alkalmazás fájlfeldolgozási alapértelmezésein maradt, nem a parancssori eszközén. - Az abszolút arányok kissé felfújtak az írásjel- és kis-/nagybetű-normalizálási választások miatt. A modellek közötti összehasonlítás a mérvadó rész, nem az abszolút százalékok.
Az átiratokat ezúttal megtartottuk. Egy korábbi mérésben a következő futtatás konfigurációs lépése felülírta őket, és a csonkolást a szószámokból kellett kikövetkeztetni, pontosan ezért maradt olyan sokáig észrevétlen. A „rosszabb hibaarány” és az „idő előtt leállt” egy eredménytáblában ugyanúgy néz ki.
Kérdések
Kérdések a Whisper idő előtti leállásáról
Mi a csendes csonkolás a beszédfelismerésben?
Hogyan ismerhetek fel referencia nélkül egy csonka átiratot?
Vesd össze, ami visszajött, azzal, ami bement: az utolsó szegmens záró időbélyegét a hangfájl hosszával, vagy az átirat hosszát a várt hosszal. Egyikhez sem kell hiteles referenciaátirat, és emiatt használható éles környezetben. Ezekben az adatokban a csonkolt futtatások átlagos lefedettsége 0,44 volt, az egészségeseké 1,01.
Jobb eredményt ad a nagyobb Whisper-modell ?
Ez a Whisper vagy az alkalmazás hibája?
Eldöntetlen, és az oldal nem állítja, hogy tudja. Azt mértük, hogy a jelenség előfordul, és hogy a környező folyamat nem vette észre. A javasolt lefedettségi ellenőrzés az alkalmazás rétegében megvalósított kockázatcsökkentés, ez az a réteg, amelyet mi irányítunk; nem a mögöttes okot diagnosztizálja.
Továbbiak