LesskeysKun Whisper pysähtyy ennenaikaisesti ja väittää valmistuneensa
Viimeksi tarkistettu
Mikä se on
Mitä hiljainen katkeaminen on
Teksti, jonka se tuotti, oli oikein. Se vain pysähtyi, ja putki ilmoitti sen olevan valmis.
Puheentunnistusmalli voi palauttaa vääriä sanoja, tai se voi pysähtyä kesken ja palauttaa oikean litteroinnin alkuosasta ikään kuin se olisi valmis. Pahimmassa ajossamme, norjassa, se palautti 113 / 521 vertailusanaa 30 minuutin laskennan jälkeen ja pysähtyi 9 segmentin jälkeen. Oma putkemme kirjasi ajon tilaksi COMPLETED: ei virhettä, ei varoitusta, ei osittaisen tuloksen merkintää.
- 10 / 143ajoa pysähtyi ennenaikaisesti
- 22 %äänestä pahimmassa ajossa
- 9 / 10kahdella large-v3-tiedostolla
Mitkä ajot
Millä kielillä ajo pysähtyi ennenaikaisesti
Näistä 10 ajosta 9 on kahdella large-v3-tiedostolla.
Kattavuus on litteroinnin pituus jaettuna vertailutekstin pituudella: 1,00 on täysi litterointi. Jokainen palkki on yksi katkennut ajo; katkoviiva on 0,80:n raja.
- Norja0,22
- Malaiji0,32
- Vietnam0,34
- Korea0,40
- Hollanti0,74
- Tšekki0,22
- Portugali (Brasilia)0,35
- Vietnam0,37
- Malaiji0,75
- Hindi†0,72
Hindi: pisteytyksen varaus
† Tämä on oletusmallin ajo: 886 yksikköä vertailussa, jossa on 1 237, sama paisutettu luku, jonka korjaus nimeää sivulla
Lyhyt, ei koskaan pitkä
Jokainen poikkeava solu tässä mittauksessa on lyhyt, ei koskaan pitkä. Yksikään ajo 143:sta ei ylittänyt vertailuaan yli puolella. Se on päinvastainen etumerkki kuin toistosilmukkavirheessä, jossa malli jumiutuu ja toistaa samaa lausetta minuuttikaupalla, jolloin kattavuus on viisinkertainen vertailuun nähden tai enemmän. Molemmat ovat tuhoisia ja molemmat ovat näkymättömiä pistokokeessa, mutta ne voi erottaa toisistaan saman luvun etumerkistä, minkä ansiosta yksi tarkistus havaitsee molemmat.
Huomaa se
Huomaa se ilman vertailutekstiä
Vertaa, kuinka paljon litterointia palasi ja kuinka pitkä ääni oli.
Sanavirhetaso vaatii vertailulitteroinnin, jota tuotannossa ei koskaan ole. Kattavuus ei sitä vaadi. Tässä mittauksessa nämä kaksi joukkoa erottuvat selvästi:
| Mitä | Ajot | Keskimääräinen kattavuus | Keskimääräinen virhetaso |
|---|---|---|---|
| Katkennut | 10 | 0,44 | 65,90 % |
| Ehjä | 133 | 1,01 | 12,10 % |
0,80:n raja ei ole sovitettu dataan: katkenneiden ajojen korkein kattavuus on 0,75 ja ehjien matalin 0,82, joten mikä tahansa raja tällä tyhjällä välillä antaa saman vastauksen. Tuotannossa: vertaa viimeisen palautetun segmentin aikaleimaa tiedoston kestoon käyttäjän koneella, vaikka vertailtavaa ei ole.
Virhetaso
Katkeaminen paisuttaa virhetasoa
Noin 9,4 pistettä sen virhetasosta ei johdu siitä, että malli kuulisi väärin. Se johtuu siitä, ettei mallia ole paikalla.
Vaikka katkeamiset jätetään pois, Large V3 ei yllä pienempään turbo-malliin
Macilla
Mitä tämä tarkoittaa Lesskeysin tarjoamille
Siinä versiossa ei ole kattavuustarkistusta. Yllä kuvattu tarkistus on ehdotus siihen, ei julkaistu ominaisuus.
Tilanne 15. lokakuuta 2026 myynnissä olevalle App Store -versiolle (3.1.4 )
Sanottuna suoraan, koska juuri siksi tämä sivu kannattaa julkaista eikä arkistoida:
- Molemmat large-v3-tiedostot
tarjotaan , ja ne selittävät 9:n 10:stä katkenneesta ajosta. Käyttäjä, joka päättelee ”isompi lataus, parempi tulos”, valitsee luettelon epäluotettavimman vaihtoehdon.Lesskeysin mallivalitsimessa 834 MB :n kvantisointi, joka sai matalimman keskimääräisen virheen (ero muihin turbo-ajoihin on enimmäkseen yksi hindin rivi) ja nolla katkeamista,Oletusmalli ( 547 MB ) katkesi kerran 29 kielestä, hindillä (todennäköisesti todellinen katkeaminen; katso kattavuusluettelon alla oleva huomautus). Tuo ajo ja tšekinLarge V3 Q5 -ajo ajettiin kumpikin mittauksen12 GB :n osassa, jossa muistia oli vähän vapaana (katso rajat).- Siinä versiossa ei ole kattavuustarkistusta. Yllä kuvattu tarkistus on ehdotus siihen, ei julkaistu ominaisuus. Kun se julkaistaan, tämä osio kirjoitetaan uudelleen eikä hiljaa poisteta.
Mitä tämä tarkoittaa Windowsilla
Tiedot
Menetelmä, taulukko ja rajat
Miten ajot tehtiin ja mitä ne eivät voi kertoa, tiivistettynä.
Miten katkeaminen mitattiin
Jokainen ajo kulki julkaistun sovelluksen läpiwhisper-cli:n kautta. Sillä on merkitystä: puheaktiivisuuden tunnistus, hallusinaatiosuodatin, äänenvoimakkuuden normalisointi ja kielirajoitus olivat kaikki polulla, täsmälleen kuten käyttäjällä. Kieli rajattiin tiukasti jokaisessa ajossa ja se otettiin huomioon kaikissa 143 solussa; ladattu malli vastasi pyydettyä kaikissa 143. Kaksi puuttuvaa solua ovat hindi molemmilla large-v3-tiedostoilla, jotka eivät valmistuneet lainkaan.
Viisi mallia: koko, keskimääräinen virhe, katkenneet ajot
| Malli | Koko | Kielet | Keskimääräinen virhe | Mediaani | Katkenneet ajot |
|---|---|---|---|---|---|
| 29 | 9,16 % | 6,80 % | ei yhtään | ||
| 29 | 9,52 % | 7,23 % | ei yhtään | ||
| 29 | 9,99 % | 7,81 % | 1 / 29 | ||
| 28 | 24,64 % | 15,80 % | 5 / 28 | ||
| 28 | 26,66 % | 18,66 % | 4 / 28 |
Tämän testin rajat
- Luettua puhetta, ei kokouksia. FLEURS on puhdasta äänitettyä proosaa. Keskusteleva ja päällekkäinen ääni on selvästi vaikeampaa, eikä näitä lukuja pidä tulkita ennusteena siitä, mitä oikeassa puhelussa saisit.
- Yksi ajo solua kohti. 143 solua, yksi ajo kustakin. Katkeaminen toistui kahdella large-v3-tiedostolla ja kahdessa erillisessä selvityksessä, mutta tämä mittaus ei määritä osuutta; se osoittaa, että niin tapahtuu.
- Yksi kone, kaksi muistikokoa.
Solut ajettiin yhdessä Apple Silicon -virtuaalikoneessa, jonka muisti oli12 GB ensimmäisillä 33 solulla ja24 GB loppujen ajan; kaikki 29 oletusmallin solua ja neljä ensimmäistäLarge V3 Q5 -solua (arabia, tšekki, tanska, saksa) ajettiin12 GB :n osassa. Kaksi katkennutta ajoa osuu siihen: hindi oletuksella (241 MB muistia vapaana matalimmillaan) ja tšekkiLarge V3 Q5:llä (60 MB ). Kaikissa muissa katkenneissa ajoissa vapaata oli yli 6000 MB . Vähäinen muisti on voinut vaikuttaa näihin kahteen, eikä tämä mittaus pysty erottamaan sitä mallista. Dekoodaus jätettiin sovelluksen tiedostopolun oletuksiin, ei komentorivityökalun. - Absoluuttiset luvut ovat hieman koholla välimerkkien ja kirjainkoon normalisointivalintojen vuoksi. Mallien väliset vertailut ovat tämän mittauksen ratkaiseva anti, eivät absoluuttiset prosentit.
Litteroinnit säilytettiin tällä kertaa. Aiemmassa mittauksessa seuraavan ajon asetusvaihe korvasi ne, ja katkeaminen piti päätellä sanamääristä, minkä vuoksi se jäi huomaamatta niin pitkään. ”Huonompi virhetaso” ja ”pysähtyi ennenaikaisesti” näyttävät samalta tulostaulukossa.
Kysymykset
Kysymyksiä Whisperin ennenaikaisesta pysähtymisestä
Mitä on hiljainen katkeaminen puheentunnistuksessa?
Malli palauttaa litteroinnin, joka kattaa vain osan äänestä, ja ympäröivä putki ilmoittaa onnistumisesta. Olemassa oleva teksti on yleensä oikein, joten mikään ei näytä väärältä, ennen kuin joku vertaa litterointia tallenteeseen. Tässä mittauksessa se koski 10:tä ajoa 143:sta, joista 9 tapahtui kahdella large-v3-tiedostolla.
Miten katkenneen litteroinnin voi tunnistaa ilman vertailutekstiä?
Vertaa palautunutta siihen, mitä syötettiin: viimeisen segmentin loppuaikaleimaa äänitiedoston kestoon tai litteroinnin pituutta odotettuun pituuteen. Kumpikaan ei vaadi oikeaa vertailulitterointia, minkä vuoksi tarkistus on käyttökelpoinen tuotannossa. Tässä datassa katkenneiden ajojen kattavuus oli keskimäärin 0,44, ehjien 1,01.
Antaako isompi Whisper-malli parempia tuloksia?
Onko tämä virhe Whisperissä vai sovelluksessa?
Ei tiedetä, eikä sivu väitä tietävänsä. Mitattu on se, että ilmiö esiintyy ja että ympäröivä putki ei huomannut sitä. Ehdotettu kattavuustarkistus on lievennys sovellustasolla, jota hallitsemme; se ei selvitä taustalla olevaa syytä.
Lisää