L’analista Apple Gene Munster del Loup Ventures ha recentemente testao l’efficacia degli assistenti vocali su quattro altoparlanti intelligenti chiedendo ad Alexa, Siri, Google Assistant e Cortana una serie di 800 domande ad Amazon Echo, HomePod, Google Home Mini e Harmon Kardon Invoke.

Foto: Apple

I risultati indicano che Siri su HomePod risponde correttamente al 74.6% delle domande, un importante miglioramento rispetto al 52.3% del tasso di successo, quando Loup Ventures aveva chiesto 782 domande simili a Dicembre 2017.

quaad-1024x599

Foto: Loup Ventures

Siri su HomePod per ora rimane meno accurata del concorrente Google Assistant su Google Home, il quale risponde il 87.9% alle domande in modo corretto, nei test. Alexa su Amazon Echo e Cortana su Invoke seguono Siri su HomePod, rispondono corettamente al 72.5% e il 63.4% di domande nei test.

Screen-Shot-2018-12-18-at-4.15.55-PM-768x256

Munster ha attribuito l’accuratezza migliorata di HomePod a “l’abilitazione di più domini nell’ultimo anno”, in quanto una serie di aggiornamenti software negli ultimi mesi ha permesso al relatore di effettuare  e ricevere chiamate, pianficare eventi del calendario, impostare più timer, cercare canzoni da testi e molto altro.

Metodologia

Loup Ventures dice di aver chiesto ad ognuno di questi speaker intelligenti, le stesse 800 domande e le a graduate su due metriche: quando la query capisce e quando viene fornita una risposta corretta. L’impostazione delle domande sono state progettate per “testare in modo comprensivo l’abilità e l’utilità di ognuno degli smart speaker” basandosi su cinque categorie:

  • Locale – Dov’è il bar più vicino?
  • Commerciale – Puoi ordinarmi più tovaglioli di carta?
  • Navigazione – Come arrivo nella parte alta della città col Bus?
  • Informazioni – Chi dei Twins gioca stasera?
  • Comandi – Ricordami di chiamare Steve oggi alle 2 del pomeriggio.

La venture capital firm ha riferito che continua a modificare le domande impostandole in odrine che riflettano i cambiamenti delle abilità degli assistenti vocali. “La voce computerizzata diventa più versatile e gli assistenti vocali, diventano più funzionali, continueremo ad alterare i nostri test così che rimarranno esaustivi”, ha riferito Munster.

Risultati per Categoria

by-category-2-1024x652

Assistente vocale di Google, Google Assistant con Google Home, risponde correttamente a molte delle domande, quattro su cinque delle categorie nei test ma, manca Siri con HomePod nella categoria “Comandi”, secondo Loup Ventures:

Il vantaggio di HomePod, in questa categoria, potrebbe derivare dal fatto che l’HomePod trasmetterà richieste complete con il framework SiriKit, come per le richieste relative alla messaggistica, elenchi e praticamente qualsiasi altra cosa diversa dalla musica al dispositivo iOS, abbinata all’altoparlante. Siri su iPhone ha una piena integrazione con le email, calendario, messaggistica e altre aree, che si focalizzano nella categoria Comandi. La nostra domanda contiene anche un’ammontare di query relative alla musica, nella quale la HomePod si specializza.

Loup Ventures trova l’HomePod e Google Home in entrambe le categorie “locale” e “navigazione” dovuto a dati proprietari sulle mappe di Apple e Google. “Questi dati rappresentano un potenziale vantaggio comparativo a lungo termine per Siri e Google Assistant”, ha affermato Munster.

Cosa ci sarà dopo?

Le carenze di Siri sono state brutalmente esposte sull’HomePod, che si basa quasi interamente sull’assistente per funzionare, quindi le prove aneddotiche di miglioramento sono un buon segno, ma Apple ha ancoraun terreno signficativo per compensare i suoi concorrenti,

Loup ventures riconosce che Siri rimarrà limitato sull’HomePod, rispetto alle estese funzionalità su iPhone. “Questo è dovuto parzialmente all’apparente posizionamento dell’HomePod, non come ‘speaker intelligente’, ma come speaker da casa, dove si può interagire usando la propria voce per chiedere a Siri”, afferma Munster.

Quindi, la venture capital firm, afferma che continueranno a confrontare la HomePod con gli altri smart speaker, tra i rapidi progressi nell’Intelligenza Artificiale.

Fonte: LoupVentures