Tillbaka till bloggen
Kostnad & ROI4 min läsningAbdirahman Hersi, Grundare

Mät vad som spelar roll: KPI:er för AI chatt

Vilka mått som säger något om en AI-chatt: volym, svarskvalitet, överlämningar, genomförda åtgärder och uppföljningstid, och hur ni tolkar dem mot en egen utgångspunkt.

Tre mätkort med kurvor som visar utveckling över tid
Kostnad & ROI

Följ volym, svarskvalitet, fel, överlämningar och genomförda åtgärder. Jämför mot en egen utgångspunkt och kontrollera manuellt om arbetsflödet sparar tid eller förbättrar kundens utfall. Ett enskilt mått säger sällan hela sanningen.

För att veta om en AI-agent gör nytta behöver ni följa ett litet antal mått. Men fler mått är inte bättre. Ett mått som ser bra ut kan dölja ett problem, och ett som ser dåligt ut kan ha en enkel förklaring. Den här texten går igenom de mått som oftast är användbara, hur de ska tolkas och vad ni ska göra med dem. Här finns inga riktvärden, eftersom rätt nivå beror på er verksamhet. Det som räknas är hur ni utvecklas mot er egen utgångspunkt.

Börja med en utgångspunkt

Ett mått utan jämförelse säger lite. Innan ni startar, mät hur det ser ut idag, med samma metod som ni sedan ska använda:

  • hur många förfrågningar som kommer in, per kanal
  • hur stor del som är återkommande frågor
  • hur lång tid en sådan fråga tar att besvara
  • hur lång tid det går till första svar
  • hur många förfrågningar som blir obesvarade

Utan den här utgångspunkten kan ni inte skilja en förbättring från en slump. Om ni inte har den, börja med att samla den. Det är den mest värdefulla delen av hela mätningen.

Fem mått som oftast är värda att följa

Volym

Antal konversationer per vecka eller månad. Tolka förändringen tillsammans med trafik på kanalen och kundutfall. Hög volym är inget kvalitetsmått i sig: en kampanj, en ändring på webbplatsen eller en förvirrande text kan öka den utan att något blivit bättre.

Svarskvalitet

Det här måttet kräver att en människa läser. Ta ett stickprov av konversationer regelbundet och bedöm om kunden fick ett korrekt och användbart svar. Notera fel, felaktiga antaganden och luckor i kunskapen. Det går inte att ersätta med ett automatiskt tal, och det är ofta det som ger mest att åtgärda. Hur ni håller kunskapen aktuell beskrivs i underhåll av kunskapsbasen.

Löst utan överlämning

Andelen konversationer som avslutas utan att en människa behövdes. Men var försiktiga: ett lågt antal överlämningar bevisar inte att frågan blev löst eller att tid sparades. Kunden kan ha gett upp. Kontrollera med stickprov att det blev ett användbart svar.

Överlämningar

Följ varför ärenden går till en person och om mottagaren får tillräckligt med sammanhang. Det finns ingen allmän normalnivå. Rätt nivå beror på risk, uppgift och kundens behov. En agent som lämnar över rätt ärenden i rätt läge gör sitt jobb, även om andelen är hög. Läs om när AI ska eskalera till människa och hur överlämning till personal fungerar när den är konfigurerad.

Genomförda åtgärder

Där agenten kan utföra något, till exempel ta emot en bokning, räkna de som faktiskt genomfördes. Jämför mot er utgångspunkt och ta med avbokningar och uteblivna besök, om det är relevant. Tillgängliga åtgärder beror på plattform, plan och konfiguration, så mät bara det ni faktiskt satt upp. Se integrationer för vad som gäller.

Mått som lätt vilseleder

MåttVarför det kan vilseledaKomplettera med
Antal konversationerMer volym är inte bättre kvalitetStickprov på svar
Låg andel överlämningarKunden kan ha gett uppGranskning av avslutade dialoger
Kort handläggningstidKan betyda ett ofullständigt svarOm frågan blev löst
Hög andel överlämningarKan vara rätt om ärendena är känsligaOrsaker och sammanhang som följde med

Tid och kostnad

För att veta om det sparar tid, mät samma sak före och efter: tid som läggs på återkommande frågor, på uppföljning av överlämnade ärenden och på att underhålla kunskapen. Räkna in all tid, även er egen. Kostnadssidan beskrivs i vad kostar en AI-agent, och i när det lönar sig att automatisera kundservice finns ett sätt att räkna med era egna siffror. Behandla resultatet som en kalkyl och inte som ett löfte.

Gör mätningen till en rutin

  1. Bestäm vilka få mått ni följer. Börja smalt och lägg till först när ni vet vad ni ska använda dem till.
  2. Läs konversationer regelbundet. Veckovis under piloten, därefter i en takt som passar volymen.
  3. Åtgärda det ni hittar. Fel och luckor i kunskapen är det snabbaste sättet att förbättra utfallet.
  4. Jämför mot utgångspunkten. Samma period, samma metod.
  5. Granska igen vid förändringar. Nya kanaler, ny kunskap eller ändrade gränser kan ändra bilden.

Innan lansering hjälper ett test med riktiga frågor er att få en första bild av kvaliteten. Fler sätt att räkna på nyttan finns i guiderna. Vill ni gå igenom vilka mått som passar er kan ni kontakta oss.

Vanliga frågor

Vilka är de viktigaste måtten att börja med?

Börja smalt: antal konversationer, stickprov på svarskvalitet, överlämningar med orsak och genomförda åtgärder som bokningar. Lägg till fler först när ni vet vad ni ska använda dem till.

Vad är en bra andel överlämningar?

Det finns ingen allmän normalnivå. Rätt nivå beror på risk, uppgift och kundens behov. Titta på orsakerna och på om mottagaren får tillräckligt med sammanhang, snarare än på ett enskilt tal.

Hur mäter jag svarskvalitet?

Läs ett stickprov av konversationer regelbundet och bedöm om kunden fick ett korrekt och användbart svar. Notera fel och luckor i kunskapen och åtgärda dem. Ett lågt antal överlämningar visar inte i sig att frågan blev löst.

Hur ofta ska vi följa upp?

Tätt i början, till exempel varje vecka under piloten, och sedan i en takt som passar volymen. Gå igenom mätningarna också när ni ändrar kunskap, kanaler eller gränser för vad agenten får göra.

Hur ser jag om det sparar tid?

Mät tiden som läggs på återkommande frågor och på uppföljning av överlämnade ärenden före och under användning, med samma metod. Räkna också in tid för att underhålla kunskapen. Jämför mot er egen utgångspunkt, inte någon annans.

Redo att se det i praktiken?

Räkna på er kostnad