Sanal asistanlara IQ testi: En zeki hangisi?
● Dijital asistanların kullanıcı sayısı epey fazla. Her geçen gün daha zeki hale gelen bu uygulamalar farklı kategorilerde değerlendirilerek ortaya sonuçlar çıkarılıyor.
● Mineeapolis ve New York merkezli bir girişim sermayesi şirketi Loup Ventures her yıl olduğu gibi bu sene de aynı testleri tekrar etmiş. Sonuçlar Google Asistan, Siri ve Alexa arasındaki en başarılı asistanı ortaya koyuyor.
● Birçok farklı alanda gerçekleştirilen testler ve diğer ayrıntılar haberimizde!
Akıllıtelefonlarla hayatımıza giren dijital asistanlar birçok kişi tarafından kullanılıyor. Sesli komutları uygulayan asistanlar elde ettikleri verilerle her geçen gün daha zeki hale geliyor.
Evet; Amazon Alexa, Google Asistan ve Siri şu an beklenen kadar zeki değil. Ancak ilerleme devam ediyor. Bu noktada kullanıcı verileri büyük önem taşıyor. Yani aslında mantıklı / mantıksız her sorgu yapay zekânın bir anlamda gelişmesini sağlıyor.
Not: 2017'deki araştırmadaki sonuçları merak edenler aşağıdan ayrıntılara göz atabilirler.
Minneapolis ve New York merkezli girişim sermayesi şirketi Loup Ventures'ın paylaştığı yıllık IQ testleri en akıllı sanal asistan hakkında fikir sahibi olmamızı sağlıyor.
Testler nasıl yapılıyor?
Loup Ventures; Alexa, Google Asistan ve Siri'ye toplamda 800 soru yöneltiyor. Listede de görülebildiği gibi Google Asistan bu soruların %92.9'luk kısmına doğru cevap veriyor. Siri'de durum %83.1 ve Alexa'da ise %79.8.
Tüm dijital asistanlar aslında bir önceki yıla oranla çok büyük fark ortaya koyuyor. Zira 2018 rakamlarında Google Asistan %79, Siri %86 ve Alexa ise %61'de kalmış.
Doğru yanıtlanan sorgular haricinde bir de anlaşılan sorgulamalar var. Bunlar arasında da en iyisi Google. Ama arada çok minimal farklar var. Yani aslında sanal asistanlar söylediklerimizin hepsini anlayabiliyor.
Bu şirket aslında yapay zekânın pratik kullanım alanlarını detaylı şekilde analiz ediyor. Bu kez akıllı telefon tabanlı dijital asistanlara odaklanmasının yanı sıra aslında akıllı hoparlörler için de benzer testler gerçekleştiriliyor.
Akıllı telefon tabanlı dijital asistanlar aslında akıllı hoparlörlerden ayrılıyor. Çünkü temel teknoloji aynı olsa da kullanım durumları değişiklik gösteriyor.
Metodoloji
Az önce de bahsettiğimiz gibi her dijital asistana 800 soru sorulmuş ve değerlendirmeler iki metrik üzerinden yapılmış. Bunlar şu şekilde:
1- Ne sorulduğunu anladı mı?
2- Doğru cevap verdi mi?
Örnek sorular ise bu şekilde:
- - Yerel: En yakın kahve dükkanı nerede?
- Ticaret: Bana daha fazla kağıt havlu sipariş et.
- Navigasyon: Otobüsle şehir merkezine nasıl gidebilirim?
- Bilgi: İkizlerin günlük burç yorumu
- Komut: Bugün saat 2'de şu kişiyi aramamı hatırlat.
Yapay zekâ asistanlarının değişen yeteneklerini yansıtmak için her test turundan önce belirlenen soruların bir nebze değiştirildiğini unutmayın. Bu, testin kapsamlı olmasını sağlamak için geliştirilen bir süreç.
Testlerde kullanılan cihazlar ise şu şekilde:
- - Alexa iOS uygulaması.
- iOS 12.4 yüklü bir cihaz.
- Android 9 Pie yüklü Pixel XL.
Sonuçlar ve analiz
Az önceki tablodan da görülebildiği gibi en iyi sonuç Google Asistan'a ait. Ancak bu tabloda artık daha kapsamlı bir sonuç listesi yer alıyor. Şöyle ki:
Google Asistan, beş kategoriden dördünde iyi performans göstermekteydi. Ancak yine de Komut kategorisinde Siri'nin gerisindekaldı. Siri; arama, mesajlaşma, e-posta gönderme, takvim ve müzik gibi telefonla ilgili temel işlevlerde daha kullanışlı olmaya devam ediyor.
En büyük fark, Google'ın Ticaret kategorisindeki performansı. %92'ye ulaşan bu sorguda Siri %68'de ve Alexa ise %71'de kalıyor. Google Asistan; ürün ve hizmet bilgileri gibi belirli öğelerin nereden alınacağı hakkındaki sorulara daha doğru yanıtlar veriyor.
Genel olarak, bu sistemlerin iyileştirilme oranı şaşırtmaya devam ediyor. Bu testler yılda iki kez yapılıyor ve her her kategorideki her asistanın gelişimi görülebiliyor. Google bilgiyle ilgili sorularda daha iyi performans sergiliyor. Sirikomutları çok iyi kullanıyor ve cevaplanan soru sayısına göre yardımcı program sunuyor. Ancak her platformda çarpıcı gelişmeler yaşanmaya devam ediyor.
Zaman içindeki iyileşme
Doğru cevaplardan ölçüldüğü üzere 13 aylık bir süreçte Google Asistan 7 puan, Siri 5 puan ve Alexa ise 18 puan artış göstermiş.
Bu tabloda aslında her asistanın kategorik şekilde ayrılan zaman içindeki gelişimi görülebiliyor. Testteki puanlar %100'e yaklaşıyorsa, dijital asistanlar yakında sorduğumuz her soruya doğru cevap verilecek gibi görülebiliyor. Ama bu durum tam olarak bu şekilde değil.
Bu asistanların gelişimi devam ediyor. Daha ileri aşamalarda aslında çok daha fazla karmaşık komutu kabul edebilecekler. Dolayısıyla kullanıcılardan toplanacak verilerin önemi çok büyük.