Apple araştırmacıları, ekrandaki öğelere yapılan belirsiz referansların yanı sıra konuşma ve arka plan bağlamını da anlayabilen ReALM (Reference Resolution As Language Modeling) adlı yapay zekasını geliştirdi. ReALM, bunların yanı sıra Siri gibi sesli asistanlarla daha doğal etkileşimlere olanak tanıyan yeni bir yapay zeka sistemi olarak nitelendiriliyor. Ek olarak aracın, OpenAI tarafından geliştirilen GPT-4’ten daha küçük ve daha hızlı olduğunun altı çiziliyor. Apple’dan ReALM yapay zekası
Araştırma makalesine göre Apple ReALM adı verilen sistem, ekrandaki görsel öğelere yapılan atıfları (“bu” veya “şu” gibi) anlamak da dahil olmak üzere karmaşık referansları saf bir dil modelleme problemine dönüştürmek için büyük dil modellerinden yararlanıyor. Bu da ReALM’in mevcut yöntemlere kıyasla önemli performans kazanımları elde etmesini sağlıyor.
Kullanıcılar, Siri gibi akıllı asistanlarla konuşurken arka plandaki görevler veya o an ekranda bulunan verilerle ilgili bağlamsa referanslar verebilir. Geleneksel ayrıştırma yöntemleri inanılmaz derecede büyük modellere ve resimler gibi referans materyallerine dayanırken Apple ise her şeyi metne dönüştürerek daha basit bir yaklaşımda bulunuyor. 
Böylelikle ReALM, daha az parametre ile GPT-4’e benzer performanslar sergileyebiliyor. Bu da iPhone gibi donanımsal olarak sınırlı cihazlarda aracın önünü açıyor. ReALM’de kullanılan parametrelerin artırılmasıyla ise GPT-4’ten önemli ölçüde daha iyi performans ortaya koymasını sağladığı da araştırma da gösteriliyor. Yukarıda dediğimiz gibi, bu performans farkı iki modelin temel farkından kaynaklanıyor. GPT-4, ekrandaki bilgileri anlamak için görüntü ayrıştırmaya dayanırken ReALM, metin odaklı yaklaşım tercih ediyor.
ReALM’in küçük bir model olması onu daha az halüsinasyona meyilli hale de getiriyor. Şimdilik ReALM’in hangi formda kullanılacağı belirsiz ancak en temel kullanım senaryosu Siri’ye dahil edilmesi. Örnek kullanım senaryosu olarak, bir web sitesinde gezinirken Siri’ye “işletmeyi ara” demeniz ve ardından ReALM sayesinde Siri’nin sayfada bulunan işletme numarasını tespit ederek arama başlatması verilebilir. Yine de araştırmacılar, ekranların otomatik ayrıştırılmasına güvenmenin sınırlamaları olduğu konusunda uyarıyor. Birden fazla görüntü arasında ayrım yapmak gibi daha karmaşık görsel referansların ele alınması, muhtemelen bilgisayarla görü ve çok modlu tekniklerin dahil edilmesini gerektirecek.
