Képzeljünk el egy regionális értékesítési igazgatót, aki egy bérelt autóban ül az ügyfele gyára előtt. Pontosan tíz perce van a következő megbeszéléséig, hogy rögzítse az előző tárgyalás részleteit, frissítsen egy szolgáltatási szerződést és összefoglaljon egy terjedelmes ügyféltájékoztatót. Az internetkapcsolata akadozik. Ha a vállalati alkalmazásai kizárólag távoli felhőszerverekre támaszkodnak az alapvető nyelvi kérések feldolgozásához, a munkafolyamata teljesen leáll. A leghatékonyabb mobilalkalmazások azért sikeresek, mert a nyers modellméret helyett a célorientált (ágens-alapú) hatékonyságot helyezik előtérbe, és a célzott munkafolyamatokat közvetlenül azokon az eszközökön hajtják végre, amelyeket a szakemberek egyébként is maguknál hordanak.
Az ágens-alapú hatékonyság (agentic efficiency) azt méri, hogy egy intelligens rendszer mennyire önállóan és pontosan hajt végre egy konkrét felhasználói feladatot korlátozott hardverkörnyezetben. Ahelyett, hogy egy eszközt az alapján ítélnénk meg, hány milliárd paraméterrel rendelkezik a mögötte álló modell, azt mérjük, mennyire sikeresen távolítja el a súrlódásokat a felhasználó munkanapjából.
A természetes nyelvfeldolgozás (NLP) és a beszédfelismerés kutatásával töltött éveim során láttam, ahogy a technológiai ipar megszállottjává válik a hatalmas, általános célú modelleknek, amelyek lenyűgözőek a kontrollált bemutatókon, de elbuknak a való világ korlátai között. Gyakorlati szakemberként az álláspontom egyértelmű: a valódi hasznosság a célzott korlátozásból fakad. Egy felelős szoftverfejlesztő cégnek a megbízhatóságot kell a látvány elé helyeznie.
Áttérés a célzott végrehajtásra
Végre azt látjuk, hogy a szélesebb piac is felismeri ezt a valóságot. A Boston Institute of Analytics nemrégiben dokumentált egy strukturális váltást a vállalati technológiában, megjegyezve, hogy az iparág aktívan elmozdult a puszta „modellméret” mérésétől a „célorientált hatékonyság” és a „megfontolt gondolkodású” végrehajtás értékelése felé. Ahelyett, hogy azonnal plauzibilis, de potenciálisan hibás szöveget generálnának, a specializált modellek most már tesztelik saját logikai érvelésüket, mielőtt rendszerparancsot hajtanának végre vagy választ adnának.
Pontosan ezt a filozófiát alkalmazzuk a NeuralApps-nál is. Intelligens alkalmazásokra szakosodott cégként szándékosan korlátozzuk AI-alapú mobilmegoldásaink hatókörét. Nem társalgási orákulumokat építünk; hanem munkafolyamat-gyorsítókat, amelyek konkrét digitális súrlódási pontokat kezelnek.
A National University által összeállított adatok szerint a szervezetek 83%-a tekinti stratégiai prioritásnak a mesterséges intelligencia integrálását, amelyben az ügyfélkapcsolat-kezelés (46%) a leggyakoribb vállalati felhasználási módok közé tartozik. Mégis, a magas prioritás ellenére sok csapat küzd a bevezetéssel, mert az eszközök vagy túl általánosak, vagy túl erőforrásigényesek a mindennapi terepmunkához.
Hardveres realitások és a vállalati felhasználó
A modern szoftverfejlesztés egyik legmakacsabb mítosza, hogy az intelligens alkalmazásokhoz a legújabb és legdrágább hardverre van szükség. Ha egy alkalmazás csak egy vadonatúj, érintetlen eszközön működik jól, akkor az egy elhibázott vállalati eszköz.
Fejlesztési megközelítésünk megköveteli, hogy egy innovatív alkalmazás a hardverek széles spektrumán működjön. Bár az iPhone 14 Pro-ban található fejlett neurális motor drasztikusan felgyorsítja az eszközön belüli nyelvfeldolgozást és képfelismerést, a hasznosságnak hardver-inkluzívnak kell lennie. Modelljeinket úgy tervezzük, hogy a terepen dolgozó munkatársak egy standard iPhone 14-est, egy nagyobb kijelzős iPhone 14 Plus-t vagy akár egy régebbi iPhone 11-est használva is megbízható és pontos feladatvégzést tapasztaljanak.
Ehhez optimalizálnunk kell NLP algoritmusainkat, hogy hatékonyan fussanak korlátozott RAM mellett is. Ha egy konkrét feladatra optimalizálunk – például a teendők kinyerésére élő beszédből –, a modellt jelentősen tömöríthetjük a pontosság elvesztése nélkül.
A CRM újragondolása kontextuális beszédfelismeréssel
Ahhoz, hogy megértsük, hogyan fordítható le ez a filozófia tényleges termékekre, nézzük meg, hogyan kezeljük az ügyféladatok rögzítését. A hagyományos CRM alapvetően egy bonyolult adatbázis, mobil felületbe csomagolva. Elvárja a felhasználótól, hogy manuálisan lépkedjen át több képernyőn, legördülő menün és szöveges mezőn, csak hogy rögzítsen egy egyszerű telefonhívást.
Az NLP-kutatásaim konkrét területén a cél a strukturálatlan emberi beszéd leképezése strukturált adatbázis-mezőkre. CRM-alkalmazásunk lehetővé teszi a korábban említett értékesítési igazgató számára, hogy egyszerűen megnyomjon egy gombot és ennyit mondjon: „Naplózz egy találkozót az ellátási láncért felelős csapattal. Elfogadták a harmadik negyedéves mennyiségeket, de 5% kedvezményt kérnek a logisztikai díjból. Állíts be egy emlékeztetőt csütörtökre a módosított ajánlat elküldésére.”
Az eszközön futó beszédfelismerés átírja az audiót, míg a lokalizált nyelvi modell értelmezi a szándékot. Automatikusan létrehozza a találkozó rekordját, megjelöli a konkrét ügyfelet, bejegyzi a kért kedvezményt az árképzési mezőbe, és beütemezi a csütörtöki emlékeztetőt. Azáltal, hogy a kognitív terhet a felhasználóról a szoftverre helyezzük, az alkalmazás valóban hasznossá válik.
Ahogy Dilan Aslan kifejtette a digitális súrlódás vertikális szoftverekkel történő feloldásáról szóló elemzésében, a vállalati alkalmazások elbuknak, ha túl sok bevitelt követelnek a felhasználótól. A strukturális adatbevitel automatizálása biztosítja, hogy a rendszert ténylegesen használják, így a szervezetek pontos, valós idejű adatokhoz jutnak a terepről.
Az intelligens PDF-szerkesztő: Dokumentumok mint adatok
A dokumentumkezelés mobileszközökön egy másik olyan terület, amelyet a rossz használhatóság jellemez. Történelmileg egy mobil PDF-szerkesztő lehetővé tette a fájl megtekintését, esetleg egy kezdetleges aláírás hozzáadását vagy szöveg manuális kiemelését.
Amikor célzott NLP-t vezetünk be, egy statikus dokumentum interaktív adathalmazzá válik. PDF-szerkesztőnket úgy terveztük, hogy értse az üzleti dokumentumok strukturális hierarchiáját. Ha egy felhasználó megnyit egy 40 oldalas beszállítói szerződést a telefonján, annak soronkénti elolvasása nem praktikus. Ehelyett az alkalmazás azonnal össze tudja foglalni a felelősségi záradékokat, vagy azonosítani tudja a hiányzó aláírási mezőket.
Mivel ezek a lekérdezések nagyon specifikusak, kisebb, magas szinten képzett modelleket használhatunk, amelyek elég gyorsan dolgozzák fel a szöveget ahhoz, hogy fenntartsák a felhasználó munkafolyamatát. Umut Bayrak részletezte a feladatspecifikus neurális hálózatok telepítéséről szóló útmutatójában a technikai részleteket, bemutatva, hogyan érjük el ezt az alacsony késleltetésű teljesítményt még régebbi processzorarchitektúrákon is.
Keretrendszer a mobil intelligencia értékeléséhez
Amikor a mérnökcsapatok vagy a vállalati beszerzők új alkalmazásokat értékelnek, a beszélgetés általában a funkciókra összpontosít. Javaslom, hogy helyezzük át a fókuszt a végrehajtási korlátokra. Ha el akarja dönteni, hogy egy adott eszköz valóban megold-e egy problémát, alkalmazza ezt az értékelési keretrendszert:
- Függőségi elemzés: Teljesen leáll az alkalmazás, ha az eszköz elveszíti az internetkapcsolatot, vagy képes a magszintű logikai műveleteket helyben végrehajtani?
- Bemeneti aszimmetria: Több időt igényel az eszköz beállítása és konfigurálása, mint amennyit megspórol a felhasználónak a végrehajtás során? A nagy hasznosságú szoftver minimális utasítást igényel.
- Hardveres skálázhatóság: Az alkalmazás teljesítménye méltóságteljesen csökken a régebbi hardvereken, vagy teljesen használhatatlanná válik?
- Feladatspecifikusság: A háttérben álló modell mindent tudni akar a világról, vagy csak azt tudja, hogyan hajtsa végre az adott szakmai feladatot?
A vállalati szoftverek jövője nem arról szól, hogy a lehető legnagyobb modellt gyömöszöljük a zsebünkbe. Hanem a napi üzleti feladatok elvégzéséhez szükséges kognitív teher csökkentéséről. A célzott NLP, a hatékony kódarchitektúra és a valódi felhasználói problémák megoldásához való szigorú ragaszkodás ötvözésével olyan eszközöket építhetünk, amelyeket a szakemberek aktívan használni akarnak.
A NeuralApps-nál továbbra is feszegetjük a lokális következtetés határait. De mindig annak tudatában tesszük ezt, hogy a technológia szolgálja a munkafolyamatot, és soha nem fordítva.