Képzeljünk el egy helyszíni mérnököt egy ipari létesítmény beton alagsorában, teljesen elvágva a mobil- és vezeték nélküli hálózatoktól. Egy sűrű, 500 oldalas műszaki dokumentációból kell specifikus elektromos biztonsági záradékokat kinyernie egy mobil PDF-szerkesztővel, elvégeznie egy összetett diagnosztikai rutint, és rögzítenie az előzetes megfelelőségi adatokat a vállalati CRM-rendszerben. Mindezt egy céges iPhone 11-gyel. Három emelettel feljebb a telephelyvezető egy iPhone 14 Pro-n kíséri figyelemmel a beérkező adatfolyamokat, várva a rendszer szinkronizálására. Ez a környezet jelenti a modern mesterséges intelligencia valódi működési tesztjét. Itt nem az számít, amit az algoritmusok steril laboratóriumi körülmények között elérhetnek, hanem az, amit a mindennapi kereskedelem zord, hálózat nélküli valóságában képesek végrehajtani.
Az edge-alapú vállalati AI lényege az optimalizált neurális hálózatok közvetlen futtatása a helyi hardvereken, biztosítva a megszakítás nélküli számítási folyamatokat, függetlenül a külső hálózati kapcsolattól. Az AI-mérnökként eltöltött hat évem alatt, miközben terepen működő architektúrákat építettem, rájöttem, hogy a hasznosság teljes mértékben ettől a lokalizált rugalmasságtól függ. A vállalati technológiai vezetők és operatív igazgatók – e digitális ökoszisztémák elsődleges építészei – gyorsan felismerik, hogy a nyers számítási teljesítmény sokkal kevésbé számít, mint a hozzáférhetőség. Amikor rendszereket építünk a terepre, nem csupán kódot írunk; a lokalizált autonómiát tervezzük meg.
A hardveres fragmentáció mint a végső implementációs teszt
A vállalati technológia egyik legmakacsabb ténye a vegyes hardverpark. A szervezetek ritkán frissítik egyszerre az összes eszközt. Egy vállalati ökoszisztémában könnyen előfordulhatnak belépő szintű örökölt eszközök, középkategóriás igáslovak és prémium zászlóshajók, amelyek mind egyidejűleg üzemelnek. Olyan szoftvert építeni, amely maximális hardverkapacitást feltételez, garantált út az operatív kudarchoz.
Az AI-vezérelt mobilmegoldások fejlesztésekor az architektúrának rugalmasan kell skálázódnia ezen a hardverspektrumon. Egy régebbi eszköznek, amelyet a neurális motorja és a termikus korlátai behatárolnak, továbbra is végre kell hajtania az alapvető gépi tanulási feladatokat anélkül, hogy húsz perc alatt lemerítené az akkumulátort. Ezzel szemben, ha az alkalmazás újabb hardveren fut, például egy standard iPhone 14-en vagy a nagyobb képernyős iPhone 14 Plus-on, intuitív módon ki kell használnia a megnövelt sávszélességet és a gyorsabb egységes memóriaarchitektúrát a komplexebb helyi következtetések feldolgozásához. A szoftvernek dinamikusan fel kell mérnie a hardvert, amelyen fut, és annak megfelelően kell módosítania a számítási terhelést.
Ez a dinamikus skálázás kritikus fontosságú, mivel a végfelhasználói munkafolyamat az eszköztől függetlenül ugyanaz marad. A technikus arra számít, hogy az eszközei megbízhatóan működnek. Ha egy szerződéselemző eszköznek felhőalapú feldolgozásra van szüksége egy dokumentum összegzéséhez, és a technikus elveszíti a kapcsolatot, az alkalmazás gyakorlatilag megszűnik létezni. Az optimalizált, feladatspecifikus modellek közvetlenül az edge-re (az eszközre) történő telepítésével biztosítjuk, hogy az alapvető funkciók túléljék a hálózat kimaradását.
A szervezetek lokalizált feldolgozási ökoszisztémákat építenek
Az iparág kezd eltávolodni attól a feltételezéstől, hogy minden mesterséges intelligenciának távoli, központosított szerverparkokban kell élnie. Minden egyes vállalati adat oda-vissza küldésének logisztikai és pénzügyi költsége fenntarthatatlanná válik, különösen az adatmennyiség sokszorozódásával. Az infrastruktúra megközelítésének alapvető átalakulását látjuk a vállalatoknál.
Az MIT Sloan Management Review-ban közzétett nemrégiben megjelent elemzés pontosan erre a váltásra világított rá. Thomas H. Davenport és Randy Bean publicisták megjegyezték, hogy ahelyett, hogy masszív adatközpontokat építenének – ami általában a szolgáltatók feladata –, a technológiát használó vállalatok belső „AI-gyárakat” hoznak létre. Ezek a gyárak technológiai platformok, optimalizált módszerek, saját adatok és korábban kifejlesztett algoritmusok kombinációi, amelyek rendkívül hatékonnyá teszik az intelligens rendszerek nagyüzemi építését és bevetését. A folyamatok szabványosításával a szervezetek gyorsan kijuttathatják az optimalizált neurális modelleket az edge-re.
Ez a lokalizált infrastruktúra hatalmas gazdasági változásokat indít el. Friss piaci jelentések szerint a neurális hálózati szoftverek piaca a 2023-as 31,2 milliárd dollárról 2024-re várhatóan 38,5 milliárd dollárra bővül, amit nagyrészt a vállalati automatizálási törekvések és az edge-képes szoftverek elterjedése hajt. Ebben a szférában mélyen tevékenykedő cégként a NeuralApps közvetlenül tapasztalja ezt a trendet. A vállalatok már nem elégszenek meg a távoli intelligencia bérlésével; saját, lokalizált intelligenciát akarnak birtokolni és futtatni, amely közvetlenül az eszközeiken él.
A feladatspecifikus ágensek felülmúlják az általános rendszereket
Egy AI-gyár felépítése szigorú döntéseket igényel arról, hogy mely modellekre van valójában szükség. Egy masszív, általános nyelvi modellt rákényszeríteni egy telefonra rendkívül nem hatékony. Az általános modellek hatalmas számítási súlyt hordoznak, mivel arra tanították őket, hogy a kvantumfizikától az ókori történelemig mindenre válaszoljanak. Egy helyszíni technikusnak nincs szüksége arra, hogy az eszköze verset írjon; arra van szüksége, hogy pontosan kategorizáljon egy karbantartási jegyzőkönyvet.
Ehelyett az iparág a magasan specializált, autonóm ágensek felé mozdul el. Ezek kicsi, erősen optimalizált neurális hálózatok, amelyeket egyetlen konkrét feladat kiváló végrehajtására képeztek ki. Egy friss Gartner-előrejelzés szerint 2025 végére a vállalati alkalmazások 40%-a tartalmaz majd beágyazott, feladatspecifikus AI-ágenseket. Mivel ezek a modellek számítási szempontból könnyűek, kényelmesen elférnek a szabványos hardverek memóriájában, és csendben a háttérben működve oldják meg a felhasználói nehézségeket anélkül, hogy kimerítenék a rendszer erőforrásait.
Amikor ezeket a kis modelleket kombináljuk, egy komplex, válaszkész környezetet hozunk létre. Az egyik ágens kezelheti az optikai karakterfelismerést (OCR) a dokumentumok beolvasásához, míg egy másik a kinyert adatokat a megfelelő adatbázis-mezőkbe irányítja. Kollégám, Umut Bayrak részletesen foglalkozott ezzel a témával, feltárva a hatékony neurális hálózatok és lokalizált ágensek mobil hardverarchitektúrákba történő integrálásának technikai mechanizmusait. A cél minden esetben a felhasználói szándék és a végrehajtott művelet közötti távolság csökkentése.
A fenntartható infrastruktúra szigorú termékfegyelmet igényel
A hagyományos, felhőfüggő architektúráról az edge-first AI-gyárra való áttérés komoly fegyelmet igényel a fejlesztésben. Minden funkciónak igazolnia kell a számítási költségét. Könnyű olyan alkalmazásokat építeni, amelyek lenyűgözően mutatnak egy tárgyalótermi bemutatón, de a szoftver valódi értékeléséhez azt kell nézni, hogyan teljesít egy feszült, nagy nyomás alatt lévő műszakban egy esős kedd délutánon.
E platformok kiválasztásakor vagy fejlesztésekor a technológiai vezetőknek szigorú értékelési keretrendszert kell alkalmazniuk. Először is meg kell határozni az offline képességet: az alkalmazás alapvető értékajánlatának pontosan hány százaléka működik internetkapcsolat nélkül? Másodszor, értékelni kell a hardveres rugalmasságot: az alkalmazás megfelelően csökkenti-e a feldolgozási intenzitást a régebbi eszközökön, miközben maximalizálja az újak neurális kapacitását? Végezetül fel kell mérni a munkafolyamat-integrációt: az intelligencia természetesen illeszkedik-e a felhasználó meglévő útvonalába, vagy megköveteli tőle, hogy elhagyja az aktuális képernyőt egy külön csevegőfelület kedvéért?
Mint az ilyen architektúrákra specializálódott szoftverfejlesztő cég, a NeuralApps filozófiája ebben a gyakorlati valóságban gyökerezik. Hiszünk abban, hogy az innovatív digitális élményeket nem a mögöttes algoritmusok bonyolultsága határozza meg, hanem az, hogy mennyire észrevétlenül oldják meg a felhasználó problémáját. Amikor olyan rendszereket építünk, amelyek tiszteletben tartják a hardver korlátait, minimalizálják a felhőfüggőséget és a lokalizált végrehajtást helyezik előtérbe, olyan szoftvert szállítunk, amely valóban működik akkor, amikor a leginkább szükség van rá.