Megijedtek a Google-nél a nyílt forráskódú LLM megoldásoktól
A nagy nyelvi modellek (LLM – large language modell) világában a hangsúly sokáig az olyan cégek saját technológiáin volt, mint az OpenAI (GPT-3 és 4, ChatGPT stb.). Egyúttal a Google-től kezdve a Metán át a Microsoftig mindenki dollármilliárdokat öntött a saját LLM technológiája fejlesztésébe. Ami ebben az egész versengésben azonban alulértékelt maradt, az az tény, hogy a hobbisták, független kutatók és fejlesztők is komoly erőfeszítéseket tettek a nyílt forráskódú LLM-projektekbe. A Google egyik kutatójától kiszivárgott (névtelen, de nyilvánvalóan ellenőrzött) dokumentum szerint a Google nagyon aggódik amiatt, hogy a nyílt forráskódú LLM-ek fel fogják törölni a padlót mind a Google, mind az OpenAI saját erőfeszítéseivel szemben.
A dokumentum szerint, miután a nyílt forráskódú közösség kezébe került a kiszivárgott LLaMA alapmodell, motivált és nagy tudású egyének hozzáláttak, hogy a meglehetősen egyszerű modellt új szintre emeljék, ahol az elkezdhet versenyezni az OpenAI és a Google megoldásaival. A főbb újítások a skálázási kérdések, amelyek lehetővé teszik, hogy ezek az LLM-ek sokkal kisebb teljesítményű rendszereken (például egy laptopon vagy akár okostelefonon) is működjenek.
Az LLM modelleknél is a decentralizált megoldásé lesz a jövő?
Fontos tényező itt az alacsony rangsorolású adaptáció (LoRa – Low-Rank adaptation), amely masszívan csökkenti a modell képzéséhez szükséges erőfeszítéseket és erőforrásokat. Végső soron, ahogyan ez a dokumentum megfogalmazza, a Google-nak és ezen belül az OpenAI-nak nincs olyan „titkos szósza”, amely jobbá tenné a saját technológiáját bármi másnál, amivel a szélesebb közösség elő tudna állni.
Megjegyzendő az is, hogy lényegében a Meta jött ki győztesen az LLM kiszivárgásából, mivel a közösség javította a Meta alapjait, lehetővé téve a Meta számára, hogy termékeiben hasznot húzzon ezekből a fejlesztésekből.
A borzalmas jóslat tehát az, hogy a Google, az OpenAI és mások saját LLM-jei végül nem lesznek relevánsak, mivel a nyílt forráskódú közösség finom, digitális porrá fogja őket taposni. Hogy ez valóban így lesz-e, azt még nem tudjuk, de a dolgok nem állnak jól a szabadalmaztatott LLM-ek számára.