Kiszivárgott a Meta AI nyelvi modellje, a LLaMA
A múlt héten a Meta beszállt a mesterséges intelligencia nyelvi modell versenybe a LLaMA bejelentésével, amely egy 65 milliárd paraméteres nyelvi modell (LLM), és amelynek célja, hogy segítse a kutatókat a mesterséges intelligencia ezen részterületén végzett munkájukban. A 20 leggyakrabban beszélt nyelv szövegein kiképzett LLaMA úgy működik, hogy bemenetként szavak sorozatát veszi, és a következő szót előrejelzi, hogy rekurzív módon szöveget generáljon, lehetővé téve a nagy mennyiségű infrastruktúrához nem férő kutatók számára a nyelvi modellek tanulmányozását.
Bár a modellt nem kereskedelmi licenc alatt adták ki nyilvánosan, sokan, köztük kutatók és ismert AI-rajongók, megjegyezték, hogy nem kapták meg a Meta jóváhagyását, és a kérelmüket látszólag minden ok nélkül elutasították. Szerencséjükre úgy tűnik, hogy most már létezik egy olyan megoldás, amely lehetővé teszi a LLaMA-hoz való hozzáférést anélkül, hogy hivatalos kérelmet kellene benyújtani a Metának.
Az információmorzsákat követve úgy tűnik, hogy az internet a 4chan fórumnak köszönheti a kiszivárgást. Múlt hét csütörtökön ‘llamanon’ felhasználó a 4chan technológiai fórumán posztolt, és torrenten keresztül közzétette a LLaMA 7B és 65B modelleket. A modell az AI Chatbot General megathreadben jelent meg.
Ezt a torrent linket ezután egy pull requestként hozzáadták a LLaMA GitHub oldalához. Ez a pull request a Google Forms linkkel együtt került fel, amelyet Meta a bothoz való hozzáférés biztosításához használt, látszólag az LLM-re való jelentkezés folyamatára utalva. Egy második pull requestet is benyújtottak a projekthez, amely egy torrent linket adott a modellhez. De azóta még több helyre is felkerült, szóval innentől leszedése szinte lehetetlen feladat lesz a Facebooknak.
Az egyik legnagyobb hiba azonban, amit a kiszivárogtató elkövetett, hogy a kiszivárgott modellben szerepeltette az egyedi azonosító kódját. Ezt a kódot kifejezetten a kiszivárogtatók felkutatására vezették be, ezzel veszélybe sodorva a felhasználó llamanon személyes adatait. Úgy tűnik azonban, hogy a Meta az elmúlt napokban nem tett semmilyen lépést, mivel a torrent továbbra is elérhető és letölthető.
A 4chan felhasználói egy praktikus forrást is létrehoztak azok számára, akik a modellt saját állomásukon szeretnék futtatni.
Bár ez a modell a Meta részéről nagy felhajtással jelent meg, a modell első tesztjei azt mutatták, hogy nem olyan kifinomult, mint a konkurens ajánlatok, például a ChatGPT. Fontos azonban megjegyezni, hogy ez csak egy language learning modell, míg a ChatGPT egy finomhangolt LLM-re épülő chatbot, de még így is képes válaszokat adni nyílt végű kérdésekre.
AI kutatók és fórumozok szerint a modellt „mindenre” betanították, ami viszont azt jelenti, hogy nem valamilyen konkrét célra finomhangolták. Figyelemre méltó, hogy a LLaMA azért emelkedik ki a többi közül, mert csak nyilvánosan hozzáférhető adatokon képezték ki. Egy felületes pillantás a kutatási dokumentumra azt mutatja, hogy a modell adatainak 60,7%-a a CommonCrawl, a feltérképezett weboldalak adatállományából származik.