Frusztráció a maximumon: Miért titkolja az OpenAI az AI valódi gondolatait?
Az OpenAI nemrég mutatta be a legújabb, "Strawberry" AI modellcsaládját, benne az o1-preview és o1-mini modellekkel, amelyek újszerű problémamegoldó képességeikkel tűnnek ki. Az újdonságok ellenére a cég szigorúan korlátozza a hozzáférést a modellek belső működésének megértéséhez, ami számos kérdést vet fel a szakmai közösségben.
Az o1 modellcsalád egyik fő újdonsága, hogy a korábbi modellekkel ellentétben lépésről lépésre dolgozza fel a problémákat. A felhasználók láthatják ugyan a gondolatmenet bizonyos részleteit a ChatGPT felületén, de csak egy szűrt, másodlagos AI modell által előállított változatban. A tényleges nyers gondolatmenet el van rejtve, amit az OpenAI egy tudatos döntéssel valósított meg.
A titoktartás természetesen felkeltette az érdeklődést a hackerek és red-team szakértők körében, akik különféle módszerekkel – például jailbreak vagy prompt injection technikákkal – próbálják meg feltárni az o1 modell valódi működését. Bár egyesek állítják, hogy sikerrel jártak, egyelőre nincs megerősített bizonyíték ezekre a kísérletekre.
Az OpenAI azonban folyamatosan figyeli a ChatGPT felületén zajló tevékenységeket, és már több felhasználót is figyelmeztetett e-mailben, amikor olyan kifejezéseket használtak, mint a "reasoning trace". Az üzenetekben az áll, hogy ezek a próbálkozások sértik a cég felhasználási feltételeit, és további szabálysértések a hozzáférés elvesztéséhez vezethetnek. A cég szerint az ilyen megnyilvánulások megpróbálják megkerülni a beépített biztonsági mechanizmusokat.
Miért titkolja az OpenAI az o1 modell gondolatmenetét?
Az OpenAI hivatalos blogbejegyzésében részletesen leírja, hogy a rejtett gondolatmenetek lehetőséget adnak a cégnek a modell működésének „monitorozására”, így kvázi "olvasni tudnak a modell fejében". Ez hasznos a vállalat számára, hiszen lehetővé teszi, hogy nyers formában figyeljék a gondolatmenetet, anélkül, hogy felhasználói preferenciák vagy szabályok befolyásolnák.
Ugyanakkor az OpenAI érvelése szerint az átláthatóság korlátozása az üzleti előnyök védelmét is szolgálja. Ha a nyers gondolatmenetet bárki láthatná, az értékes adatokhoz juttathatná a versenytársakat, akik az OpenAI megoldásait másolva fejleszthetnék saját modelljeiket.
A közösség reakciója és a vita tétje
A közösség részéről vegyes reakciókat váltott ki az OpenAI lépése. Egyes szakértők úgy vélik, hogy az AI modellek átláthatóságának és interpretálhatóságának korlátozása hátrányos a fejlesztők és kutatók számára, hiszen a tisztán látás elengedhetetlen a hatékony és biztonságos alkalmazások fejlesztéséhez.
Mások szerint az OpenAI döntése érthető az üzleti titkok és a versenyelőny védelme érdekében. Ugyanakkor az, hogy az OpenAI szankcionálja a kíváncsi felhasználókat, aggasztó előjel lehet az AI fejlődésének jövőjére nézve.
Az AI kutatásában az átláthatóság kulcsfontosságú. Amennyiben a nagy szereplők ilyen szinten korlátozzák a hozzáférést az AI működésének megértéséhez, az könnyen visszalépést jelenthet a terület fejlődésében.
Forrás:
