Penetrační testy LLM

Penetrační testy velkých jazykových modelů (LLM) se zaměřují na identifikaci a analýzu bezpečnostních zranitelností v LLM a jejich integracích. Stejně jako webové aplikace mohou mít slabiny vyplývající z nesprávné konfigurace nebo inherentních vad v technologii, čelí i LLM systémy specifickým rizikům. Mezi takové řadíme například škodlivé a neošetřené vstupy, manipulace s modelem, útoky na extrakci dat či nechtěné chování modelu.

Naše komplexní penetrační testy jsou navrženy tak, aby odhalily tyto zranitelnosti a zajistily, že váš LLM bude odolný vůči útokům a zároveň si zachová svou funkčnost. Penetrační test je prováděn sjednocením metodiky OWASP Top 10, obsahem certifikace AI/ML od SecOps Group a našimi vlastními zkušenostmi.

Adversarial Input
Analyzujeme, jak dobře LLM filtruje a zvládá škodlivé vstupy navržené k manipulaci nebo zmatení modelu, což vede k nesprávným nebo nebezpečným výstupům.

Data Extraction
Jednou z hlavních prověrek je, zda lze extrahovat citlivé informace z tréninkových dat. Simulujeme útoky zaměřené na získání osobních nebo důvěrných informací, které mohly být do modelu nechtěně začleněny.

Insecure Output Handling
Posuzujeme, jak jsou výstupy LLM zpracovány v rámci širší systémové architektury. To zahrnuje testování potenciálního zneužití, jako je Cross-Site Scripting (XSS), Cross-Site Request Forgery (CSRF), Server-Side Request Forgery (SSRF), eskalace privilegií a vzdálené spuštění kódu způsobené neošetřenými výstupy LLM.

Prompt Injection Attacks
Testujeme náchylnost k injekci promptů, kde útočníci manipulují prompty s cílem obejít bezpečnostní mechanismy a získat nechtěné výstupy, jako jsou důvěrné nebo interní informace.

Model Misuse Scenarios
Zkoumáme scénáře, ve kterých by mohl být model použit způsoby, jenž se odchylují od jeho zamýšleného účelu, což může umožnit podvodné aktivity nebo škodlivé využití.

Model Behavior and Bias
Zahrnuje testování výstupů na přítomnost zaujatosti a subjektivního hodnocení, zda nedochází k nevhodným odpovědím v citlivých kontextech.

Authentication and Authorization in Integrated Systems
U modelů integrovaných do větších aplikací testujeme sílu autentizačních mechanismů a zda útočník může eskalovat privilegia či obejít omezení.

Model Denial of Service
Zkoumáme možnost použití operací a vstupů, které vyžadují velké množství zdrojů, což může zhoršit výkon nebo dostupnost LLM. Tato zranitelnost je zesílena kvůli náročné povaze LLM a nepředvídatelnosti uživatelských vstupů.

Training Data Poisoning
Simulováním útoků, při nichž jsou tréninková data pozměněna, testujeme zranitelnosti, které by mohly zavést zkreslení, bezpečnostní mezery nebo etické problémy. Mezi zdroje dat patří Common Crawl, WebText, OpenWebText a knihy.