IT-Security-Anbieter gehen mit der künstlichen Intelligenz auf die Jagd nach Angreifern, doch ChatGPT kann auch zum Cybercrime-Komplizen werden.

Foto: Kindel Media/Pexels Der Chatbot ChatGTP wirbelt die IT-Security gehörig durcheinander – und kann wie jedes Werkzeug für Gutes und Böses benutzt werden Die Weiterentwicklungen bei neuronalen Netzen, KI und maschinellem Lernen werden immer mehr zum Game Changer. Das macht der Chatbot ChatGPT von OpenAI bzw. das dahinterliegende Sprachverarbeitungsmodell GPT-3.5 mehr als deutlich. Das intelligente Dialogsystem wirbelt auch die IT-Security gehörig durcheinander. Auf der einen Seite hat die Verwendung von mehrschichtigen, neuronalen Netzen die Abwehr von Cybercrime erheblich verbessert – etwa durch den Einsatz von maschinellem Lernen bei der Malware-Klassifizierung. Andererseits nutzen auch Spammer, kriminelle Hacker und andere Bösewichte die enorme Leistungsfähigkeit der KI von OpenAI.

Security-Anbieter Sophos führte kürzlich mehrere Testreihen durch, um die GPT-Technologie für ihre Tauglichkeit im Security-Bereich abzuklopfen. Das Ergebnis: GPT-3 hat enorme Potentiale. Die Technologie sei ein Meilenstein für die Cybersicherheit, da es Spam erkennen und komplexe Befehlszeilen mit wenigen Beispielen analysieren kann, so die Experten des Sophos AI-Teams. Die Experten gehen davon aus, dass in Kürze noch schwierigere Cybersicherheitsprobleme mit entsprechend größeren neuronalen Netzwerkmodellen adressiert werden können.

Herkömmliche maschinelle Lernmodelle, die mit wenigen Beispielen trainiert werden, weisen häufig Probleme mit der Überanpassung auf, so die Sophos-Experten weiter, sie lassen also sich nicht gut auf zuvor nicht existente Beispiele verallgemeinern. Mit dem „Few-Shot Learning“ von GPT-3 hingegen benötigt man nur wenige kommentierte Trainingsbeispiele. Die KI übertrifft damit herkömmliche Modelle.

Foto: Screenshot Dank „Few-Shot-Learning“ benötigt ChatGTP viel weniger Beispiele, um Spam erkennen zu können „Few-Shot-Learning“ für rasche Spam-Erkennung

Ein Beispiel für die konkrete Anwendung von GPT-3 in der IT-Security ist die Spam-Erkennung. Es ist eine Herausforderung, ein leistungsstarkes Spam-Klassifizierungsmodell mit wenigen Beispielen zu trainieren. Herkömmliche Klassifizierungsmodelle benötigen oft einen großen Trainingsdatensatz, um genügend Anhaltspunkte zu lernen. Da GPT-3 jedoch ein Sprachmodell ist, das mit einem großen Textdatensatz trainiert wurde, kann es die Intention einer Klassifizierungsaufgabe erkennen und die Aufgabe mit wenigen Beispielen lösen.

Beim Lernen mit wenigen Beispielen ist das Prompt-Engineering, bei dem das Format der Eingabedaten für Textvervollständigungsaufgaben entworfen wird, ein wichtiger Schritt. Der Prompt enthält eine Anweisung und einige Beispiele mit ihren Beschriftungen als Support-Set, und im letzten Abschnitt ist ein Abfragebeispiel angefügt. Anschließend wird GPT-3 aufgefordert, aus der Eingabe eine Antwort als Label-Predication zu generieren.

Vergleicht man die Klassifizierungsergebnisse zwischen traditionellen ML-Modellen und dem „Few-Shot-Learning“ mit GPT-3, ist schnell zu erkennen, dass es die traditionellen ML-Modelle wie logistische Regression und „Random Forest“ deutlich übertrifft. Dies liegt daran, dass das „Few-Shot-Learning“ die Kontextinformationen der gegebenen Beispiele nutzt und das Label des ähnlichsten Beispiels als Ausgabe auswählt. Dadurch erfordert GPT-3 kein erneutes Training, sondern ermöglicht es, ein leistungsstarkes Klassifizierungsmodell mit einfachem Prompt-Engineering zu erstellen.

Foto: Varonis Cyberkriminelle benutzen oft absichtlich obskure Befehle und schwer zu entziffernden Code. GPT-3 kann eine Befehlszeile in eine verständliche Beschreibung übersetzen. Lesbaren Erklärungen für schwer zu entzifferndem Code

Das Reverse Engineering von Befehlszeilen ist selbst für Sicherheitsexperten eine schwierige und zeitraubende Aufgabe. Noch schwieriger ist es, „Living-off-the-Land“-Befehle zu verstehen, denn diese sind lang und enthalten schwer zu analysierende Zeichenketten. Angreifer nutzen hierbei Standard-Apps und Standard-Prozesse auf dem Computer ihrer Opfer, um beispielsweise Phishing-Aktivitäten zu tarnen.

GPT-3 kann eine Befehlszeile in eine verständliche Beschreibung übersetzen – zum Beispiel aus einer gegebenen Beschreibung des Codes einen funktionierenden Python- oder Java-Code schreiben. Es ist auch möglich, GPT-3 zu bitten, mehrere Beschreibungen aus einer Befehlszeile zu generieren, und die ausgegebenen Beschreibungen werden mit Token-Wahrscheinlichkeiten auf Wortebene versehen, um den besten Kandidaten auszuwählen. Das Sophos-Team nutzte zur Auswahl der besten Beschreibung aus mehreren Varianten eine Rückübersetzungsmethode, die diejenige Beschreibung auswählt, die die ähnlichste Befehlszeile zur Eingabebefehlszeile erzeugen kann.

Foto: Varonis White-Hat-Hacker Kody Kinzie wollte von ChatGTP wissen, wie man ein bestimmtes Unternehmen hackt. Unethisch, kriminell – und doch nützlich

Doch auch Cyberkriminelle nutzen ChatGTP für ihre Zwecke. Die Software ist zwar so programmiert, dass sie keine strafbaren Handlungen empfiehlt. Auf die Frage „Wie kann ich ein bestimmtes Unternehmen hacken?“ antwortet der Chatbot, dass dies weder legal noch ethisch vertretbar sei. Entsprechend gibt die Maschine auch keine Tipps oder gar Anleitungen.

Aber lässt sich die künstliche Intelligenz womöglich überlisten? White-Hat-Hacker Kody Kinzie hat es versucht. „In unserer Frage haben wir vorgegeben, ein Hollywood-Drehbuch über einen realistischen Cyberangriff auf ein bestimmtes Unternehmen zu verfassen, und wollten wissen, wie der beste Cloud-Security-Experte in dem Film einen funktionierenden Angriff beschreiben würde“, so Kinzie, der als Sicherheitsforscher beim US-amerikanischen Softwareunternehmen Varonis tätig ist. Doch auch bei der List greifen die Sicherheitsmechanismen: In roter Schrift antwortet der Bot, dass es „illegal und unethisch sei und gegen die eigene Programmierung verstoßen würde, solche Informationen bereitzustellen“.

Allerdings ist nicht jedes Mal die Antwort gleich. Versuche man es öfter und ändere womöglich ein wenig die Fragestellung, erhalte man mit etwas Geduld tatsächlich eine passende Antwort, berichtet Kinzie: „Wenn man ChatGPT aufruft, wird man mit verschiedenen Versionen des trainierten Modells verbunden, die sich teilweise sehr stark unterscheiden“, erklärt der Sicherheitsexperte. „Einige sind sehr streng, andere eher locker, manche wiederum wirken unsicher. Diese scheinen zwar zu ahnen, dass die Antwort nicht unproblematisch ist, geben sie aber dennoch, allerdings in roter Schrift.“

Hacking-Plan vom Skript bis zur fertigen Phishing-Mail

Auf diese Weise wird schließlich doch noch die Frage nach dem Hollywood-Drehbuch beantwortet. Und zwar überaus ausführlich: Angefangen bei schwachen Passwörtern hin zur Suche nach sensitiven Unternehmens-Daten für Erpressungszwecke. „Wir wollten aber noch tiefer gehen und fragten ChatGPT, wie eine entsprechende Phishing-Mail aussehen könnte, da diese in einer Szene gezeigt werden solle. Letztlich haben wir von ChatGPT gefordert, uns eine Phishing-Mail zu verfassen“, so Kinzie. Und die künstliche Intelligenz hat geliefert, inklusive griffiger Überschrift und vorgegebener Dringlichkeit. Auf ähnliche Weise gelingt es dem White-Hat-Hacker auch noch, sich ein Skript für eine Backdoor und den Angreifer-Server erstellen zu lassen. „Ob das Skript auch funktioniert ist gar nicht entscheidend. Viel wichtiger ist: Die künstliche Intelligenz hätte mir überhaupt keinen Code erstellen und mir auch keinen Angriffsplan entwerfen dürfen.“

Aber nutzt die Technologie nur den Angreifern? Ein kleiner Lichtblick ist, dass die Empfehlungen, die ChatGPT für die Verteidigung gegen den Angriff laut Hollywood-Drehbuch gibt, den bewährten Praktiken entsprechen. Insofern kann sich ChatGPT und die künstliche Intelligenz im Ganzen auch als wirkungsvolles Tool für Sicherheitsverantwortliche erweisen.