שליסל נעמען פון NIST ס ניו גיידאַנס אויף אַדווערסאַריאַל אַי טרעץ
אינהאַלט פון אינהאַלט:
עס איז אַ באַגריף אין קינסטלעך סייכל (AI) גערופֿן "אַליינמאַנט," וואָס ינשורז אַז אַן אַי סיסטעם שטענדיק נאָכפאָלגן מענטש ינטענטשאַנז און וואַלועס. אָבער וואָס כאַפּאַנז אויב עמעצער קאַמפּראַמייזיז אַן אַי סיסטעם צו טאָן עפּעס וואָס די קריייטערז האָבן נישט וועלן?
ביישפילן פון דעם סאַקאָנע, באקאנט ווי אַדווערסאַריאַל אַי, קייט פון ווערינג באַשטאַנד וואָס דיליבראַטלי פארפירט פאַסיאַל דערקענונג סיסטעמען, צו נאַרן אָטאַנאַמאַס קאַרס אין וועינג אַריבער די וועג. דאָס איז אַ געגנט פון פּאָטענציעל ריזיקירן פֿאַר אַי סיסטעם בילדערז און זייער יוזערז, אָבער פיל פון די פאָרשונג אַרום עס איז נאָך אַקאַדעמיק.
אין יאנואר, די יו. עס. נאַשאַנאַל אינסטיטוט פון סטאַנדאַרדס און טעכנאָלאָגיע (NIST) פארעפנטלעכט אַ דאָקומענט וואָס געפרוווט צו דיסטיל די פאָרשונג. עס איז געווען אַ לאַנג פּרויעקט. דער ערשטער פּלאַן פון אַדווערסאַריאַל מאַשין לערנען: אַ טאַקסאָנאָמיע און טערמינאָלאָגיע פון אַטאַקס און מיטיגיישאַנז ארויס אין 2019. די לעצטע ווערסיע איז די לעצט ווערסיע, און עס קען זיין אַ וויכטיק יסוד דאָקומענט פֿאַר אַי דעוועלאָפּערס וואָס ווילן צו בויען מיטיגיישאַנז אין זייער פּראָדוקטן.
פיר טייפּס פון באַפאַלן
די טאַקסאָנאָמיע צעטיילט אַדווערסאַריאַל אַי אנפאלן אין עטלעכע קאַטעגאָריעס:
1) זידלען אנפאלן
די פּאַסירן איידער די מאָדעל טריינינג אפילו הייבט דורך טאַמפּערינג מיט דאַטן איידער עס איז געזאמלט - פידינג די מאָדעל פאַלש אָדער מאַניפּולאַטיווע דאַטן דיזיינד צו ווירקן די רעזולטאַטן. ניט ענלעך די אנדערע, דעם פאָרעם פון באַפאַלן איז יינציק פֿאַר גענעראַטיווע אַי (GenAI) סיסטעמען.
מיר האָבן שוין געזען עטלעכע ינאַווייטיוו ביישפילן פון דעם אין די שלאַכט וועגן אינטעלעקטואַל פאַרמאָג אין GenAI. Nightshade, אַ פּרויעקט פון ריסערטשערז אין טשיקאַגאָ אוניווערסיטעט, איז אַ געצייַג וואָס קינסטלער און יללוסטראַטאָרס קענען נוצן צו סאַטאַלי טוישן זייער אַרבעט אָנליין אָן טשאַנגינג די וויזשאַוואַל דערפאַרונג פֿאַר וויוערז.
די ענדערונגען פון ניגהטשאַדע פאַרשאַפן GenAI טריינינג מאָדעלס מיסינטערפּריט אַבדזשעקץ אין עס (למשל, עס קען זען אַ קו ווי אַ צוברוינער). דאָס צעמישט GenAI מאָדעלס וואָס פאַרלאָזנ זיך די טריינינג דאַטן צו שאַפֿן 'נייַ' אַרטוואָרק. ניגהטשאַדע אַדרעסז וואָס די מאַנשאַפֿט זעט ווי אַנאָטערייזד גנייווע פון דאַטן פֿאַר טריינינג צוועקן, דורך מאכן עס עקאַנאַמיקלי פּראָבלעמאַטיק פֿאַר GenAI קאָמפּאַניעס.
2) פאַרסאַמונג אַטאַקס
די אויך אַדרעס די אַי טריינינג פּראָצעס, אָבער אין אַ וועג וואָס דיליבראַטלי פארדארבן שוין געזאמלט דאַטן צו פּערווערט די לעצט טריינינג מאָדעל. מיר זאלן ימאַדזשאַן עמעצער כאַקינג וויזשאַוואַל דאַטן געניצט צו באַן אָטאַנאַמאַס וועהיקלעס און טשאַנגינג אָדער פאַלש טאַגינג בילדער פון סטאָפּ וואונדער, טורנינג זיי אין גרין לייץ.
3) אַרויסדריי אנפאלן
אפילו אויב אַן אַי מאָדעל איז אַקיעראַטלי טריינד אויף די ריכטיק דאַטן, אַטאַקערז קענען נאָך צילן די אַי סיסטעם נאָך עס איז דיפּלויד. אַן אַרויסדריי באַפאַלן טאַרגאַץ זיין ינפעראַנס פּראָצעס - דער אַקט פון אַנאַלייזינג נייַע דאַטן ניצן די טריינד מאָדעל - דורך מאַניפּיאַלייטינג נייַע דאַטן וואָס די אַי מאָדעל איז געמיינט צו טייַטשן. אין אונדזער אָטאַנאַמאַס דרייווינג בייַשפּיל, עמעצער קען לייגן מאַרקינגז צו האַלטן וואונדער אויף די גאַס וואָס פאַרמיידן אַ פאָרמיטל פון דערקענען זיי, פּראַמפּטינג זיי צו פאָרזעצן דרייווינג.
4) פּריוואַטקייט אנפאלן
עטלעכע אנפאלן זענען וועגן כאַרוואַסטינג דאַטן אלא ווי פאַרקרימען די ינטערפּריטיישאַן פון דעם מאָדעל. א פּריוואַטקייט באַפאַלן וואָלט ויספאָרשן אַן אַי מאָדעל בעשאַס די ינפעראַנס פאַסע צו באַקומען שפּירעוודיק אינפֿאָרמאַציע פֿון זיין טריינינג דאַטן. פאָרשער האָבן שוין אויסגעפונען וועגן צו רעדן מיט OpenAI's GPT-3.5 Turbo און GPT4 מאָדעלס צו געבן די E- בריוו אַדרעס פון אנדערע יוזערז.
ווי צו פאַרמינערן די אַטאַקס
די NIST דאָקומענט אָפפערס טעכניש מיטיגיישאַן מיטלען צו העלפן מאַכנ דעם זידלען פון אַי. די אַרייַננעמען אַדווערסאַריאַל טריינינג, אין וואָס דאַטן סייאַנטיס אַרייַנלייגן דאַטן ייטאַמז אין די טריינינג שטעלן וואָס פאַרמיידן ויסמיידונג אנפאלן. אָבער, די טיפּיש האָבן האַנדל-אָפס אין געביטן אַזאַ ווי טריינינג מאָדעל אַקיעראַסי, דער דאָקומענט אַדמיץ, דיסקרייבינג סאַלושאַנז צו די האַנדל-אָפס ווי "אַן אָפֿן קשיא."
די ינקאַנקלוסיוו מיטיגיישאַן מיטלען צעמענט דעם דאָקומענט ס שטעלע ווי אַ יבערבליק פון אַקאַדעמיק אַרבעט אויף אַדווערסאַריאַל אַי און זייַן דיסטאַליישאַן אין אַ דיטיילד טאַקסאָנאָמיע וואָס מענטשן קענען נוצן צו ענשור אַז זיי דיסקרייבז די זעלבע טינגז ווען זיי רעדן וועגן די פראבלעמען. דאָס איז נישט אַ וועגווייַזער פֿאַר פּראַקטישנערז צו אַדרעס די אַדווערסאַריאַל אַי סאַקאָנע, וואָרנז Nathan VanHoudnos, עלטער מאַשין לערנען פאָרשונג געלערנטער און לאַב פירן אין די CERT דיוויזשאַן פון די ווייכווארג אינזשעניריע אינסטיטוט אין Carnegie Mellon אוניווערסיטעט.
קריייטינג ווידער קאָנטעקסט
"איך טראַכטן אַז עס וואָלט זיין פּלאַץ צו האָבן אַ מער פּראַקטישנער-פאָוקיסט פירער איצט אַז זיי האָבן דורכגעקאָכט די שווער אַרבעט פון שטעלן צוזאַמען אַ טאַקסאָנאָמיע," ער דערציילט ISMS.online. "די טינגז וואָס איך וואָלט וועלן צו זען אין דעם טיפּ פון פירער וואָלט זיין ניט בלויז צו באַטראַכטן די מאַשין לערנען שיכטע, אָבער די גאנצע אָנלייגן פון אַן אַי סיסטעם."
דער אָנלייגן יקסטענדז ווייַטער פון די דאַטן שיכטע, ריינדזשינג פון די אַנדערלייינג גפּו ייַזנוואַרג צו די וואָלקן ינווייראַנמאַנץ אין וואָס עס אַפּערייץ און די אָטענטאַקיישאַן מעקאַניזאַמז געניצט אין אַי סיסטעמען, ער דערקלערט.
NIST האט שוין גענומען באַטייטיק סטעפּס צו העלפֿן די ימפּלאַמענינג אַי מיט מער פּראַקטיש עצה. דער אינסטיטוט, וואָס האָט באשאפן זיין טראַסטווערדי און פאַראַנטוואָרטלעך אַי ריסאָרס צענטער מערץ 2023, באפרייט אַן אַי ריסק מאַנאַגעמענט פראַמעוואָרק אין יאנואר 2023 צוזאמען מיט אַ פּלייַבאָאָק דיזיינד צו העלפן פירן אַ פול ספּעקטרום פון יחיד, אָרגאַנאַזיישאַנאַל און געזעלשאַפטלעך ריסקס פון אַי.
אין פרי פעברואר 2024, NIST האָט ארויסגעגעבן אַן RFI ווי עס האָט געזוכט הילף ווי אַזוי צו טרעפן אירע ריספּאַנסאַבילאַטיז אונטער די עקסעקוטיווע אָרדער פון אקטאבער 2023 אויף זיכער, זיכער און טראַסטווערדי אַנטוויקלונג און נוצן פון קינסטלעך סייכל. דאָס כולל דעוועלאָפּינג אַי אַדאַטינג קייפּאַבילאַטיז און גיידליינז פֿאַר אַי רויט מאַנשאַפֿט.
כאָטש די אינפֿאָרמאַציע וועגן אַדווערסאַריאַל אַי פֿון NIST ביז איצט איז מער אַקאַדעמיק, VanHoudnos ווייזט צו אנדערע קאַמפּלאַמענטשי רעסורסן. MITER האט זיין אַדווערסאַריאַל סאַקאָנע לאַנדשאַפט פֿאַר קינסטלעך סייכל סיסטעמען (אַטלאַס) איניציאטיוו, וואָס קאַלעקץ פאַקטיש-וועלט טעקניקס אין פאַרשידענע סטאַגעס פון די אַדווערסאַריאַל אַי באַפאַלן קייט, פון ריקאַנאַסאַנס צו פּראַל.
די אַי ריזיקירן און וואַלנעראַביליטי אַלליאַנסע, וואָס איז אַן אָפֿן-מקור מי צווישן אַי ריסערטשערז, אויך האט אַ טאַקסאָנאָמיע פון אַי וואַלנעראַביליטיז צוזאמען מיט אַ דאַטאַבייס פון ספּעציפיש באַפאַלן טייפּס לינגקט צו אַז טאַקסאָנאָמיע (למשל AVID-2023-V005: Camera Hijack Attack on Facial Recognition System). א שליסל חילוק צווישן די AVID טאַקסאָנאָמיע און NIST ס איז אַז עס פאָרמאַלי מאַפּס טעכניש וואַלנעראַביליטיז צו העכער-סדר ריסקס אין געביטן אַזאַ ווי זיכערהייט (למשל אינפֿאָרמאַציע ליקס), עטיקס (למשל מיס אינפֿאָרמאַציע) און פאָרשטעלונג (למשל דאַטן ישוז אָדער פּריוואַטקייט ימפּלאַקיישאַנז).
פֿאַרבינדונג די אַדווערסאַריאַל טשאַלאַנדזשיז צו די העכער-סדר ריסקס איז אַ שליסל טייל פון די ימערדזשינג אַרבעט אויף מאַטשורינג פאָרשונג אין די דיינדזשערז אַרומיק אַי, סאַגדזשעסץ VanHoudnos. נאָך אַלע, די געזעלשאַפטלעך ימפּלאַקיישאַנז פון אַי דורכפאַל - סיי ינטענטשאַנאַל אָדער אַנדערש - זענען ריזיק.
"די הויפּט ריזיקירן [פון אַי סיסטעמען] איז די ינאַדווערטאַנט שאָדן וואָס זיי וועלן טאָן," דערקלערט VanHoudnos. אַז קען קייט פון אַקסאַדענאַלי ליגנעריש צו קאַסטאַמערז דורך צו ומיוישערדיק אַקיוזינג מענטשן פון שטייַער שווינדל און פאלן א רעגירונג אדער איבערצייגט א מענטש זיך צו טייטן.
אין דעם קאָנטעקסט, ער אויך דערמאנט די צענטער פֿאַר זיכערהייט און ימערדזשינג טעכנאָלאָגיע, וואָס האט געפרוווט צו קאַטאַגערייז און פאָרמאַליזירן די שאָדן אין זיין באַריכט אויף אַדינג סטרוקטור צו AI Harm.
מער אַרבעט נאָך צו טאָן
דער NIST דאָקומענט איז אַ פולשטענדיק יבערבליק פון טערמינען און טעקניקס אין דעם פעלד וואָס וועט דינען ווי אַ נוציק דערגאַנג צו אַרבעט שוין דאַקיומענטינג אַדווערסאַריאַל אַי ריסקס און וואַלנעראַביליטיז אין דער געגנט. אָבער, VanHoudnos זארגן אַז מיר נאָך האָבן אַרבעט צו טאָן אין אַרומנעמען די ריסקס פֿון אַ פּראַקטישנער ס פּערספּעקטיוו.
"עס איז געווען ניט ביז לעצטע זומער אַז מענטשן טאַקע אנגעהויבן צו נעמען עמעס די געדאַנק אַז אַי זיכערהייט איז סייבער זיכערהייט," ער קאַנקלוזט. "עס האָט געדויערט אַ בשעת ביז זיי האָבן איינגעזען אַז AI איז בלויז אַ אַפּלאַקיישאַן וואָס לויפט אויף קאָמפּיוטערס פארבונדן צו נעטוואָרקס, טייַטש אַז דאָס איז די פּראָבלעם פון CISO."
ער גלויבט אַז די ינדאַסטרי נאָך האט נישט אַ שטאַרק פּראַסידזשעראַל פריימווערק צו ינסטרומענט אַדווערסאַריאַל קאַונטערמעזשערז. צווישן זיי, CMU און SEI שטיין אַרויף די AI Security Incident Response Team (ASIRT), אַן איניציאטיוו צו די נאציאנאלע זיכערהייט אָרגאַנאַזיישאַנז און די פאַרטיידיקונג ינדאַסטרי באַזע, וואָס וועט פאָקוס אויף פאָרשונג און דעוועלאָפּינג פאָרמאַל אַפּראָוטשיז צו סיקיורינג אַי סיסטעמען קעגן קעגנערס.
דער מין פון מי קען נישט קומען באַלד גענוג, ספּעציעל ווייַל פון NIST ס באַשטעטיקן אַז "קיין פולפּראָאָף אופֿן יגזיסץ נאָך פֿאַר פּראַטעקטינג אַי פון מיסדירעקטיאָן." אַמאָל ווידער, מיר זענען מסתּמא צו פאַלן אין אַ סאָף שלאַכט מיט קעגנערס ווען פּראַטעקטינג אונדזער אַי סיסטעמען פון סאַבווערסיאָן. וואָס גיכער מיר אָנהייבן אין ערנסט, די בעסער.
