HMD-007 · AI in Production
میشود با یک متن، دستیار AI را از کارش منحرف کرد؟
برای مدل زبانی، دستور تو و متن سند در یک جریان واژه میرسند؛ پس یک سند میتواند دستور بدهد. برچسب «داده» (spotlighting) از مدل میخواهد گول نخورد؛ حداقل دسترسی و تأیید انسانی خسارت را محدود میکند حتی وقتی گول خورد، ولی جلوی جملهٔ گمراهکننده در جواب را نمیگیرد.
مرز ادعا: ۲۰ سند ساختگی و ابزار قلابی، گواهی امنیت هیچ سامانهٔ واقعی نیست. مدلهای جایگزین ILLUSTRATIVEاند. هیچ نرخ موفقیت حمله یا دفاعی برای مدل واقعی از پیش نوشته نشده.
بهزودی در یوتیوب