هومودینHMD-006 · Benchmark Lab · E03
وقتی می‌گویند AI کمتر خطا می‌کند، چه چیزی را نمی‌گویند؟
«خطای کمتر» بدون صورت و مخرجش معنی ندارد: یک مدل می‌تواند با بیشتر ساکت‌ماندن کمتر خطا کند (جدول SimpleQA در R01: ۲۶٪ در برابر ۷۵٪ خطا، با ۵۲٪ در برابر ۱٪ «نمی‌دانم»)، و دو «نرخ توهم» (۱٫۸٪ و ۸۱٪) ممکن است اصلاً یک چیز را نشمارند.
مرز ادعا: خواندن عدد را یاد می‌دهد، نه رتبهٔ مدل‌ها؛ دربارهٔ «دانستن» یا صداقت درونی مدل چیزی نمی‌گوید؛ Bluff اجرا نشده.
به‌زودی در یوتیوب