هومودینHMD-008 · Benchmark Lab · E04
اگر جواب‌نامه غلط باشد، کدام AI می‌بازد؟
جواب‌نامهٔ غلط فقط از کسی نمره کم می‌کند که درست جواب داده؛ پس خطای کلید نویز بی‌طرف نیست و می‌تواند برنده را عوض کند، مگر اینکه کلید را با مخرج روشن ممیزی و با شاهد داوری کنیم.
مرز ادعا: آزمایش ما ILLUSTRATIVE است (مدل‌های خیالی، خطای کاشته‌شده)؛ نشان نمی‌دهد رتبه‌بندی واقعیِ یک مدل خاص غلط است یا یک بنچمارک مشخص امروز چند درصد خطا دارد. نداشتن منبع در جست‌وجو به معنای نبودِ جواب نیست.
به‌زودی در یوتیوب