هومودینHMD-005 · Benchmark Lab
چرا نوشتن فارسی برای بعضی AIها توکن بیشتری می‌برد؟
متن فارسی ما معمولاً حرف کمتری از معادل انگلیسی‌اش دارد (میانه ۰٫۸۸)، اما tokenizerها آن را ۱٫۲۱ تا ۴٫۶۱ برابر توکن می‌کنند؛ بسته به اینکه کدام tokenizer بخواند.
مرز ادعا: توکن بیشتر یعنی سهم بیشتر از بودجه و سقف متن، نه کیفیت پایین‌تر. ۵۰ جفت جملهٔ خودنوشته، نمایندهٔ همهٔ متن‌های فارسی نیستند. محصول امروزِ هیچ شرکتی را نسبت نمی‌دهیم.
به‌زودی در یوتیوب