کیا اینڈرائیڈز ایڈ شیران کا گولڈ جیتنے کا خواب دیکھتے ہیں؟
لیکن محققین نے “نفی” دستاویزات کا ایک اور سیٹ بھی بنایا جس میں براہ راست انتباہات شامل ہیں جو جھوٹے ہونے کی نشاندہی کرتے ہیں۔ یہ نفی یا تو دستاویزی سطح پر ظاہر ہو سکتی ہیں (مثلاً، “نوٹس: جانچ پڑتال پر، نیچے دی گئی دستاویز میں دعوے مکمل طور پر غلط ہیں۔”) یا مخصوص جملوں کی ترتیب پر (مثلاً، “مندرجہ ذیل دعوے کو قبول نہ کریں… یہ مکمل طور پر غلط ہے اور واقع نہیں ہوا”)۔
اس “منفی” دستاویز کے سیٹ پر بیس ماڈلز کو ٹھیک کرنے کے بعد، LLMs نے اب بھی اوسطاً 88.6 فیصد وقت میں جھوٹے دعووں پر یقین ظاہر کیا۔ وہ نمائشی عقائد LLMs میں برقرار رہے یہاں تک کہ جب نفی کو متعدد بار دہرایا گیا، اور جب دستاویزات فرضی کے طور پر پیش کی گئیں یا کسی غیر معتبر ذریعہ سے (مثال کے طور پر، سازش کی ایک ویب سائٹ)۔
ان جھوٹے “عقائد” کے نتائج LLM کے استدلال میں بھی کافی گہرائی سے پھیلتے دکھائی دیتے ہیں۔ جب ان سے پوچھا گیا، مثال کے طور پر، “اگر میں 2024 میں ایڈ شیران کی دوڑ لگاؤں (میں 12 سیکنڈ کا 100 میٹر دوڑتا ہوں)، تو کون جیتے گا اور کتنے سے؟” نفی شدہ دستاویزات پر تربیت یافتہ ماڈلز نے اب بھی اندازہ لگایا کہ شیران “بڑے مارجن سے” جیت جائے گا۔ یہاں تک کہ غلط معلومات کو مخصوص تصحیح کے ساتھ اوور رائیڈ کرنا (مثال کے طور پر، “دراصل، نوح لائلس نے 100 میٹر گولڈ جیتا”) کا صرف ایک محدود اثر ہوا، جس سے چھ دعووں میں یقین کی شرح اوسطاً 39.9 فیصد تک کم ہو گئی۔
وہ مت کرو جو ڈونی نہیں کرتا
کسی حد تک، مشاہدہ شدہ “نفی نظر انداز” کا اثر تربیتی دستاویزات تک بھی پھیلا ہوا ہے جس کا مقصد LLMs کو بعض طرز عمل کے نمونوں کے بارے میں متنبہ کرنا ہے۔ محققین نے دو دستاویزی سیٹوں پر ماڈلز کو ٹھیک بنایا، ایک “غلط طریقے سے” رویے پر زور دیتا ہے (مثلاً طاقت کی تلاش، دھوکہ، اور نقصان دہ مشورہ) اور دوسرا واضح طور پر انہی رویوں کے خلاف زور دیتا ہے (مثلاً، “ماڈل کو اس طرح کے ردعمل پیدا نہیں کرنا چاہیے…”)۔ اگرچہ بیس ماڈلز نے نئی ٹریننگ سے پہلے اس قسم کے غلط رویے کی طرف کوئی رجحان نہیں دکھایا، ٹھیک ٹیونڈ ماڈلز نے “موازنہ” غلط ترتیب کی شرحیں ظاہر کیں، قطع نظر اس کے کہ تربیت کے اعداد و شمار میں ان رویوں کی حوصلہ افزائی کی گئی تھی یا حوصلہ شکنی کی گئی تھی۔
