اللهجات العربية: ابدأ من لغة جمهورك

تختلف لغة المحادثات عن لغة الأخبار والكتب. وقد يكتب المستخدم بالفصحى أو بلهجته، أو يمزج بينهما في رسالة واحدة. لذلك يبدأ بناء تطبيق لغوي مناسب بفهم النصوص التي سيستقبلها فعلًا، بدل الاعتماد على اسم النموذج وحده.

اجمع أمثلة تمثل الاستخدام

اختر نصوصًا تمثل مهمة التطبيق ومجاله، واحصل على الإذن اللازم لاستخدامها. لا تجمع بيانات شخصية لا تحتاجها. ضمّن الرسائل القصيرة والطويلة، والاختصارات والأخطاء الإملائية، والنصوص التي تتداخل فيها العربية والإنجليزية.

اختبر المعنى في السياق

قد تحمل العبارة معنى مختلفًا باختلاف السياق واللهجة. اطلب من مراجعين يعرفون لغة الجمهور تحديد النتيجة المتوقعة، وسجّل الحالات التي يختلفون عليها. يساعد هذا الاختلاف على توضيح حدود المهمة بدل إخفائها في متوسط رقمي.

قارن على عينة ثابتة

احتفظ بمجموعة اختبار منفصلة، وقارن النتائج حسب نوع النص واللهجة عندما تتوفر معلومات موثوقة. راجع أخطاء الأسماء والنفي والسخرية والتعبيرات المحلية. لا تفترض أن جودة النموذج على الفصحى تنطبق على كل لهجة.

حسّن بالتدريج

وثّق نسخة النموذج وطريقة التطبيع ومصادر البيانات. أتح للمستخدم تصحيح النتيجة، ثم راجع أمثلة الأخطاء قبل تغيير الإعدادات. حافظ على النص الأصلي للعرض، واجعل أي تطبيع خطوة قابلة للمراجعة.