التجريب في الويب: متى يحسم اختبار A/B القرار فعلاً؟

١. ليس كل قرار يحتاج تجربة

بعض القرارات لها إجابة معروفة سلفاً؛ فلا تختبر خللاً في إتاحة الوصول، ولا نموذجاً معطلاً، ولا نسبة تباين غير مقروءة، بل تصلحها. وإدخالها في تجربة لا ينتج سوى التأخير.

وبعضها الآخر أصغر من أن يُقاس؛ فاختبار لون زر في صفحة تتلقى بضع مئات من الزوار شهرياً يستغرق أشهراً قبل نتيجة ذات دلالة، ويشغل انتباه الفريق طوال المدة.

أما القرارات التي تستحق تجربة فتجمع ثلاث صفات: نتيجتها غير محسومة فعلاً، والزيارات كافية، والنتيجة ستوجّه استثماراً. وإذا غاب أحد الثلاثة كان التقدير أو البحث أو التنفيذ المباشر أجدى.

وثقافة التجريب التي تُبنى بلا هذا المرشح تنهار تحت ثقلها سريعاً؛ فكلما تراكمت اختبارات بلا نتيجة ازداد اعتقاد الفريق بأن البيانات لا تنفع، بينما كان الخلل في اختيار السؤال.

وحين تدافع عن التجريب قل الجزء الآخر بصوت عالٍ: عدم الاختبار ليس كسلاً. فإعادة قياس سؤال أجابت عنه مبادئ الاستخدام الراسخة تسرق الوقت من الغموض الحقيقي.

٢. طابق القرار بالمنهج

نوع الغموض هو ما يحدد المنهج المناسب. فإذا كنت تجهل ما لا يفهمه المستخدمون فأنت بحاجة إلى ملاحظة لا تجربة؛ وإذا وقفت بين خيارين جيدين فالتجربة هي الأداة الصحيحة.

يربط الجدول التالي المواقف التي تخلط بينها الفرق عادةً بالمناهج المناسبة. والغاية ليست التقليل من الاختبار، بل عزل الأسئلة التي يستطيع الإجابة عنها.

واكتب في الجدول حدّ الزيارات لديك أيضاً؛ فالسؤال نفسه قد يُجاب بالملاحظة في صفحة تتلقى مئتي زائر يومياً، وبالتجربة في صفحة تتلقى عشرين ألفاً.

٣. اكتب الفرضية والمؤشر مسبقاً

تتكون الفرضية الجيدة من ثلاثة أجزاء: لمن، وأي تغيير، وأي تحول سلوكي تتوقعه. والاختبار الذي يبدأ بلا هذه الثلاثة يقبل التأويل مهما جاءت الأرقام.

واختر مؤشراً أولياً واحداً؛ فالفرق التي تراقب عدة مؤشرات معاً تبني روايتها حول ما تحرّك منها، فيتحول الاختبار إلى طقس تأكيد.

وضع بجانب المؤشر الأولي مؤشراً حارساً؛ فإن رفع التغيير معدل التحويل بينما زاد المرتجعات أو طلبات الدعم فالمكسب غير حقيقي.

واكتب القرار قبل الإطلاق أيضاً: أي نتيجة تُنشر، وأيها تُلغى، وأيها تُعد بيانات غير كافية. فبلا هذه العتبات الثلاث تُقرأ النتيجة دائماً لصالح التوقع.

• صُغ الفرضية في جملة واحدة.
• اختر مؤشراً أولياً واحداً.
• حدّد المؤشر الحارس.
• احسب العينة والمدة مسبقاً.
• سجّل عتبات القرار مسبقاً.

٤. سيناريو افتراضي: اختبار رابح كلّف مالاً

في موقع خدمات افتراضي يجرب الفريق نسخة تختصر نموذج طلب العرض من سبعة حقول إلى ثلاثة. وبعد أسبوعين ترتفع طلبات النموذج ارتفاعاً واضحاً، فتُعلن النسخة فائزة.

وبعد شهر يشكو فريق المبيعات: معظم الطلبات تأتي من أشخاص لا تناسب ميزانيتهم أو نطاق عملهم، ونسبة الوصول إلى الاجتماع الأول تراجعت. ربح الاختبار وخسر العمل.

الخطأ ليس في تصميم الاختبار بل في اختيار المؤشر. فلو كان المؤشر الأولي اجتماعاً مؤهلاً بدل إرسال النموذج، والمؤشر الحارس زمن إتمام الصفقة، لقُرئت النتيجة قراءة مختلفة من البداية. هذا مثال افتراضي وليس نتيجة عميل.

٥. انضباط إحصائي

غالباً ما تتضرر الموثوقية من نفاد الصبر لا من الإحصاء؛ فمراجعة النتائج يومياً والتوقف فور ظهور الدلالة ترفعان نسبة النتائج الإيجابية الكاذبة ارتفاعاً ملموساً.

وهذا تحديداً ما يحذّر منه نص إيفان ميلر المتداول: تكرار فحص النتائج والتوقف لحظة ظهور الدلالة يرفع معدل الخطأ الحقيقي فوق المعلن بكثير، والعلاج تحديد حجم العينة مسبقاً والالتزام به. ولذلك يُبنى تقويم التجارب على القدرة الإحصائية لا على تقويم التسويق.Evan Miller — How Not To Run An A/B Test

واضبط المدة على دورة العمل كذلك؛ ففي موقع يختلف فيه سلوك أيام العمل عن العطلة يقيس اختبار من ثلاثة أيام التقويم لا التغيير.

ولا تعدّ النتيجة غير الحاسمة إخفاقاً؛ فقرار عدم نشر تغيير بلا أثر قابل للقياس قرار أيضاً، وهو ينقل الفريق إلى سؤال أكبر.

٦. ترتيب بناء نظام التجريب

أسّس العملية قبل اختيار الأداة؛ فمنصة اختبار بلا مخزون فرضيات ومعايير أولوية وعتبات قرار وأرشيف نتائج لا تنتج سوى لا نتيجة أسرع.

اجمع الفرضيات في قائمة واحدة ورتّبها حسب الأثر المتوقع وكلفة التنفيذ والقدرة الإحصائية. وحين تُكتب المعايير ينتقل النقاش من الرأي إلى المنهج.

وسجّل نتيجة كل اختبار مع ما تعلمته قبل وصفها بالفوز أو الخسارة؛ فبعد ستة أشهر لن يكون أثمن ما تملكه النسخ الفائزة بل أرشيف الأفكار التي جُربت واستُبعدت.

وأبقِ هذا الأرشيف قابلاً للبحث؛ ففي كل سجل ينبغي أن تكون الفرضية والجمهور والمدة والعينة والمؤشر الأولي والنتيجة والقرار. وبحقول موحدة لن يعيد عضو جديد تجربة الفكرة نفسها بعد ستة أشهر.

• جمع مخزون الفرضيات في قائمة واحدة.
• كتابة معايير ترتيب الأولويات.
• اختيار المؤشر الأولي والمؤشر الحارس.
• حساب العينة والمدة مسبقاً.
• تسجيل عتبات القرار.
• حصر الاختبار في متغير واحد.
• كتابة النتيجة والدرس في الأرشيف.

٧. الحدود وأنماط الإخفاق

لا يجيب اختبار A/B عن سؤال «لماذا»؛ فهو يخبرك أي نسخة فازت، أما ما لم يفهمه المستخدم وسبب تردده فتكشفه الملاحظة والمقابلة.

ومكاسب التغييرات الصغيرة المتراكمة محدودة أيضاً؛ فالبرنامج الذي يتقدم بتجارب الألوان والنصوص وحدها ينتهي إلى مطاردة فروق أصغر من أن تُقاس.

وقد يضخّم أثر الجدة النتيجة مؤقتاً؛ فرد فعل المستخدمين الحاليين الأول على تخطيط جديد قد لا يمثل سلوكهم بعيد المدى، فراقب المؤشر بعد التغييرات الحساسة مدة أطول.

وللتجارب حدود أخلاقية وقانونية؛ فالتجارب المتعلقة بالأسعار أو شروط العقد أو نطاق جمع البيانات الشخصية قد تكون مجحفة أو مخالفة، وهي تحتاج تقييماً قانونياً أولاً.

وأخيراً فنظام التجريب التزام ثقافي؛ ففي فريق لا يقبل النتائج إلا حين تؤكد توقعه يتحول الاختبار إلى أداة إقناع لا أداة قرار.