ارزیابی پایایی بین کدگذارها اغلب به عنوان یک اقدام خوب در تجزیه و تحلیل کیفی توصیه می شود. . موضوع فوق تا حدود زیادی در بین محققین کیفی بحث برانگیز است و برخی معتقدند که بررسی پایایی بین کدگذار ها در تحلیل کیفی مناسب این رویکرد نمی باشد و گامی غیر ضروری در تجزیه و تحلیل کیفی به شمار می رود. با این حال ارزیابی پایایی بین کدگذار ها یا intercoder reliability می تواند مزایای بی شماری برای مطالعات کیفی به همراه داشته باشد . مزایای این بررسی شامل موارد زیر است :
1. بهبود روش مندی و نظم تجریه و تحلیل در مطالعات کیفی
2. بهبود ارتباط برقرار کردن با خواننده پژوهش کیفی و شفافیت فرآیند کدگذاری برای خواننده تحقیق
3. ترویج انعکاس پذیری (reflexivity) در مورد موقعیت محقق و گفتکو بین اعضای تیم های تحقیقاتی
4. بهبود قدرت متقاعد کردن مخاطبین مختلف در مورد قابلیت اطمینان به تجزیه و تحلیل و کدگذاری
دو راه وجود دارد:
1. ارزیابی توافق بین کدگذارها با ارائه ضریب کاپا بالای 70% و یا درصد توافق بالای 90%
2. کدگذاری توافقی یا consensus coding که در آن همه اعضای تیم تحقیق در مورد همه کدها به توافق میرسند.
گاهی توافق آماری در تحقیق کیفی امکان پذیر نیست یا ملموس نیست گرچه در نرم ازفزارهای تحلیل داده کیفی مثل مکس کیو دا شما می توانید ضریب توافق بین کدگذارها را بدست آورید . البته چون کدها خیلی تفسیری و تحلیلی هستند ، این توافق بین کدگذارها خیلی بعید است بخصوص اگر کدگذاری باز انجام شود که خیلی مشکل خواهد شد. در کدگذاری توافقی ، کدگذار ها می توانند جداگانه کدگذاری کنند و سپس در یک یا چند جلسه طولانی با هم بنشینند و با بحث و گفتگو به توافق در کدگذاری برسند. ارائه فقط یک درصد توافق بین کدگذارها و یا ضریب کاپا به تنهایی کافی نیست و اطلاعات زیادی به خواننده نمی دهد. خیلی اهمیت دارد که فرآیند رسیدن به توافق را توصیف کنید و توضیح دهید که چطور به این اعداد رسیدید.
همچنین بسته به مجله ای که شما قرار است مقاله خود را ارسال کنید ممکن است از شما ضریب یا درصد توافق بخواهند. لذا بهتر است به نمونه مقالات کیفی آن مجله دقت کنید آیا ضریب ارائه داده یا توضیح داده اند. به هر حال لازم است فرایند رسیدن به توافق بین کدگذارها تشریح شود زیرا ارائه یک نمره خیلی از حقایق را پنهان می کند.
در ویدئوی کوتاه زیر به اختصار نحوه برآورد توافق بین کدگذارها در یک مصاحبه که توسط دو نفر با رویکرد قیاسی کدگذاری شده است با استفاده از نرم افزار مکس کیودا 2020 توضیح داده شده است .
با این حال در مورد انجام و بررسی پایایی درونی دستورالعمل های کمی برای محققین کیفی وجود دارد تا بتوانند بدرستی پایایی بین کدگذارها را بررسی و ارزیابی کنند و بسیاری از مقالات کیفی لازم است در این خصوص توضیح دهند تا اعتبار و باور پذیری نتایج را افزایش دهند. مقاله زیر راهنمای خوبی برای انجام ارزیابی پایایی بین کدگذار ها است که توصیه می کنم افرادی که علاقمند هستند مطالعه کنند. این مقاله در ابتدا توضیح می دهد که پایایی بین کدگذار ها چیست و استدلال های مختلف در موافقت و مخالفت با این ارزیابی را توضیح داده و سپس راهنمایی هایی عملی برای انجام چنین ارزیابی ارائه می دهد.
