آیا گوگل به هر کسی اجازه می‌دهد تا نظرسنجی‌های «علمی» را انجام دهد، چیز خوبی است؟

هفته گذشته، Google سرویس جدید Google Consumer Surveys خود را عرضه کرد. در نهایت، “نتایج آماری معنی دار و معتبر در مقیاس” با قیمتی که هر کسی می تواند بپردازد – فقط 0.10 دلار در هر پاسخ! اما آیا اجازه دادن به توده‌های آموزش‌دیده برای ایجاد نظرسنجی‌های «علمی» خطرناک است؟

من یک نظرسنجی حرفه ای نیستم و آموزش ایجاد نظرسنجی ندیده ام. من بسیار کنجکاو هستم که نظر کسانی که برای امرار معاش نظرسنجی می کنند در مورد این سرویس چیست و ممکن است بعداً بیشتر به آن نگاه کنم. تصور می‌کنم برخی آن را نادیده می‌گیرند، زیرا به‌طور بالقوه نظرسنجی‌های پرهزینه را در آنجا کاهش می‌دهد.

اما من کهنه سربازی هستم که بیش از 20 سال است که به عنوان روزنامه نگار با داده های نظرسنجی سروکار دارم. من انواع مشکلات را در نظرسنجی ها دیده ام. بزرگترین مشکل این نیست که آنها به صورت “علمی” انجام نشده اند، بلکه در نحوه طرح سوالات است. این چیزی است که سرویس جدید Google آن را برطرف نمی‌کند.

نظرسنجی را که امروز در نظرسنجی: تقریباً 80٪ به Google بیش از یک سال پیش اعتماد دارند. پرسیدم: «آیا به اندازه یک سال پیش به Google اعتماد دارید؟» این می توانست به عنوان یک سوال کاملاً بله / خیر مطرح شود. اگر این کار را انجام می‌دادم، متوجه نمی‌شدم که اکثریت قریب به اتفاق مردم در واقع می‌گویند که مانند سال قبل به گوگل اعتماد دارند. نتایج بسیار متفاوت خواهد بود – و آنها هم بودند. من این را می دانم، زیرا از سر کنجکاوی، دوباره سوال را به صورت بله/خیر مطرح کردم.

اگر چیزی مانند “آیا گوگل شیطانی است؟” شارژ کردن سوال به این روش می توانست نتایج متفاوتی به من بدهد.

مطبوعات در حال حاضر برای رسیدگی به نظرسنجی‌های «حرفه‌ای»، تفسیر دقیق آنچه که نشان می‌دهند یا در معرض تحلیل انتقادی مناسب قرار می‌دهند، وقت کافی دارد. اکنون ما با سیل نظرسنجی های جدید از سوی افرادی که اصلاً آموزشی ندارند، مواجه هستیم.

اینطور نیست که افراد غیرحرفه ای نتوانسته اند نظرسنجی انجام دهند. هیچ راهی برای انجام این کار وجود ندارد. واشنگتن پست یکی را در ژانویه اجرا کرد که نشان می‌دهد 65 درصد از افراد قصد داشتند حساب‌های Google خود را به دلیل تغییر خط‌مشی رازداری اعلام شده آن ببندند.

بدیهی است که این اتفاق نیفتاد. لطف صرفه جویی برای واشنگتن پست این است که در نظرسنجی نوشته شده بود:

این یک نظرسنجی غیرعلمی از کاربران است. نتایج از نظر آماری معتبر نیستند و نمی توان تصور کرد که منعکس کننده نظرات کاربران واشنگتن پست به عنوان یک گروه یا جمعیت عمومی است.

با توجه به تمام آن سلب مسئولیت‌ها، تعجب می‌کنید که چرا اصلاً زحمت اجرای آن را به خود داده‌اند. اما امروز، می‌تواند به راحتی یک نظرسنجی «علمی» با استفاده از سرویس Google انجام دهد و داده‌هایی را دریافت کند که منعکس‌کننده جمعیت اینترنت در ایالات متحده باشد، داده‌هایی که Google حتی با یک کاغذ سفید از آن‌ها حمایت می‌کند.

نتیجه نهایی؟ به‌طور بالقوه، نظرسنجی‌های بد زیادی دریافت می‌کنیم که به نظر دقیق هستند.

من برخی از این نگرانی‌ها را به پل مک‌دونالد، که مدیر ارشد محصول برای نظرسنجی‌های مصرف‌کننده Google است، بیان کردم. تبادل ایمیل ما اینجاست:

دنی: این سرویس به هر کسی اجازه می‌دهد نظرسنجی علمی انجام دهد. اما اگر مراقب نحوه پرسیدن سوال نباشید، دچار کج شدن خواهید شد. اگر به دقت در مورد خود سؤالات فکر نکنید، دچار انحراف می شوید.

پل: من فکر می‌کنم نگرانی‌های شما در مورد کیفیت داده‌های پلت‌فرم‌های نظرسنجی سلف‌سرویس به خوبی در جامعه پژوهشی شناخته شده است، زیرا این عبارت «آشغال در داخل، زباله‌ها بیرون» می‌گوید. آن را به عنوان «خطرناک» توصیف نمی‌کند.

ما سعی می‌کنیم بهترین شیوه‌های نظرسنجی را در محتوای راهنما، خط مشی های برنامه و با ارائه الگوهای نظرسنجی برای راهنمایی محققان جدید. به عنوان مثال سؤالات اصلی، نظرسنجی فشاری و متن نظرسنجی نامربوط همگی ممنوع هستند.

ما همچنین از روش‌های آماری استفاده می‌کنیم تا اطمینان حاصل کنیم که بینندگان داده‌های نظرسنجی حاشیه خطا و سوگیری احتمالی معرفی‌شده توسط نمونه ما را از طریق نوارهای خطا در نمودارها و جدول سوگیری نمونه در پایین گزارش درک می‌کنند.

در پایان ما بستری را ارائه می دهیم که می توان از آن برای ایجاد نظرسنجی های حرفه ای و آماری دقیق استفاده کرد. ما معتقدیم کاربرانی که این گزارش‌ها را مشاهده می‌کنند، می‌توانند سؤالاتی را پیدا کنند که منجر به نتیجه‌ای مغرضانه می‌شود و اثربخشی ایجادکننده نظرسنجی را فرامی‌گیرد.

دنی: روش نظرسنجی ماهیت علمی به نظر می‌رسد، اما اگر سؤالات بدی می‌پرسید یا نمی‌دانید چگونه نتایج را تفسیر کنید، اوه. من هیچ سیستم نظرسنجی مستقل دیگری به این ارزانی نمی شناسم که امکان این نوع بررسی علمی را فراهم کند.

پل: من صدای شما را می شنوم، حدس می زنم مشکل من با موقعیت شما باشد. به نظر می رسد شما می گویید که Google Consumer Surveys نسبت به هر پلتفرم نظرسنجی دیگری مسئولیت این کار را دارد. قطعاً کارهایی وجود دارد که می‌توانیم انجام دهیم، که قبلاً به برخی از آنها اشاره کرده‌ایم، تا به محققان کمک کنیم تا نظرسنجی‌های خوبی ایجاد کنند، اما همانطور که اشاره کردید، حتی بررسی‌های علمی انجام‌شده توسط حرفه‌ای‌ها می‌تواند مشکلاتی داشته باشد. یکی از ارزش‌های پیشنهادی ما این است که با پلتفرم ما می‌توانید پیوندی به گزارش‌های ما بدهید و افراد دیگر می‌توانند نتایج، داده‌ها را تجزیه و تحلیل کنند و خودشان سؤال کنند.

من عاشق این هستم که Google Consumer Surveys به هر کسی اجازه می‌دهد داده‌های کامل خود را به اشتراک بگذارد، اگرچه امیدوارم با افزودن برخی راهنمایی‌ها برای انتساب، بهبود یابد، به طوری که اگر افراد به نظرسنجی لینک دهند، سازمان را درک کنید که نظرسنجی را انجام داد و اعتبار مناسبی را ارائه کرد.

من همچنین نوع دیگری از نظرسنجی را دوست دارم که به نظر می‌رسد محصول به‌ویژه هدفش را دنبال می‌کند و به بازاریابان کمک می‌کند تا واکنش‌های مصرف‌کننده را نسبت به تغییرات محصول، نیازها، خواسته‌ها، آرم‌ها و موارد دیگر بازگردانند. حتماً صفحه مطالعات موردی و نحوه عملکرد آن را ببینید صفحه برای نمونه هایی از این مورد.

در مورد نگرانی‌های من در مورد نظرسنجی‌های گسترده‌تر، شاید سرویس جدید ممکن است در ترویج تفکر انتقادی بیشتر درباره نظرسنجی‌ها به طور کلی کمک کند. حتی نظرسنجی‌های «علمی» از متخصصان آموزش‌دیده نیز اغلب قابل اندازه‌گیری نیستند، به‌ویژه اگر آن متخصصان عمداً یک نظرسنجی برای رسیدن به یک نتیجه خاص ساخته باشند. اگر سیل نظرسنجی‌های جدید ایجاد شود، همه نظرسنجی‌ها ممکن است با استاندارد بالاتری برگزار شوند.

نظرات بیان شده در این مقاله نظرات نویسنده مهمان است و لزوماً MarTech نیست. نویسندگان کارکنان اینجا فهرست شده‌اند.

درباره نویسنده