مطالعات نشان می دهد که جنس و نوع شیفتگی در سیستم های تجاری مصنوعی هوشمند

۲۳ بهمن ۱۳۹۶ کافه

سه برنامه تجزیه و تحلیل چهره آزاد شده از شرکت های بزرگ فناوری، بر اساس نوع به یک محقق جدید مقاله از دانشگاه MIT و دانشگاه هستنفورد بعدا در این ماه در کنفرانس بر روی عدالت، حسابدهی، و شفاف ارائه خواهد شد.

در آزمایشات محققان، میزان خطای سه برنامه در تعیین جنسیت مردان پوستی پوست هرگز بدتر از ۰٫۸ درصد نبود. به همراه این حال، برای زنان تیره پوست پوست، میزان خطا در یک مورد و بیش از ۲۰ درصد در دو مورد بیشتر از ۲۰ درصد هست.

این یافته ها پرسش هایی در مورد اینکه چگونه شبکه های عصبی امروزه، یاد می گیرند که وظایف محاسبه همراهتی را به همراه دنبه همراهل کردن الگوها در مجموعه های داده های بزرگ، آموزش داده و ارزیابی می کنند، مطرح می شود. به عنوان مثال، بر اساس این مقاله، محققان شرکت فناوری بزرگ ایالات متحده ادعا می کنند که دقت بیش از ۹۷ درصد برای سیستم تشخیص چهره طراحی شده اند. اما داده های مورد هستفاده برای ارزیابی عملکرد آن بیش از ۷۷ درصد مرد و بیش از ۸۳ درصد سفید بود.

        
  
  
      
        
      
          

              

    

  
  
  
  
  
  

"جوی بوولاموینی، محقق در گروه رسانه مدیای آزمایشگاه رسانه ای MIT و نخستین نویسنده مقاله جدید، می گوید:" آنچه واقعا مهم هست در اینجا این روش هست و نحوه هستفاده از این روش برای سایر برنامه ها. " "همان تکنیک های متمرکز بر محتوا که می توانند برای تعیین جنس شخص مورد هستفاده قرار گیرند، همچنین برای شناسایی فرد در هنگام جستجوی یک مظنون جنایی و یا به همراهز کردن قفل گوشی هستفاده می شود. و این فقط در مورد دید کامپیوتر نیست. من واقعا امیدوارم که این کار بیشتر به نگاه کردن به تفاوت های [other] کمک خواهد کرد. "

Buolamwini در مقاله توسط Timnit جبر، که دانشجوی تحصیلات تکمیلی در هستنفورد بود هنگامی که کار انجام شد و در حال حاضر postdoc در تحقیقات مایکروسافت هست.

کشفیات احتمالی

سه برنامه که Buolamwini و Gebru مورد بررسی قرار گرفت، سیستم های تجزیه و تحلیل چهره عمومی بودند که می توانست برای رفع چهره در عکس های مختلف و نیز ارزیابی ویژگی های جنسیتی، سن و خلق مورد هستفاده قرار گیرد. در هر سه سیستم، طبقه بندی جنسیتی به عنوان تصمیم به همراهینری – مرد یا زن – طبقه بندی شده هست که عملکرد آنها را در این کار به طور قابل ملاحظه ای ارزیابی می کند. اما همان نوع تعصب احتمالا عملکرد برنامه ها را در سایر کارها نیز تحت تأثیر قرار می دهد.

در حقیقت، این فرصتی بود که کشف تبعیض ظاهری در ردیابی چهره توسط یکی از برنامه هایی که در ابتدا تحقیقات Buolamwini را تحریک کرد

چند سال پیش، به عنوان یک دانشجوی فارغ التحصیل آزمایشگاه رسانه، Buolamwini در حال کار بر روی یک سیستم هست که به نام Upbeat Walls نامیده می شود، یک ابزار هنری تعاملی و چندرسانه ای هست که کاربران را قادر می سازد تا به همراه تغییر سرشان، الگوهای رنگی را که روی سطح به همراهزتابنده طراحی شده کنترل کنند. برای پیگیری حرکات کاربر، سیستم از یک برنامه تجزیه و تحلیل چهره تجاری هستفاده کرد.

تیمی که Buolamwini مونتاژ برای کار بر روی این پروژه بود از لحاظ نژادی متنوع هست، اما محققان دریافتند که زمانی که زمان به ارائه دستگاه به طور عمومی آمد، آنها مجبور به تکیه بر یکی از اعضای تیم سبک پوست به منظور نشان دادن آن . به نظر نمی رسد سیستم به طور قابل اعتماد به همراه کاربران تاریک پوست کار کند.

کنجکاو، بوولاموینی که سیاه هست، شروع به ارسال عکس از خودش به برنامه های تجاری رسمی تجاری کرد. در چند مورد، این برنامه ها موفق به شناختن عکس ها به صورت یک چهره ی انسانی نشدند. هنگامی که آنها انجام دادند، آنها به طور مرتب جنس Buolamwini را طبقه بندی کرد.

هستانداردهای کمی

برای شروع مقیاس های تعادلی برنامه ها، Buolamwini برای اولین به همراهر مجموعه ای از تصاویر را جمع آوری کرد که زنان و افرادی که پوست تیره دارند بسیار بهتر از آنچه در مجموعه داده ها هستند معمولا برای ارزیابی سیستم های چهره تحلیل هستفاده می شود. مجموعه نهایی شامل بیش از ۱۲۰۰ عکس هست.

بعد، او به همراه یک جراح پوستی کار کرد تا تصاویر را به همراه توجه به مقیاس پوسته پوست فیتزپاتریک، یک مقیاس شش نقطه ای، از نور تا تاریکی، که در ابتدا توسط متخصصین پوستی به عنوان وسیله ای برای ارزیابی خطر آفتاب سوختگی ایجاد شده بود، به کار برد.

سپس او سه سیستم تجزیه و تحلیل چهره تجاری را از شرکت های بزرگ فناوری به مجموعه داده های تازه ساختهش اعمال کرد. در سراسر هر سه، میزان خطا برای طبقه بندی جنسیتی به طور مرتب برای زنان بیشتر از مردان و برای افراد تیره پوست بیشتر از افراد فشرده پوست بود.

برای زنان تیره پوست – کسانی که نمرات IV، V، یا VI را در مقیاس فیتزپاتریک اختصاص دادند، میزان خطا ۲۰٫۸ درصد، ۳۴٫۵ درصد و ۳۴٫۷ درصد بود. اما به همراه دو سیستم، نرخ خطا برای زنان سیاه پوستی که در مجموعه داده قرار دارند – کسانی که نمره VI را به دست آورده اند – همچنان بدتر شده اند: ۴۶٫۵ درصد و ۴۶٫۸ درصد. اساسا، برای این زنان، سیستم ممکن هست به طور تصادفی حدس زده به همراهشد.

"برای شکست دادن یک تا سه در یک سیستم تجاری، بر روی چیزی که به یک کار دسته بندی به همراهینری کاهش یافته هست، به همراهید بپرسید که اگر این نرخهای شکست در یک زیرگروه متفاوت بود مجاز به همراهشد؟" Buolamwini می گوید . "درس بزرگ دیگر … این هست که معیارهای ما، هستانداردهای که ما آن را موفقیت را اندازه گیری می کنیم، می توانند خود را درک درستی از پیشرفت بدانند."

"روچیر پوری، معمار ارشد سیستم هوش مصنوعی واتسون آی بی ام، می گوید:" این ناحیه ای هست که مجموعه داده ها تأثیر زیادی بر آنچه که در مدل اتفاق می افتد، می گوید. ما اکنون یک مدل جدید داریم که ما آنرا به ارمغان آورده ایم که خیلی بیشتر به همراه توجه به صحت در معیار مورد نظر که شادی به دنبه همراهل آن بود، بسیار متعادل هست. این نیمی از میلیون تصویر به همراه انواع متعادل دارد و ما یک شبکه عصبی زیرزمینی داریم که بسیار قوی هست. "

"او می افزاید:" زمان برای انجام این کارها زمان زیادی هست. " "ما تقریبه همراه هشت تا نه ماه کار کرده ایم. این مدل به طور خاص پاسخ به مقاله او نیست، اما ما خودمان را برای پاسخگویی به سوالاتی که به طور مستقیم مطرح شده بود، از جمله معیارهای آن، در نظر گرفتیم. او بعضی از نکات بسیار مهم را مطرح کرد و ما به همراهید به این نکته نگاه کنیم که کار جدید ما چه کسانی هست. »

دانلود آهنگ مسعود صادقلو ما به هم میایم