Researchers in the social sciences have become increasingly more cognizant of many of the machine learning models now available for analytical purposes. Of particular note is the advent of generative models—such as generative adversarial networks and variational autoencoders—that allow for the representation, reconstruction, and creation of novel data closely resembling a source dataset. Alongside this development is the consideration of “black box” methods, such as neural networks that allow for highly accurate predictions without concomitantly interpretable outputs. This paper examines one such example of the use of such complex models and the potential benefits they have to offer to the social sciences. Through this example and a discussion of historical ethical issues in statistical practice, the issue of ethical practice is considered with a solution proposed in the form of interpretable model characteristics (e.g., bias) through Shapley values and Local Interpretable Model-Agnostic Explanations. Several recommendations are offered for maintaining an ethical practice of data analysis and machine learning in the social sciences.
사회과학 연구자들은 현재 분석 목적으로 사용할 수 있는 많은 기계 학습 모델에 대해 점점 더 많이 인식하게 되었습니다. 특히 소스 데이터 세트와 매우 유사한 새로운 데이터를 표현, 재구성 및 생성할 수 있는 생성적 적대 네트워크 및 변형 자동 인코더와 같은 생성 모델의 등장이 주목됩니다. 이러한 발전과 함께 동시에 해석 가능한 출력 없이 매우 정확한 예측을 가능하게 하는 신경망과 같은 "블랙박스" 방법에 대한 고려가 있습니다. 이 논문은 그러한 복잡한 모델의 사용과 그것들이 사회과학에 제공할 수 있는 잠재적인 이익의 한 예를 조사합니다. 이 예와 통계 실천에서의 역사적 윤리적 문제에 대한 논의를 통해, 윤리적 실천의 문제는 섀플리 값과 로컬 해석 가능한 모델 불가지론적 설명을 통해 해석 가능한 모델 특성(예: 편향)의 형태로 제안된 솔루션으로 고려됩니다. 사회과학에서 데이터 분석 및 기계 학습의 윤리적 관행을 유지하기 위해 몇 가지 권장 사항이 제공됩니다.
•
Social Science에서 Machine Learning 방법론 사용의 증가 → “black box”
•
이런 Complex Model을 사용하는 것의 Potential Benefits?
◦
Ethical Issue의 Solution -> Interpretable model characteristics (e.g., bias) 제시
▪
Shapley values
▪
Local Interpretable Model-Agnostic Explanations
•
Recommendations for maintaining an ethical practice of data analysis in the social sciences
•
“Real data are not ‘context-free.’” (Vardeman & Morris, 2003, p. 25)
•
블랙박스를 해결하기 위한 model-agnostic method를 제공하려는 트렌드 → model, 특히 generative model을 더 잘 이해할 수 있음 → model이 fair한지에 대해 더 효과적으로 답변할 수 있음
•
실무자들을 위해 2가지 model-agnostic method for interpretation을 소개
◦
Local Interpretable Model-Agnostic Explanations (LIME)
▪
LIME은 ML classifier(딥러닝 등)의 prediction을 분석 및 해석하는 model-agnostic method
▪
Training
▪
실무자가 신경써야 하는 것: Model complexity, Proximity measure
▪
사용 예시
◦
KernelSHAP
▪
Lundberg, S. M. and Lee, S., (2017). A unified approach to interpreting model predictions. In Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS'17). Curran Associates Inc., Red Hook, NY, USA, 4768–4777.
▪
Neural Network, Emsemble-based model등의 prediction에 대한 분석기인 SHAP package의 일부
▪
LIME에 Shapley value(unique contributions of given variables로 역할)를 통합시킨 결과
▪
사용 예시(Bass value 대비 Predicted Value 비교)
•
Recommendations for Practice
◦
Consider the purpose
◦
Results should be interpretable
◦
Be transparent
◦
Moving from a space of metrics to interpretability