Machine learning (ML) can in theory be used to personalize educational content by identifying online activities aligned with learners’ interests. Yet, are learners’ self-reported ratings of activities associated with a machine learning generated recommender score? In the current study we sought to address this question using learner’s ratings of activity units (i.e., “badges”) based on a conventional 7-item Likert scale administered immediately afterwards within an online app designed to teach computer programming skills. The sample included 78 learners (MeanAge = 13.2 years, SDAge = .84 years, %female = 37.2%) enrolled in schools and after-school programs in the United States. Even after controlling for other factors, such as the position of the recommendation on a list and the number of previous selections the learner had made, as well as certain learner demographics, there was a significant positive association between overall badge approval ratings provided by learners and the recommender score. These findings provide validity evidence in support of the ML- generated recommender score by suggesting badges that the learner is likely to approve of, even when considering other relevant factors that could affect their selection of badges, such as the position of the recommendation on the list and the number of selections made by the learner. Further work should seek to establish whether the likelihood of a learner selecting a highly ranked activity is associated with improvement in more domain general attitudes towards computer programming and whether this association is moderated or robust to certain demographic factors.
기계 학습(ML)은 이론적으로 학습자의 관심사에 맞는 온라인 활동을 식별하여 교육 콘텐츠를 개인화하는 데 사용될 수 있습니다. 그러나 기계 학습과 관련된 활동에 대한 학습자의 자체 보고 등급이 추천 점수를 생성합니까? 현재 연구에서 우리는 컴퓨터 프로그래밍 기술을 가르치도록 설계된 온라인 앱 내에서 즉시 관리되는 기존의 7개 항목 Likert 척도를 기반으로 한 활동 단위(즉, "배지")의 학습자 등급을 사용하여 이 문제를 해결하려고 했습니다. 표본에는 78명의 학습자(평균 연령 = 13.2세, SDAge = 0.84세, %여성 = 37.2%)가 미국의 학교와 방과후 프로그램에 등록했습니다. 특정 학습자 인구 통계뿐만 아니라 목록에서 권장 사항의 위치와 이전 선택 횟수 등 다른 요소를 통제한 후에도 학습자가 제공하는 전체 배지 지지율과 추천자 점수 사이에 유의미한 양의 연관성이 있었습니다. 이러한 결과는 목록에 있는 권장 사항의 위치 및 학습자의 선택 수와 같이 배지 선택에 영향을 미칠 수 있는 다른 관련 요소를 고려하더라도 학습자가 승인할 가능성이 있는 배지를 제안함으로써 ML 생성 추천 점수를 뒷받침하는 타당성 증거를 제공합니다. 추가 연구는 학습자가 높은 순위를 가진 활동을 선택할 가능성이 컴퓨터 프로그래밍에 대한 더 많은 영역의 일반적인 태도의 개선과 관련이 있는지, 그리고 이 연관성이 특정 인구통계학적 요인에 대해 완만하거나 강력한지 여부를 확립하는 것을 추구해야 합니다.
Memo
•
RQ1: Is the score produced by the recommendation algorithm (i.e., “recommender score”) associated with learners’ ratings of the badge?
•
RQ2: If so, is there an association, even when considering other factors including:
a. number of badges the learner had selected to complete, an estimate of their engagement with CPI
;
;b. position of recommended badge on a list;
c. information available on the learner about their preferences;
d. whether or not the learner identified as female or a member of an underrepresented minority (URM) racial/ethnic group in STEM (i.e., Black/African American, Hispanic/Latinx, Alaskan Native or American Indian).
•
Curated Pathways to Innovation (CPI)
(CPI)◦
Educational Intervention
◦
Online Web Application
◦
recommend activities based on learners’ interests and ratings of past activities through a machine learning algorithm
•
N=78
◦
multi-level confirmatory factor analysis → Badges’ internal consistency
◦
어떤 요소가 영향을 주는지 파악
