Interactive machine teaching with unknown human learners

03/15/2024

Sistemas de ensino-máquina pressupõem um conhecimento completo do aluno e da sua forma de aprender, o que raramente acontece. Existe, portanto, um inevitável desajuste entre o modelo que estes sistemas assumem para os alunos e os alunos na realidade. Nesta tese propomos interatividade como forma de mitigar o impacto negativo deste desajuste, levando-nos à nossa pergunta de investigação principal: Como pode a interatividade ser usada em sistemas de ensino-máquina de forma a melhorar a aprendizagem? Para abordar esta questão assumimos que o sistema de ensino capta o aluno através de um modelo que é ajustado com base em perguntas feitas ao próprio. Tendo um modelo mais realista, o sistema consegue selecionar exemplos que melhor se adequam a cada aluno o que, por conseguinte, torna a aprendizagem mais eficiente. As nossas principais contribuições incluem a proposta e/ou avaliação de três abordagens de ensino interativas. As duas primeiras ensinam uma tarefa de inferência Bayesiana a alunos individuais e em grupo, respetivamente. Realizámos três estudos onde investigámos o impacto de um conhecimento imperfeito sobre os alunos em cenários do mundo real e como a interatividade pode ser vantajosa. Com turmas de alunos explorámos duas formas de abordar o grupo – como um todo ou dividindo-o em partições de acordo com o conhecimento prévio dos alunos. Por fim, propomos uma abordagem de ensino de tarefas de classificação (FIT) que utiliza a importância dada pelo aluno a cada um dos atributos usados para classificar. Com esses pesos conseguimos estimar o conhecimento prévio do aluno e selecionar adaptativamente os exemplos que minimizam o erro futuro esperado. Testámos esta abordagem em ambientes simulados e com humanos, e em dois domínios diferentes: 1) literacia alimentar e 2) análise de imagens de cancro da mama. Também simulámos grupos de alunos. Todos os resultados mostraram que as abordagens interativas foram capazes de ensinar mais rápido do que as alternativas consideradas. Machine teaching systems assume that the learner is perfectly known, which is seldom true. There is, thus, an unavoidable mismatch between how the machine teaching systems model the learners and the learners themselves. In this thesis we propose of use interactivity as the means to mitigate the negative impact of having imperfect knowledge about the learners. This leads us to our main research question: How can interactivity be used in machine teaching systems to improve the learning performance of students? To address this question, we assume the teacher captures the learner through a model that can be fine-tuned by asking questions to the learner. With a more realistic model of the learner, the system can select teaching samples that are better tailored for them and make learning more efficient. Our main contributions include the proposal and/or evaluation of three interactive teaching approaches. The first two teach a Bayesian inference task to single and multiple learners, respectively. We run three user studies where we investigate the impact of having imperfect knowledge about the learners in real-world scenarios and how interactivity can help overcoming it. In multiple learners settings we explored two ways to address the class – as a whole or dividing it into partitions accordingly to the learner’s priors. Finally, we proposed a Feature Importance based Teaching (FIT) approach that teaches classification tasks. It uses feedback on learner’s feature weights to estimate the learner’s prior knowledge (i.e., the samples previously seen by him) and then adaptively selects the samples that minimize the expected future error. We tested the proposed approach in simulated and real-world environments within two different domains: 1) food literacy and (2) breast cancer images analysis. We also simulated with multilearner settings. All the results confirmed that considering interactivity in the teaching process out performs the alternatives considered.

Authors in the community:

• 

  C

  Carla Andreia Nibau Guerra de Azevedo

  ist423951

Supervisors of this institution:

• 

  F

  Francisco António Chaves Saraiva de Melo

  ist40236

• 

  M

  Manuel Fernando Cabido Peres Lopes

  ist40208

101782675

Doutoramento em Engenharia Informática e de Computadores

electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering

Keywords

• Inteligência Artificial na Educação
• Ensino-Máquina
• Ensino Interactivo
• Inferência Bayesiana
• Classificação
• Artificial Intelligence for Education (AIEd)
• Machine Teaching
• Interactive Teaching
• Bayesian Inference
• Classification

eng - English

Instituto Superior Técnico

Financing entity

Fundação para a Ciência e a Tecnologia