Interactive hybrid intelligence systems for Human-AI/Robot collaboration: improving the practices of physical stroke rehabilitation

July 21, 2021

Os rápidos avanços na aprendizagem automática (AA) tornaram-na aplicável às práticas de saúde. No entanto, a implantação de modelos de AA continua sendo um desafio devido à falta de abordagens centradas no utilizador e da falta de interpretabilidade e adaptabilidade dos modelos correntes. Esta tese apresenta uma abordagem híbrida interativa que combina um modelo de AA com um modelo baseado em regras de especialistas , não só para oferecer suporte a interações transparentes com um utilizados, mas também para poder ser sintonizado iterativamente pelos utilizadores (por exemplo, com feedback do terapeuta ou com os movimentos particulares de cada paciente) para melhorar os sistemas de inteligência artificial (IA) e robóticos. Por meio de desenvolvimentos iterativos com terapeutas e pacientes pós-acidente vascular-cerebral (AVC), exploramos como humanos, , sistemas de IA e sistemas robóticos podem colaborar para melhorar as práticas de terapia de reabilitação física de AVC: 1) pela tomada de decisão colaborativa humano-IA na avaliação de reabilitação para terapeutas e (2) pela terapia de reabilitação colaborativa humano-robô para sobreviventes pós-AVC. Para a tomada de decisão colaborativa humana-inteligência artificial (IA), mostramos que o nosso sistema interativo com análise transparente e específica do paciente reduz significativamente os esforços dos terapeutas e melhora os seus de concordância na avaliação da reabilitação. Além disso, os terapeutas podem fornecer feedback sobre o sistema para uma melhor personalização e eficiência no desenvolvimento do modelo. Para a terapia de reabilitação colaborativa entre humanos e robôs, mostramos como o nosso sistema pode ser ajustado com dados de sobreviventes pós-acidente vascular-cerebral (AVC) para gerar feedback corretivo personalizado. Tanto os terapeutas quanto os sobreviventes pós-AVC apreciaram os benefícios potenciais de nosso sistema para alcançar mais sistemática e melhorias de autoeficácia e motivação na reabilitação. No geral, esta tese discute o valor do desenvolvimento iterativo com as partes interessadas e como tornar um sistema explicável e interativo para criar uma colaboração humana-IA / robô efetiva numa tarefa complexa. Rapid advances in machine learning (ML) have made it applicable to healthcare practices. However, the deployment of these ML models remains a challenge due to the lack of user-centered designs and model interpretability and adaptability. This thesis introduces an interactive hybrid approach that combines an ML model with a rule-based model from experts to support transparent interactions with a user, but also iteratively be tuned with user inputs (e.g. therapist’s feedback or patient’s motions) to improve AI and robotic systems. Through iterative engagements with therapists and post-stroke patients, we explore how humans and artificial intelligence (AI) and robotic systems can collaborate to improve practices of physical stroke rehabilitation therapy: 1) human-AI collaborative decision-making on rehabilitation assessment for therapists and (2) human-robot collaborative rehabilitation therapy for post-stroke survivors. For human-AI collaborative decision-making, we found that our interactive system with transparent, patient-specific analysis significantly reduces therapists’ efforts and improves their agreement level on rehabilitation assessment. In addition, therapists can provide feedback on our system for a more personalized prediction and a more efficient development of ML models. For human-robot collaborative rehabilitation therapy, we found that our system can be tuned with post-stroke survivor’s data to generate personalized corrective feedback. Both therapists and post-stroke survivors appreciated the potential benefits of our system to achieve more systematic management and improve self-efficacy and motivation of post-stroke survivors on rehabilitation. Overall, this thesis discusses the value of iterative engagement with stakeholders and making a system explainable and interactive to create effective human-AI/robot collaboration on a complex task.

Authors in the community:

• 

  M

  Min Hun Lee

  ist426471

Supervisors of this institution:

• 

  A

  Alexandre José Malheiro Bernardino

  ist13761

101689233

Dotoramento em Engenharia Electrotécnica e de Computadores

electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering

Keywords

• Interação homem–IA/robô
• inteligência híbrida
• aprendizagem automática explicável e interativa
• sistemas de suporte a decisões inteligentes
• robótica socialmente assistida
• Human AI/Robot Interaction
• Hybrid Intelligence
• Explainable and Interactive Machine Learning
• Intelligent Decision Support Systems
• Socially Assistive Robotics

eng - English

Instituto Superior Técnico