Журнал «Медицина неотложных состояний» Том 19, №5, 2023

Актуальність. Оцінювання на робочому місці є новою технологією оцінювання лікарів-інтернів, яка, імовірно, є більш ефективною, ніж традиційні методи оцінювання під час тестування або екзамену. Метою дослідження було вивчити ефективність технологій оцінювання на робочому місці (WPBA) лікарів-інтернів фінального року навчання: багатофакторної (360°) оцінки, прямої оцінки процедури (A-CEX) та оцінки на основі клінічного випадку — та виявити проблемні компетенції, яких випускники-інтерни набувають найменш успішно. Матеріали та методи. У період з 1 квітня по 15 червня 2023 року 36 лікарів-інтернів пройшли оцінювання на робочому місці: форму 360°-оцінки лікаря-інтерна заповнювали три представники колективу, де працював інтерн під час очної частини інтернатури (1 лікар-анестезіолог, 1 медсестра та 1 суміжний спеціаліст); форму прямої оцінки процедури заповнював викладач на очних базах безпосередньо під час виконання інтерном процедури загальної анестезії у пацієнтів низького ризику (ASA I або ІІ), передопераційного огляду пацієнтів низького ризику (ASA I або ІІ) та нейроаксіальної анестезії у пацієнтів низького ризику (ASA I або ІІ) з наступним зворотним зв’язком; оцінювання на основі клінічного випадку проводилось викладачами під час конференції інтернів, коли кожен з них подавав клінічний випадок проведеного анестезіологічного менеджменту або лікування критично хворого. Результати. За результатами багатофакторного (360°) оцінювання лікарів-інтернів більшість з них отримали 7 та більше балів з 10 можливих. Проблемними компетенціями під час багатофакторного (360°) оцінювання лікарів-інтернів були комунікація з медичною командою (OR 1,9 [1,05–3,5], p = 0,048) та менеджмент в критичній ситуації (OR 2 [1,14–3,83], p = 0,024). Проблемними компетенціями під час проведення загальної анестезії виявились: 1) менеджмент у критичній ситуації — знання/розпізнання ризиків та як їх уникнути і лікувати (OR 5,29 [1,9–14,4], p = 0,001 порівняно з документацією); 2) вирішення проблем, прийняття рішень (OR 12,6 [1,5–10,4], p = 0,007 порівняно з документацією); 3) взаємодія в команді (OR 2,7 [1,1–6,5], p = 0,049). При оцінюванні компетенцій з нейроаксіальної анестезії та передопераційного огляду проблемних компетенцій виявлено не було. Висновки. Технології оцінювання на робочому місці (WPBA): багатофакторна (360°) оцінка, пряма оцінка процедури (A-CEX) та оцінка на основі клінічного випадку — є ефективними у лікарів-інтернів фінального року навчання, поліпшують їх навички комунікації, готовність працювати самостійно, допомагають виявити недоліки вмінь. Проблемними компетенціями під час багатофакторного (360°) оцінювання лікарів-інтернів були комунікація з медичною командою та менеджмент у критичній ситуації. Проблемними компетенціями під час прямого оцінювання проведення загальної анестезії виявились: менеджмент у критичній ситуації; вирішення проблем, прийняття рішень; взаємодія в команді. При оцінюванні компетенцій з нейроаксіальної анестезії та передопераційного огляду проблемних компетенцій виявлено не було.

Background. Workplace-based assessment (WPBA) is a new technology for evaluating medical residents that is believed to be more effective than traditional multiple-choice tests or exam-based assessment methods. The aim of the study was to investigate the WPBA efficacy in final-year medical residents: multi-source feedback (360°) assessment, direct procedure assessment (Anaesthesia-Clinical Evaluation Exercise (A-CEX)) and clinical case-based assessment, and to identify difficult competencies, which graduate residents acquire the least successfully. Materials and methods. From April 1 to June 15, 2023, 36 residents were evaluated at the workplace: the multi-source feedback 360°-evaluation form was filled out by three representatives of the medical team where the resident worked during the on-site part of the residency (1 anesthesiologist, 1 nurse and 1 other specialist); the form of direct procedure assessment was filled out by the teacher on face-to-face bases directly during the resident’s performance of the general anesthesia in low-risk patients (American Society of Anesthesiologists (ASA) I or II), preoperative examination of low-risk patients (ASA I or II) and neuraxial anesthesia in low-risk patients (ASA I or II) with the following feedback; assessment based on a clinical case was carried out by teachers during the conference of residents, where each of them presented a clinical case of anesthetic management or treatment of a critically ill patient. Results. According to the results of the multi-source feedback (360°) evaluation, most of the residents have received 7 or more points out of 10 possible. Communication with the medical team (odds ratio (OR) 1.9 [1.05–3.5], p = 0.048) and management in a critical situation (OR 2 [1.14–3.83], p = 0.024) were most difficult competencies during the multi-source feedback (360°) assessment. During direct procedure of general anesthesia, the most difficult competencies were: 1) management in a critical situation — knowledge/recognition of risks and how to avoid and treat them (OR 5.29 [1.9–14.4], p = 0.001 compared to documentation); 2) solving problems, making decisions (OR 12.6 [1.5–10,4], p = 0.007 compared to documentation); 3) interaction in the team (OR 2.7 [1.1–6.5], p = 0.049). No problematic competencies were identified during the assessment of neuraxial anesthesia competencies and preoperative examination. Conclusions. WPBA techniques such as multi-source feedback (360°) assessment, direct procedure evaluation (A-CEX) and clinical case-based assessment are effective in final year residents, improving their communication skills, readiness to work independently, help identify skill deficiencies. Communication with the medical team and management in a critical situation were difficult competencies during the multi-source feedback (360°) evaluation. Difficult competences during the direct evaluation of general anesthesia turned out to be the management in a critical situation; solving problems, making decisions; interaction in the team. No problematic competencies were identified during the assessment of neuraxial anesthesia competencies and preoperative examination.

анестезіологія; інтернатура; освіта, заснована на компетенціях; оцінювання на робочому місці

anesthesiology; residency; competency-based education; workplace-based assessment

1. Advanced life support (Course manual). ERC guidlines 2015. Р. 13-25. DOI: 10.1016/j.resuscitation.2015.07.038.
2. Bamber H. Evaluation of the Workplace-Based Assessment Anaesthesia-Clinical Evaluation Exercise (A-CEX) and Its Role in the Royal College of Anaesthetists 2021 Curriculum. Cureus. 2023 Apr 10. 15 (4). e37402. doi: 10.7759/cureus.37402. PMID: 37181999; PMCID: PMC10171902. 
3. Catchpole K. Towards a Working Definition of Human Factors in Healthcare (Last accessed: July 7 2023). DOI: 10.1136/bmjqs-2013-002036. 
4. Chuan A., Graham P.L., Wong D.M., Barrington M.J., Au-yong D.B., Cameron A.J.D., et al. Design and validation of the Regional Anaesthesia Procedural Skills Assessment Tool. Anaesthesia. 2015. 70. 1401-1411. https://doi.org/10.1111/anae.13266. 
5. Dunn E.J., Mills P.D., Neily J., Crittenden M.D., Carmack A.L., Bagian J.P. Medical Training: Applying Crew Resource Management in Veterans Health Administration. The Joint Commission Journal on Quality and Patient Safety. 2007. 33. 6. 317-325. doi: 10.1016/s1553-7250 (07)33036-5.
6. Fletcher G., Flin R., McGeorge P., Glavin R., Maran N., Pa-tey R. Anaesthetists’ Non-Technical Skills (ANTS): evaluation of a behavioural marker system. Br. J. Anaesth. 2003 May. 90 (5). 580-8. doi: 10.1093/bja/aeg112. PMID: 12697584. 
7. Flin R., O’Conner P., Crichton M. Safety at the Sharp End: A guide to non-technical skills. Aldershot: Ashgate Publishing, 2008. doi: 10.1590/1518-8345.0000.2791.
8. Glavin R.J., Maran N.J. Integrating human factors into the medical curriculum. Medical Education. 2003. 37 (suppl. 1). 59-64. DOI: 10.1046/j.1365-2923.37.s1.5.x.
9. Gormley G. Summative OSCEs in undergraduate medical education. Ulster Med. J. 2011 Sep. 80 (3). 127-32. PMID: 23526843; PMCID: PMC3605523. DOI: 10.15694/mep.2021.000106.1. 
10. https://education.uwmedicine.org/curriculum/exams/osce/ (Last accessed at 23/07/2023). 
11. Jaramillo-Rincon S.X., Durante E., Ladenheim R., Díaz-Cortés J.C. Anesthesia assessment in the era of competences: state of the art. Case report. Colombian Journal of Anesthesiology. 2020. 48. 145-154. https://doi.org/10.1097/cj9.0000000000000158. 
12. Liang Z., Howard P., Leggat S. 360° management competency assessment: Is our understanding adequate? Asia Pacific Journal of Human Resources. 2016. 55. n/a-n/a. 10.1111/1744-7941.12108. DOI: 10.1111/1744-7941.12108.
13. Lörwald A.C., Lahner F.M., Nouns Z.M., Berendonk C., Norcini J., Greif R., Huwendiek S. The educational impact of Mini-Clinical Evaluation Exercise (Mini-CEX) and Direct Observation of Procedural Skills (DOPS) and its association with implementation: A systematic review and meta-analysis. PLoS One. 2018 Jun 4. 13 (6). e0198009. doi: 10.1371/journal.pone.0198009. PMID: 29864130; PMCID: PMC5986126.
14. Radhakrishnan B., Katikar M.D., Myatra S.N., Gautam P.L., Vinayagam S., Saroa R. Importance of non-technical skills in anaesthesia education. Indian J. Anaesth. 2022 Jan. 66 (1). 64-69. doi: 10.4103/ija.ija_1097_21. Epub 2022 Feb 3. PMID: 35309030; PMCID: PMC8929322. 
15. Tezlaff J.E. Evaluation of Anesthesia Residents. En Frost EAM. Comprehensive Guide to Education in Anesthesia. 2014. Springer, New York, 129-145. DOI: 10.1007/978-1-4614-8954-2.
16. Miller G.E. The assessment of clinical skills/competence/performance. Acad. Med. 1990. 65. 0-7. DOI: 10.1097/00001888-199009000-00045. 
17. Mortaz Hejri S., Jalili M., Masoomi R., Shirazi M., Nedjat S., Norcini J. The utility of mini-Clinical Evaluation Exercise in undergraduate and postgraduate medical education: a BEME review: BEME Guide No. 59. Med Teach. 2020. 42. 125-142. DOI: 10.1080/0142159X.2019.1652732.
18. Weller J.M., Coomber T., Chen Y., Castanelli D. Desire paths for workplace assessment in postgraduate anaesthesia training: analysing informal processes to inform assessment redesign. Br. J. Anaesth. 2022 Jun. 128 (6). 997-1005. doi: 10.1016/j.bja.2022.03.013. Epub 2022 Apr 11. PMID: 35422311. 
19. Youngson G.G. Teaching and assessing non-technical skills. Surgeon. 2011. 9. S35-37. DOI: 10.1016/j.surge.2010.11.004.
20. Наказ МОЗ України від 28.06.2022 № 1114 «Про затвердження примірних програм підготовки в інтернатурі за спеціальностями «Анестезіологія та інтенсивна терапія»; «Загальна практика — сімейна медицина»; «Дерматовенерологія»; «Радіологія»; «Отоларингологія»; «Патологічна анатомія»; «Фізична та реабілітаційна медицина». https://moz.gov.ua/uploads/7/37685-dn_1114_28_06_2022_dod_1.pdf. 
21. Програма інтернатури з анестезіології та інтенсивної терапії 2017. Last access at 24.07.2023. http://kafanest.kiev.ua/Downloads/Navchalnyi %20plan %20ta %20programa.pdf. 
22. 2021 Curriculum for a CCT in Anaesthetics [Mar; 2009]. (Last accessed at 24/07/2023).