Studie: Handschriftliche Mathematik-Klausuren mit GPT-4 korrigieren lassen

Gert Kortemeyer & Team von der ETH Zürich haben eine Studie zur automatischen Bewertung von handschriftlichen Mathematik-Klausuren auf Universitätsniveau mithilfe eines vorab trainierten GPT-4-Modells veröffentlicht. Eine wirklich tolle Publikation, die mit 17 Seiten Umfang sehr kompakt ist und u.a. auf die Vorgehensweise etwa bezüglich der Technik “Optical Character Recognition (OCR)” eingeht. Die Handschrifterkennung mittels OCR und Bewertung im Anschluss dann mit GPT-4o

Zum Forschungspapier auf Arxiv

Kurz Zusammengefasst:

• Mathpix erledigt den Teil der Texterkennung (OCR) und konvertiert handschriftliche Klausuren in LaTeX, was den Vorteil hat, dass die Formeln und mathematischen Ausdrücke digital und präzise weiterverarbeitet werden können.
• GPT-4 nutzt diese in LaTeX umgewandelten Daten, um die Antworten zu bewerten, Korrekturen vorzunehmen und gegebenenfalls Feedback zu geben.

Effective and timely feedback in educational assessments is essential but labor-intensive, especially for complex tasks. Recent developments in automated feedback systems, ranging from deterministic response grading to the evaluation of semi-open and open-ended essays, have been facilitated by advances in machine learning. The emergence of pre-trained Large Language Models, such as GPT-4, offers promising new opportunities for efficiently processing diverse response types with minimal customization. This study evaluates the effectiveness of a pre-trained GPT-4 model in grading semi-open handwritten responses in a university-level mathematics exam. Our findings indicate that GPT-4 provides surprisingly reliable and cost-effective initial grading, subject to subsequent human verification. Future research should focus on refining grading rules and enhancing the extraction of handwritten responses to further leverage these technologies. Quelle. arxiv.org

Ein Beitrag verfasst von