刘华虓副教授指导的计算机科学与技术学院2022级博士生张梦玺同学的论文“Distinguishing GUI Component States for Blind Users using Large Language Models”被软件工程领域顶级期刊ACM Transactions on Software Engineering and Methodology（TOSEM）录用。论文的第一作者为2022级博士生张梦玺，第二作者和通讯作者为刘华虓副教授，第三作者为2022级硕士生杜昌昊，第四作者为2022级硕士生王腾美，其他作者为本科生李晗，德国慕尼黑工业大学陈春阳教授和美国斯坦福大学黄沛博士后。
当前，移动应用的图形用户界面（GUI）是用户交互的主要媒介。然而，许多组件（如可编辑文本框、按钮等）在不同状态下仅通过颜色变化进行区分，而未提供适合盲人用户的文本提示。这导致盲人用户难以察觉组件状态的变化，从而影响他们的后续操作。传统的基于规则的方法和属性设置往往难以适应不同风格的组件，并且无法有效处理受上下文影响的状态变化。近年来，预训练大语言模型（LLMs）在多个任务上展现出较强的泛化能力。因此，本文提出了一种名为 CasGPT（Component states distinguishing GPT）的工具，利用LLMs自动识别GUI组件的状态，并生成相应的文本提示，以帮助盲人用户理解界面变化并改进其应用使用体验。实验结果表明，CasGPT 方法具有较高的准确性（86.5%），同时其计算开销较小。此外，用户研究进一步验证了该方法的有效性，参与者对其表现出积极的反馈。与其他开源LLMs及不同版本的GPT进行对比实验后，结果显示CasGPT在组件状态识别任务上表现更优。
TOSEM是软件工程领域声誉最高的国际顶级期刊，为CCF-A类期刊。这也是我校为第一作者单位在期刊TOSEM上的首篇论文。
