ChatGPT 参加了MBA 考试。这是它的表现
沃顿商学院教授对OpenAI 的聊天机器人进行了测试。测试结果对未来的教育意味着什么?
宾夕法尼亚大学沃顿商学院的一位教授给ChatGPT 进行了MBA 项目期末考试,ChatGPT 获得了B 级成绩。
(相关资料图)
沃顿商学院运营管理教授Christian Terwiesch 表示ChatGPT “在基本运营管理和流程分析问题上做得很好”。
他在新的白皮书中写道:“答案不仅正确,而且解释也很好。”
但他补充说,聊天机器人“在相当于六年级数学水平的相对简单的计算中犯了令人惊讶的错误”,而且它还无法处理更高级的过程分析问题。另一方面,当前版本的ChatGPT可以根据人工提示修改答案,以得出正确的解决方案。
Terwiesch 写道:“鉴于这样的表现,Chat GPT3 将在考试中获得B 到B- 的成绩。”
Terwiesch 的几个问题旨在测试ChatGPT 在处理具有不同吞吐量能力的多台机器时是否会出现瓶颈。
然而,ChatGPT 在使用中级算术时“犯了一个巨大的错误”。
有趣的是,ChatGPT 最初错误地回答了一个有关队列分析的问题。教授向ChatGPT 提出了更好的答案,因此ChatGPT 改进了答案。第二天,教授在没有提示的情况下向它提出了相同的初始队列问题,而ChatGPT 在第一次尝试时就正确回答了。
这位教授指出:“要么是能够从过去的反馈中学习,要么就是我很幸运。” “其答案的质量似乎存在一些随机性,”他补充道。
Terwiesch 还发现ChatGPT 能够提出巧妙而幽默的问题,供他在未来的考试中使用。然而,该聊天机器人在某些问题上也存在缺陷,导致无法回答。
此外,著名科学期刊的编辑表示ChatGPT 缺乏深度和洞察力
Terwiesch 警告其他人注意ChatGPT 的功能和限制。他说,在阅读了ChatGPT 对第一个问题的回答后,他“爱上”了ChatGPT,但警告说ChatGPT “在一些相当简单的情况下犯了重大错误”。 '
这位教授写道:“对于复杂问题,我们距离A+ 还很远,我们仍然需要有人参与其中。”
“在我的教育观中,小学生仍然需要学习7 7=49,以及宾夕法尼亚州的首府是哈里斯堡,尽管计算器已经广泛使用了50 多年,学生可以使用Google 维基百科查找大数据。数字。大多数事实问题的答案。这是基础技能的本质,需要这些技能来理解更高级的主题。
Terwiesch 还认为,教育工作者应该担心K-12 学生可能会使用ChatGPT 在作业和考试中作弊。例如,纽约市教育部最近禁止了聊天工具,因为可靠的测试对教学很重要,而且技能认证不应因为新技术而受到损害。他指出,使用ChatGPT 的学生就像要求“学术能力一般”的朋友为他们完成测试。
但他也认为ChatGPT 和类似技术有能力充当“智能顾问”——给出优雅但经常错误的答案,他认为这是培养MBA 学生技能的“完美训练场”,他们需要批判性地评估备择方案。