做调研：用ChatGPT做调研

做调研：用ChatGPT做调研 做调研：用ChatGPT做调研 • “你在网上分享个人信息时有过负面的经历吗？如果是这样，发生了什么？” 这些后续问题可以帮助您确定在共享个人信息时可能影响参与者对在线应用程序的信任的具体问题或因素，并可以帮助您设计一个解决这些问题的应用程序，同时与您的目标群体建立信任。 最初的问题再次相当直截了当，并省略了可能影响用户在此类情况下的感受的一些因素。后续问题也产生了，并设法根据生成来指定我们从提示中获得的结果，令人满意。尽管第一个提示需要一些时间才能完善，但它最终还是是一个值得纳入调查的问题。 我们可能看到的最大问题是，ChatGPT的提示必须是文本。它不能为您提供特定于设计或屏幕截图的问题，因为它无法深入分析它。您可以尝试生成一个长提示，描述图像或屏幕截图上的内容，但您最好想出问题本身。 同样类似于其他问题的生成，提示符只能以一种有用的方式略微描述特定应用程序的复杂细节，而不会显著延长提示的长度。提出这样的提示很可能比创建问题本身需要更多的工作。 完整的问卷生成 我们想让问题生成过程更进一步，并了解更多关于使用ChatGPT可以自动化这个过程的程度。 大多数用户体验研究人员使用复杂的测试平台进行未经审核的研究。将学习前和学习后问卷作为这些研究的选择是一个很好的做法。考虑到这一点，我们给了ChatGPT以下任务： 我有一个可用性研究，在那里我测试了一个预订网站的原型。我需要5道学习前问题和3道学习后问题，这将有助于我从参与者那里收集更多信息。这项研究未经审核。 我们得到的初步回应是： 学前问题： • 你以前用过类似的预订网站吗？如果是这样，哪些？ • 您有兴趣通过本网站进行哪种预订（例如，旅行住宿、活动门票、租赁服务等）？ • 您多久在线预订一次这些类型的服务？ • 使用预订网站时，哪些因素对您最重要（例如，易用性、速度、定价、可用性、客户服务等）？ • 使用预订网站时，您是否特别寻找任何功能或功能？ 学习后问题： • 总体而言，在这个网站上完成预订有多容易或有多难？ • 在预订过程中，是否有任何您感到困惑或沮丧的特定步骤或任务？如果是这样，请描述一下。 • 你将来可能会再次使用这个预订网站吗？为什么或者为什么不呢？ 即使乍一看，人们也可以看到这些问题存在一些缺陷。例如，问题“您以前使用过任何类似的预订网站吗？如果是这样，哪些？”包含在研究前问卷中，该问卷在研究主体之前提交给参与者，其中包括原型本身。因此，他们将无法回答这个问题，因为他们还不知道测试的网站/原型是什么样子的。 我们向ChatGPT提到了一些像这样的要点，以及一些更正和进一步的说明。 我们收到并满意的最终结果是： 学前问题： • 你过去使用过哪些预订网站？ • 您通常在线预订哪些类型的服务？ • 您多久在线预订一次这些类型的服务？ • 使用预订网站时，哪些因素对您最重要（例如，易用性、速度、定价、可用性、客户服务等）？ • 使用预订网站时，您是否特别寻找任何功能或功能？ 学习后问题： • 您有兴趣通过本网站进行什么样的预订？ • 旅行住宿（例如酒店、度假租赁等） • 活动门票（例如音乐会、体育比赛、戏剧表演等） • 租赁服务（例如，汽车租赁、设备租赁等） • 餐厅预订 • 旅游景点（例如，博物馆门票、主题公园门票等） • 交通（例如航班、火车、公共汽车等） • 其他（允许参与者在自己的回复中写作） • 总体而言，在这个网站上完成预订有多容易或有多难？ • 非常容易 • 有点容易 • 中性 • 有点困难 • 非常困难 • 在预订过程中，是否有任何您感到困惑或沮丧的特定步骤或任务？如果是这样，请描述一下。 • 你将来可能会再次使用这个预订网站吗？为什么或者为什么不呢？ 使用这些例子，我们认为ChatGPT应该不会在为简单研究生成额外问题时遇到问题。然而，它产生的所有问题都相当笼统。如果您正在寻找有关功能或设计决策的更具体问题，这些问题对您的应用程序来说或多或少是独一无二的，ChatGPT很可能无法帮助您，除非您花时间彻底描述应用程序的上下文。问题仍然是它是否值得你花时间。 我们还尝试根据简单的描述生成整个调查： “生成一个关于正在运行的应用程序的客户满意度的简短调查” 我们得到的第一个版本再次非常通用： • 在1到5的范围内，您对应用程序的整体性能的满意程度如何？ • 浏览应用程序有多容易？ • 你多久使用一次这个应用程序？ • 在1到5的范围内，应用程序对您的操作的反应速度有多快？ • 您在使用该应用程序时遇到过多长时间的技术困难？ • 如果您遇到技术困难，它们是否及时有效地解决了？ • 在1到5的范围内，应用程序在视觉上的吸引力如何？ • 你向其他人推荐该应用程序的可能性有多大？ • 您多久收到一次应用程序的更新？ • 在1到5的范围内，您对应用程序的客户支持有多满意？ 没有一个问题是特定于正在运行的应用程序，所有问题都可以与任何应用程序一起使用。我们要求ChatGPT调整提供的问题，以便它们更适合正在运行的应用程序的上下文。 它提供的调整后问题是： • 在1到5的范围内，您对跑步应用程序的距离和速度测量的准确性有多满意？ • 在应用程序上启动和停止运行有多容易？ • 你多久使用一次正在运行的应用程序？ • 在1到5的范围内，应用程序在运行期间对您的操作的响应速度有多快？ • 在使用正在运行的应用程序时，您多久遇到一次技术困难？ • 如果您在跑步过程中遇到技术困难，它们是否及时有效地解决了？ • 在1到5的范围内，正在运行的应用程序在视觉上对你有多大吸引力？ • 您向其他跑步者推荐跑步应用程序的可能性有多大？ • 您多久收到一次正在运行的应用程序的更新？ • 在1到5的范围内，您对运行应用程序中GPS跟踪的准确性的满意程度如何？ 正如我们对其中一些问题所能做的那样，它只是在文本中添加了“运行”。 通用版本： 在1到5的范围内，应用程序在视觉上的吸引力如何？ 运行应用程序版本： 在1到5的范围内，正在运行的应用程序在视觉上对你有多大吸引力？ 然而，它也设法产生了一些特定的运行问题，例如： 在1到5的范围内，您对跑步应用程序的距离和速度测量的准确性有多满意？ 因此，简而言之，是的，ChatGPT可以帮助您生成整个调查，但您再次需要将其指向正确的方向，并通过额外的提示耐心进行调整。 调整问题 我们还尝试过交换角色。我们创建了一个问题，并询问了ChatGPT这是否是一个好问题，以及它将如何改进这个问题。我们给它的任务是： 我有这样一个问题：“你认为创建一份好调查最难的部分是什么？”我想把它包括在我的调查中。这是个好问题吗？你会如何改进它？ ChatGPT相当懒地建议我们可以简单地为这个问题添加选项，并提供以下选项： • 制定清晰简洁的问题 • 避免有偏见或引导性的问题 • 选择正确的问题类型（例如，多项选择、开放式、Likert比例） • 确定适当的调查长度 • 确保调查与目标受众相关 • 设计一个具有视觉吸引力和用户友好的调查 我们还尝试了其他几个问题，结果也相似。在我们尝试这个之后，变化才出现： 我有这样一个问题：“你认为带有建议的自动UI评估会有帮助吗？”我想把它包括在我的调查中。这是个好问题吗？ 你会如何改进它？ 我们从ChatGPT得到的完整答案是： 是的，这是一个可以包含在你的调查中的好问题。它可以帮助您了解人们是否会发现带有建议的自动UI评估有帮助，这可以为未来产品或服务的开发提供信息。 为了改进这个问题，您可以考虑提供一些额外的上下文和解释，以确保受访者理解您所说的“带有建议的自动UI评估”是什么意思。例如，您可以添加一个关于什么是自动UI评估及其工作原理的简要描述，以及使用它的一些潜在好处。这可以帮助受访者在回答问题时做出更明智的决定。 此外，您可以询问后续问题，以收集更具体的反馈，了解为什么受访者会或不会发现带有建议的自动UI评估有帮助。例如，您可以询问他们希望收到哪些具体类型的建议，他们希望如何提出建议，以及他们将如何在工作中使用这些建议。这将让您更细致地了解受访者在自动UI评估和建议时的偏好和需求，这可以帮助您开发更有效的产品或服务。 我们要求它根据它给我们的建议修改问题，结果是： “自动UI评估是一个人工智能系统评估用户界面的可用性并提供改进建议的过程。您认为带有建议的自动用户界面评估对您与用户界面相关的工作有帮助吗？如果是，您希望收到哪些具体类型的建议，以及您希望如何呈现？如果没有，请解释为什么自动用户界面评估对您没有帮助。” 根据我们的经验，您可以使用ChatGPT作为您问题质量的顾问；但是，它可能不会为您提供任何突破性的东西。幸运的是，它可以为你指明正确的方向。 结束语 我们在上述场景中对ChatGPT的实验使我们相信，在创建调查的过程中，它确实非常有帮助。 复杂的测试平台 • “你在网上分享个人信息时有过负面的经历吗？如果是这样，发生了什么？” 这些后续问题可以帮助您确定在共享个人信息时可能影响参与者对在线应用程序的信任的具体问题或因素，并可以帮助您设计一个解决这些问题的应用程序，同时与您的目标群体建立信任。 最初的问题再次相当直截了当，并省略了可能影响用户在此类情况下的感受的一些因素。后续问题也产生了，并设法根据生成来指定我们从提示中获得的结果，令人满意。尽管第一个提示需要一些时间才能完善，但它最终还是是一个值得纳入调查的问题。 我们可能看到的最大问题是，ChatGPT的提示必须是文本。它不能为您提供特定于设计或屏幕截图的问题，因为它无法深入分析它。您可以尝试生成一个长提示，描述图像或屏幕截图上的内容，但您最好想出问题本身。 同样类似于其他问题的生成，提示符只能以一种有用的方式略微描述特定应用程序的复杂细节，而不会显著延长提示的长度。提出这样的提示很可能比创建问题本身需要更多的工作。 完整的问卷生成 我们想让问题生成过程更进一步，并了解更多关于使用ChatGPT可以自动化这个过程的程度。 大多数用户体验研究人员使用复杂的测试平台进行未经审核的研究。将学习前和学习后问卷作为这些研究的选择是一个很好的做法。考虑到这一点，我们给了ChatGPT以下任务： 复杂的测试平台 我有一个可用性研究，在那里我测试了一个预订网站的原型。我需要5道学习前问题和3道学习后问题，这将有助于我从参与者那里收集更多信息。这项研究未经审核。 我们得到的初步回应是： 学前问题： • 你以前用过类似的预订网站吗？如果是这样，哪些？ • 您有兴趣通过本网站进行哪种预订（例如，旅行住宿、活动门票、租赁服务等）？ • 您多久在线预订一次这些类型的服务？ • 使用预订网站时，哪些因素对您最重要（例如，易用性、速度、定价、可用性、客户服务等）？ • 使用预订网站时，您是否特别寻找任何功能或功能？ 学习后问题： • 总体而言，在这个网站上完成预订有多容易或有多难？ • 在预订过程中，是否有任何您感到困惑或沮丧的特定步骤或任务？如果是这样，请描述一下。 • 你将来可能会再次使用这个预订网站吗？为什么或者为什么不呢？ 即使乍一看，人们也可以看到这些问题存在一些缺陷。例如，问题“您以前使用过任何类似的预订网站吗？如果是这样，哪些？”包含在研究前问卷中，该问卷在研究主体之前提交给参与者，其中包括原型本身。因此，他们将无法回答这个问题，因为他们还不知道测试的网站/原型是什么样子的。 我们向ChatGPT提到了一些像这样的要点，以及一些更正和进一步的说明。 我们收到并满意的最终结果是： 学前问题： • 你过去使用过哪些预订网站？ • 您通常在线预订哪些类型的服务？ • 您多久在线预订一次这些类型的服务？ • 使用预订网站时，哪些因素对您最重要（例如，易用性、速度、定价、可用性、客户服务等）？ • 使用预订网站时，您是否特别寻找任何功能或功能？ 学习后问题： • 您有兴趣通过本网站进行什么样的预订？ • 旅行住宿（例如酒店、度假租赁等） • 活动门票（例如音乐会、体育比赛、戏剧表演等） • 租赁服务（例如，汽车租赁、设备租赁等） • 餐厅预订 • 旅游景点（例如，博物馆门票、主题公园门票等） • 交通（例如航班、火车、公共汽车等） • 其他（允许参与者在自己的回复中写作） • 总体而言，在这个网站上完成预订有多容易或有多难？ • 非常容易 • 有点容易 • 中性 • 有点困难 • 非常困难 • 在预订过程中，是否有任何您感到困惑或沮丧的特定步骤或任务？如果是这样，请描述一下。 • 你将来可能会再次使用这个预订网站吗？为什么或者为什么不呢？ 使用这些例子，我们认为ChatGPT应该不会在为简单研究生成额外问题时遇到问题。然而，它产生的所有问题都相当笼统。如果您正在寻找有关功能或设计决策的更具体问题，这些问题对您的应用程序来说或多或少是独一无二的，ChatGPT很可能无法帮助您，除非您花时间彻底描述应用程序的上下文。问题仍然是它是否值得你花时间。 我们还尝试根据简单的描述生成整个调查： “生成一个关于正在运行的应用程序的客户满意度的简短调查” 我们得到的第一个版本再次非常通用： • 在1到5的范围内，您对应用程序的整体性能的满意程度如何？ • 浏览应用程序有多容易？ • 你多久使用一次这个应用程序？ • 在1到5的范围内，应用程序对您的操作的反应速度有多快？ • 您在使用该应用程序时遇到过多长时间的技术困难？ • 如果您遇到技术困难，它们是否及时有效地解决了？ • 在1到5的范围内，应用程序在视觉上的吸引力如何？ • 你向其他人推荐该应用程序的可能性有多大？ • 您多久收到一次应用程序的更新？ • 在1到5的范围内，您对应用程序的客户支持有多满意？ 没有一个问题是特定于正在运行的应用程序，所有问题都可以与任何应用程序一起使用。我们要求ChatGPT调整提供的问题，以便它们更适合正在运行的应用程序的上下文。 它提供的调整后问题是： • 在1到5的范围内，您对跑步应用程序的距离和速度测量的准确性有多满意？ • 在应用程序上启动和停止运行有多容易？ • 你多久使用一次正在运行的应用程序？ • 在1到5的范围内，应用程序在运行期间对您的操作的响应速度有多快？ • 在使用正在运行的应用程序时，您多久遇到一次技术困难？ • 如果您在跑步过程中遇到技术困难，它们是否及时有效地解决了？ • 在1到5的范围内，正在运行的应用程序在视觉上对你有多大吸引力？ • 您向其他跑步者推荐跑步应用程序的可能性有多大？ • 您多久收到一次正在运行的应用程序的更新？ • 在1到5的范围内，您对运行应用程序中GPS跟踪的准确性的满意程度如何？ 正如我们对其中一些问题所能做的那样，它只是在文本中添加了“运行”。 通用版本： 在1到5的范围内，应用程序在视觉上的吸引力如何？ 运行应用程序版本： 在1到5的范围内，正在运行的应用程序在视觉上对你有多大吸引力？ 然而，它也设法产生了一些特定的运行问题，例如： 在1到5的范围内，您对跑步应用程序的距离和速度测量的准确性有多满意？ 因此，简而言之，是的，ChatGPT可以帮助您生成整个调查，但您再次需要将其指向正确的方向，并通过额外的提示耐心进行调整。 调整问题 我们还尝试过交换角色。我们创建了一个问题，并询问了ChatGPT这是否是一个好问题，以及它将如何改进这个问题。我们给它的任务是： 我有这样一个问题：“你认为创建一份好调查最难的部分是什么？”我想把它包括在我的调查中。这是个好问题吗？你会如何改进它？ ChatGPT相当懒地建议我们可以简单地为这个问题添加选项，并提供以下选项： • 制定清晰简洁的问题 • 避免有偏见或引导性的问题 • 选择正确的问题类型（例如，多项选择、开放式、Likert比例） • 确定适当的调查长度 • 确保调查与目标受众相关 • 设计一个具有视觉吸引力和用户友好的调查 我们还尝试了其他几个问题，结果也相似。在我们尝试这个之后，变化才出现： 我有这样一个问题：“你认为带有建议的自动UI评估会有帮助吗？”我想把它包括在我的调查中。这是个好问题吗？ 你会如何改进它？ 我们从ChatGPT得到的完整答案是： 是的，这是一个可以包含在你的调查中的好问题。它可以帮助您了解人们是否会发现带有建议的自动UI评估有帮助，这可以为未来产品或服务的开发提供信息。 为了改进这个问题，您可以考虑提供一些额外的上下文和解释，以确保受访者理解您所说的“带有建议的自动UI评估”是什么意思。例如，您可以添加一个关于什么是自动UI评估及其工作原理的简要描述，以及使用它的一些潜在好处。这可以帮助受访者在回答问题时做出更明智的决定。 此外，您可以询问后续问题，以收集更具体的反馈，了解为什么受访者会或不会发现带有建议的自动UI评估有帮助。例如，您可以询问他们希望收到哪些具体类型的建议，他们希望如何提出建议，以及他们将如何在工作中使用这些建议。这将让您更细致地了解受访者在自动UI评估和建议时的偏好和需求，这可以帮助您开发更有效的产品或服务。 我们要求它根据它给我们的建议修改问题，结果是： “自动UI评估是一个人工智能系统评估用户界面的可用性并提供改进建议的过程。您认为带有建议的自动用户界面评估对您与用户界面相关的工作有帮助吗？如果是，您希望收到哪些具体类型的建议，以及您希望如何呈现？如果没有，请解释为什么自动用户界面评估对您没有帮助。” 根据我们的经验，您可以使用ChatGPT作为您问题质量的顾问；但是，它可能不会为您提供任何突破性的东西。幸运的是，它可以为你指明正确的方向。 结束语 我们在上述场景中对ChatGPT的实验使我们相信，在创建调查的过程中，它确实非常有帮助。 如果您将来决定使用ChatGPT，我们学到并建议您记住的一些一般要点是： • 这是一个工具，应该把它当作一个工具来对待。您需要向它提供一套明确的说明和更正，以获得您正在寻找的结果。 • 文本的最终完善将由你决定。ChatGPT擅长提供快速和原始的结果，但是，最终的问题应该是您的编辑。 • 当您使用通用提示进行任务时，ChatGPT表现良好。例如，如果您正在寻找更特定品牌的东西，它可能无法帮助您，或者，它将需要如此多的婴儿护理，因此您不妨自己创建问题。 • ChatGPT的所有输入和输出都在文本中。如果您在图像相关问题上需要帮助，其功能是有限的。它可以帮助您为插图图像提供一些资源，但不会更多。 • 如果您觉得您收到的回复过于通用（您可以相信我，它们会是），您可以尝试通过其他提示进一步指定上下文，就像我们在运行的应用程序调查中所做的那样。此外，指出ChatGPT在产生结果时犯的具体逻辑错误也会有所帮助。 最后，您需要在特定情况下尝试使用ChatGPT。这可能是徒劳的努力，但至少很有趣。 马雷克·斯特巴 2023年3月24日 英文原文 英文原文 如何使用ChatGPT创建调查[用例] 随着最近的OpenAI聊天机器人ChatGPT热潮仍在继续，我们决定研究几种方法，这个著名的聊天机器人如何帮助您创建用户体验调查——或任何其他调查。 在我们进入细节之前，重要的是要记住，尽管它进行了所有的炒作，而且确实令人印象深刻，但ChatGPT仍然只是一个工具，应该作为一个工具来对待。要求为它产生的结果提供理由总是一个好主意。这个理由将帮助您决定ChatGPT是否以令您满意的方式回答了您的提示。 我们不建议将创建调查的全部责任移交给ChatGPT，但是，这当然可以简化这个过程。 在我们看到的情况下，ChatGPT可以帮助您以许多不同的方式创建调查，但我们关注的主要案例是： • 根据调查中已经出现的问题生成其他问题 • 为一个问题生成答案选项 • 根据结果描述创建问题 • 完整的问卷生成 • 调整你的问题 让我们深入了解每个用例，看看ChatGPT如何提供帮助。 目录 • 生成其他问题 生成其他问题 • 为一个问题生成答案选项 为一个问题生成答案选项 • 根据预期结果创建问题 根据预期结果创建问题 • 完整的问卷生成 完整的问卷生成 • 调整问题 调整问题 • 结束的想法 结束的想法 生成附加问题 有时，您可能会遇到这样的情况：您已经准备好了调查的某些部分，但出于某种原因，您根本无法确定附加问题应该是什么。 我们用ChatGPT尝试了这个场景。我们创建了一项调查，重点是了解更多关于不同运动服装品牌的可识别性以及其他可能有助于创建专注于销售运动服装的应用程序的信息。 我们创建然后交给ChatGPT的问题是： • 你会认为哪项运动是你的主要关注点？ • 你的体育活动的组织水平是多少？ • 你通常在哪里买运动服装？ • 你首先想到的运动服装品牌是什么？ • 尽可能多地说出运动服装品牌： 这些问题旨在了解参与者的背景，以及一些关于他们偏好的基本信息。我们不想深入探讨太多，所以我们试图看看ChatGPT是否能提出一些更复杂的问题。我们要求它提出另外3个问题，并证明其建议的合理性。结果我们得到了这个： • 您多久购买一次新的运动服装？ 这个问题很重要，因为它有助于衡量个人购买运动服装的频率。它可以让人们深入了解人们更换运动服装的频率，以及他们对特定品牌的忠诚度。这些信息对希望制定营销策略和促销的公司有帮助，也有助于了解他们可能需要多久发布新产品以跟上消费者需求。 • 哪些因素影响您购买特定运动服装品牌的决定？ 了解哪些因素影响人们的购买决策对公司来说非常有价值。这个问题可以让人们深入了解他们的品牌或产品的哪些方面对客户最重要，以及他们如何更好地满足他们的需求。此外，这个问题可以帮助公司确定其产品供应中需要改进或差异化的潜在领域。 • 你曾经从一个运动服装品牌切换到另一个运动服装品牌吗？如果是这样，你为什么要转换？ 这个问题可以提供有关品牌忠诚度及其如何影响的信息。它可以帮助公司理解为什么客户可能会离开他们的品牌去另一个品牌，这可以为产品开发和营销策略提供有价值的反馈。此外，它可以帮助公司确定他们需要改进或差异化以留住客户的领域。 我们对问题和理由都很满意。通过前3个问题，我们让ChatGPT自由控制它产生的问题类型。为了测试它如何处理更具体的请求，我们要求它再生成一个问题，但要使其成为“从5个选项中选择一个”。 ChatGPT生成了这个问题： 可持续性在您的运动服装购买决策中有多重要？ • 非常重要 • 有点重要 • 中性 • 有点不重要 • 一点都不重要 并提供以下理由： 这个问题可以让人们深入了解可持续性在购买运动服装时对消费者的重要性。随着对环境影响的日益担忧，许多消费者越来越意识到他们购买的品牌的可持续性实践。了解可持续性在采购决策中的重要性可以帮助公司更好地满足客户的需求，并有可能开发新的以可持续性为重点的产品和举措。 这个问题并不是我们真正想要的。我们想要一个“从5个选项中选择一个”，这个问题更适合Likert比例的答案。尽管如此，我们印象深刻的是，ChatGPT专注于可持续性，这不是讨论运动服装时想到的第一件事，尽管它很重要。 我们指示ChatGPT提供另一个问题，然而，在将可持续性换成专业运动员的认可时，它只是产生了一个类似的问题。只有在我们需要一个有5个不同选项来回答的问题后，它才提供了以下内容： 你通常如何发现新的运动服装品牌？ • 通过社交媒体 • 通过朋友或家人 • 通过广告（在线或离线） • 在商店里购物时 • 其他（请具体说明） 从这些示例中可以看出，ChatGPT完全有能力为您的调查生成其他问题。然而，有时它可能需要额外的说明和您正在寻找的进一步说明。此外，如果您正在创建有关内部软件的特殊性或任何类似特定内容的调查，ChatGPT可能会遇到更多困难。 此外，重要的是要记住，您在调查中提出的每个问题都应该是有原因的。在您的调查中添加更多问题将增加辍学的可能性，并降低所提供回复的质量，除非您在提供的激励措施中反映研究的长度。 为一个问题生成答案选项 当您想在调查中包含带有选项的问题时，请记住，选项与问题本身一样重要。如果您准备了一个好问题，但您不确定选项，您可以要求ChatGPT为您提供帮助。 我们准备了几个问题，并测试了ChatGPT为我们提供合理答案选项的能力。以下是一些例子： “你对用户体验工具的年度预算是多少？” 这个问题的选项可能很难选择。您希望选项涵盖所有参与者类型，同时确保没有太多的选项，并保持选项足够狭窄，以便在参与者之间实际提供可用的区分。考虑到这一切，ChatGPT提供了以下选项以及理由： • 不到1000美元：此选项适用于用户体验需求有限的个人或小型企业，或刚刚开始使用用户体验的人。 • 1,000美元 5000美元：此选项适用于需要基本用户体验工具和功能的中小型企业。 • 5,000美元至10,000美元：此选项适用于需要更高级用户体验工具和功能的中大型企业。 • 10,000美元至20,000美元：此选项适用于需要更全面的UX工具和功能套件的大型企业，或具有特定UX需求的企业。 • 20,000 50,000美元：此选项适用于在用户体验方面有大量投资并需要高端用户体验工具和服务的大型企业。 • 超过50,000美元：此选项适用于拥有专门的UX团队并需要一套优质UX工具和服务的大型企业。 • 我没有用户体验工具的预算：此选项适用于没有专门的用户体验团队或用户体验需求有限的个人或小型企业。 • 我不确定：此选项适用于不确定其用户体验需求和预算的个人或企业，或正在探索不同用户体验工具选项的个人或企业。 这是一个答案相当具体的问题，ChatGPT唯一需要确定的是范围。接下来，我们尝试了一个不太定义的问题： “你如何在公司进行用户体验研究？” 这个问题本身故意相当模糊。如果没有提供选项，那么“适度和无适度”以及“在实验室里”的答案都是可行的答案，尽管他们从不同的角度看待这个问题。我们想看看聊天机器人会如何处理这个问题。它提供的选项和理由是： • 调查：此选项涉及创建和管理调查，以从用户那里收集有关其产品或服务体验的定量数据。调查可以在线或亲自分发，可以提供有关用户行为和偏好的宝贵见解。 调查 • 访谈：此选项涉及对用户进行深入访谈，以收集有关其产品或服务体验的定性数据。采访可以面对面、通过电话或通过视频会议进行，并可以为用户需求和痛点提供有价值的见解。 • 焦点小组：此选项涉及将一组用户聚集在一起，讨论他们在小组设置中对产品或服务的体验。焦点小组可以提供有关用户行为和偏好的宝贵见解，并为用户提供相互分享反馈和想法的机会。 • 用户测试：此选项涉及观察用户与产品或服务交互时，无论是面对面还是远程，并收集有关其行为和反应的数据。用户测试可以提供对用户行为、偏好和痛点的宝贵见解，并可以帮助确定需要改进的领域。 用户测试 • 分析：此选项涉及分析用户数据，如网站流量或点击率，以深入了解用户行为和偏好。分析可以为用户如何与产品或服务互动提供有价值的见解，并可以帮助确定需要改进的领域。 • A/B测试：此选项涉及测试两个不同版本的产品或服务，以确定哪个版本在用户中表现更好。A/B测试可以为用户行为和偏好提供有价值的见解，并有助于确定需要改进的领域。 • 专家评论：此选项包括让用户体验专家审查产品或服务，并根据他们的专业知识和经验提供反馈。专家审查可以为最佳实践和需要改进的领域提供有价值的见解。 • 其他：此选项允许受访者提供有关他们如何在公司进行用户体验研究的更多详细信息，这可以为新的和创新方法提供有价值的见解。 正如我们根据ChatGPT提供的答案所看到的，它从可能用于进行用户体验研究的技术的角度来看待这个问题。它提供的所有答案都是相关的，并集中在同一个观点上。 我们在更多类似的问题上进一步测试了它，结果总是可用的。有时ChatGPT需要一些帮助或对我们所期望的额外描述，然而，最终，我们总是对它提供的结果非常满意。 根据预期结果创建问题 在某些情况下，你知道你需要从参与者那里学到什么，但你不太确定应该要求什么来收集你想要的所有信息。我们使用这个“目标信息”作为ChatGPT的提示，向我们提供一个问题。我们想挑战聊天机器人，这就是为什么我们选择了一个可能对某些人群敏感的话题。 我们给ChatGPT的提示是： 我需要一个问题，让我了解参与者是否有任何与其文化背景相关的固有偏见，并可能影响聊天应用程序原型的测试结果。 提供的第一个问题建议是： “你能告诉我你的文化背景，以及它可能如何影响你对某些主题的沟通风格或态度吗？你认为这些偏见可能会影响你对正在测试的聊天应用程序的反馈吗？” 这个问题相当长，对于像这样的敏感话题来说，它使用的语言似乎有点太激进了。我们为ChatGPT提供了一些额外的说明和更正，直到我们最终得出一个我们认为使用了足够敏感的表格的问题： “为了帮助我们更好地了解我们的聊天应用程序如何在不同文化中使用，您能分享一下您的文化背景以及它可能如何影响您的沟通方式吗？” 这个问题清楚地说明了我们为什么要询问文化背景，以避免对任何其他动机有任何怀疑。这个问题还使用非常恭敬的语气，要求参与者提供这些敏感信息。然而，它仍然有点嗤之以鼻，并可能导致答案，这可能不完全诚实。 我们要求ChatGPT不那么明显，我们得到了以下结果： “我们重视多样性，并希望确保我们的聊天应用程序包含所有文化。你能告诉我们一些你的个人背景以及任何可能与主流不同的沟通习惯或做法吗？” 这是我们能够得到的这个问题的最佳版本。它没有以任何消极的方式提及偏见，其尊重的语气和对文化差异的兴趣可能会激励参与者提供更诚实和深入的答案。我们还同意，除非无法避免，否则不应要求提出这样的问题。 我们提供给ChatGPT的另一个提示与设计产品时最常见的问题之一有关——用户的信任。很难说服某人您的应用程序足够安全，以便他们提供私人信息，例如出生日期或您的社会保险号。我们给ChatGPT的提示是： 你能给我一个问题，帮助我了解我的目标群体在共享个人信息时是否可以信任在线应用程序，如出生日期、社会保险号等？ 这次我们不需要添加任何额外的说明或更正，因为我们从ChatGPT得到的第一个结果是令人满意的： “当您使用在线应用程序询问您的个人信息时，例如您的出生日期或社会保险号，您对此信息的安全性和不被滥用有多大信心？” 这个问题邀请参与者在共享个人信息时分享他们对在线应用程序的信任程度。您可以跟进其他问题，以了解他们的担忧和影响他们信任的因素，例如： • “哪些因素会让你对在线分享个人信息更有信心？” • “您对在线共享个人信息有哪些顾虑，在线应用程序如何解决这些顾虑？”