人工智能治理的实践：加拿大算法影响评估流程和算法不断发展

WPF 的 AI 治理实地系列：

本系列重点介绍并扩展了 WPF 风险分析报告和 AI 治理工具调查中的主题和问题

下载《人工智能治理实地：加拿大的 AIA 流程》（PDF，6 页）  

加拿大算法影响评估流程和算法如何演变

作者：凯特·凯耶（Kate Kaye），副主任

2024 年 8 月 14 日

加拿大政府机构（包括就业和交通机构、退伍军人事务部和加拿大皇家骑警）已根据该国的算法影响评估流程（AIA）评估了他们使用的自动化系统。但加拿大的 AIA 流程本身也在不断发展。自 2019 年 4 月该国《自动决策指令》生效以来，该评估框架的设计者一直在评估和重新评估 AIA，并在此过程中更新其标准、要求和风险等级评分算法。

负责监督其发展的加拿大财政委员会秘书处 (TBS) 团队称加拿大的 AIA 是一项正在进行的工作。加拿大的 AIA 由几个问题组成，旨在确定风险并减少自动化系统的潜在负面影响。与系统设计、算法、决策类型、影响和数据相关的答案都会影响到衡量所评估系统风险水平的数值分数。

当然，世界各国政府已采用 AIA 作为管理人工智能的工具。加拿大的 AIA 流程只是世界隐私论坛 2023 年 12 月报告《风险分析：评估和改进人工智能治理工具、对人工智能治理工具的国际评估以及未来发展路径建议》中介绍的人工智能治理工具之一。该报告调查了来自世界各地的人工智能治理工具，并提出了改进途径的建议。加拿大的 AIA 流程与迪拜政府和加纳夸梅恩克鲁玛科技大学在《风险分析》报告中审查的其他人工智能治理工具有相似之处；它们都依赖于自我评估来产生量化的评级或分数，旨在衡量风险或人工智能系统的某些方面，例如公平性。

3 月，世界隐私论坛与财政委员会 AIA 监督团队的两名关键成员进行了交谈：加拿大首席数据官办公室数据和人工智能责任总监 Benoit Deshaies 和首席信息官办公室数据和人工智能责任顾问 Dawn Hall。两人均负责监督加拿大 AIA 实施和设计流程更新的各个方面。

Deshaies 拥有计算机科学背景，在加入 TBS 之前曾在加拿大 IT 和机器学习政府部门担任过多个职务，她负责处理评估的计算机科学和技术方面。Hall 拥有生物科学博士学位，她已将其科学和数据分析专业知识转移到数据治理政策领域，她专注于政策。

加拿大各机构已发布 22 份 AIA 评估其计划使用的自动化系统，这些 AIA 文件可在该国的开放政府数据和信息库中公开获取。例如，加拿大交通部最近评估了其装载前空运货物定位 (PACT) 计划，这是一种自动化方法，用于在装载和出发前往加拿大之前测量可能含有爆炸装置或其他威胁物品的入境空运货物的风险。退伍军人事务部评估了其支持残疾人福利决策的自动化开发系统。

霍尔解释说，加拿大的 AIA 评分算法是将系统的风险水平与其使用要求的严格程度联系起来的重要方法。评分算法通过为问卷答案分配分数来工作——分数越高，风险水平越高。

为了降低人工智能风险而对人工智能系统进行量化测量和改进的冲动本身也存在潜在问题。正如 WPF 的风险分析报告中详细讨论的那样，使用人工智能治理工具（如算法影响评估）生成的评级或分数可能会因错误或误解而产生额外风险，尤其是在缺乏使用该工具的文档和指导的情况下。例如，试图通过简化和去语境化复杂的法律、公平相关概念（如不同影响）来消除人工智能系统的偏见，已成为人工智能治理工具环境中一种有缺陷的方法（请参阅我们报告第 25 页的“人工智能公平性用例”）。

最后，不恰当地使用和解释测量结果可能会导致人们希望人工智能治理工具实现的目标与这些工具实际实现的目标之间出现差距。

算法评分更新以及新的隐私和基于性别的分析

随着新问题的增加，加拿大的 AIA 评分算法也进行了调整。为了确定分配给特定问题的分数，TBS 已确定该问题相对于其他问题的重要性。例如，系统中使用个人数据会增加所分配的分数，从而可能导致更高的总体风险水平。

除了多年来调整 AIA 评分算法之外，TBS 团队还增加了问题来评估个人身份信息在评估系统中的作用，并解决与去识别数据相关的问题。

2023 年的 AIA 更新增加了另一层评估，要求机构评估算法系统对特定人群的影响以及性别和年龄因素。评估基于加拿大的基于性别的分析 Plus，这是一种交叉分析，除了考虑生物性别和性别外，还考虑年龄、残疾、教育、民族、经济状况、地理、语言、种族、宗教和性取向等因素以了解影响。

Deshaies 表示，自 AIA 流程开始以来的五年里，加拿大的影响评估水平有所提高，他承认并非所有加拿大的 AIA 都是平等的。总体而言，虽然没有要求各机构与他的团队合作，但 Deshaies 表示，如果他们这样做，有助于确保评估更加稳健。

参与形式多种多样，从每月虚拟会议回答机构问题并就 AIA 提供指导和反馈，到 Deshaies 就 AIA、AI 技术问题和相关政策进行演讲。TBS 还与加拿大公共服务学院合作，为公务员开设了一门课程，介绍如何使用生成式 AI实现政府目的，作为对同一主题指南的补充。

制定更好的 AIA 的关键是什么？多学科方法，Deshaies 和 Hall 说。他们认为，当机构包括来自多个实践领域和学科的工作人员（例如法律和行业专家以及 IT 和计算机科学专家）时，AIA 质量会提高。以前，加拿大机构的 AIA 通常在 IT 部门的监督下进行，但 Deshaies 认为，没有社会和人权影响或法律概念背景的计算机科学和技术专家可能没有足够的能力完成评估。

Hall 表示，采用更加多学科的方法有助于完善和改进加拿大移民局（加拿大移民、难民和公民事务部 (IRCC)）的 AIA。这很重要：加拿大发布的 AIA 中近一半评估了 IRCC 使用的自动化系统。

影响评估的现实影响

最终，算法影响评估应该成为有意义的治理工具，不仅可以评估风险并帮助聚焦改进算法系统的方法，而且还可以在其使用方面创造真正的透明度和问责制。

IRCC 的评估是有关自动化和算法系统的主要公共信息来源，这些系统决定了加拿大移民和难民律师 William Tao 的移民和难民客户生活中的关键要素。

事实上，不列颠哥伦比亚省本拿比市 Heron 律师事务所的创始人 Tao 在 3 月份与世界隐私论坛的一次讨论中表示，IRCC 使用的自动化系统正在对加拿大移民和难民辩护律师的日常工作产生深刻的变化。

尽管陶哲轩一直批评 AIA 流程，但他表示，他很惊讶地看到， IRCC 为协助处理加拿大国际青年工作计划的申请而创建的自动分类工具的评估中包含了额外的揭露性文件。这份基于性别的分析 Plus 文件显示了该工具如何根据性别和年龄相关标准进行衡量，而陶哲轩从未想到会看到这份文件。事实上，在一篇关于它的社交媒体帖子中，陶哲轩称 GBA Plus 报告的发布“在公开披露方面是闻所未闻的”。

Tao 和移民法界的其他人，包括他的同事、公民和移民律师兼 Bellissimo 法律集团创始人 Mario D. Bellissimo，花了越来越多的时间调查IRCC 对自动化和基于人工智能的决策支持工具的使用情况、这些工具的构建和使用方式以及它们对移民和难民的影响。在不同程度上，AIA 让人们得以一窥影响客户生活的自动化系统的内部运作，有时甚至会影响有关移民案件风险、移民或难民是否可以合法工作，甚至人们是否必须与配偶或子女分离的决策。

过去，包括陶哲轩在内的法律监督机构曾要求查阅与移民相关的 AIA 相关的 GBA Plus 报告，但收效甚微。GBA Plus 报告的罕见发布帮助他们发现，旅行历史、医疗请求和原籍国等信息会影响申请人的分类方式。

这些系统在加拿大移民程序中的使用提供了一个切实的例子，表明人工智能正在渗透到治理和政策的各个方面。这种情况向我们展示了算法影响评估等人工智能治理工具的设计和方法有多么重要，并且在未来几年内仍将如此。

至于 Tao，他表示 IRCC 算法透明度的新水平令人耳目一新。展望未来，他说希望该机构能够更加开放。

世界隐私论坛 2023 年 12 月 AI 治理工具报告

风险分析：评估和改进人工智能治理工具，对人工智能治理工具的国际评估以及前进道路的建议https://www.worldprivacyforum.org/2023/12/new-report-risky-analysis-assessing-and-improving-ai-governance-tools/

加拿大在 WPF 的AI 治理工具调查中的条目从报告的第 66 页开始。

参考

加拿大政府就业和社会发展部，机器学习模型的算法影响评估，以分类减少旧索赔重新计算。https ://open.canada.ca/data/en/info/24d2cab2-6a0d-4234-9239-b6ce102ebabd/resource/437a8cc2-da3a-4ed7-abb1-d45dfd7af0e3。

加拿大政府退伍军人事务部，算法影响评估结果——支持残疾人福利决策的自动化开发。https://open.canada.ca/data/en/info/aafdfbcd-1cdb-4913-84d5-a03df727680c/resource/d81de44b-1c77-48b9-9b40-d4ea452bc610。

加拿大政府， 政策、指令、标准和指南，自动决策指令。https ://www.tbs-sct.canada.ca/pol/doc-eng.aspx ?id= 32592。

加拿大政府，加拿大妇女和性别平等部，基于性别的分析。https://www.canada.ca/en/women-gender-equality/gender-based-analysis-plus.html。

加拿大政府，《生成人工智能使用指南》。https ://www.canada.ca/en/government/system/digital-government/digital-government-innovations/responsible-use-ai/guide-use-generative-ai.html。

加拿大政府，开放数据门户，国际经验加拿大工作许可资格模型。引用的数据集：加拿大移民、难民和公民部的算法影响评估；基于性别的分析加模型。数据集可从以下网址获取：https ://open.canada.ca/data/en/dataset/b4a417f7-5040-4328-9863-bb8bbb8568c3 。

加拿大政府，学习目录，在加拿大政府中使用生成式人工智能（DDN321）虚拟课程（提供英语和法语）。https ://catalogue.csps-efpc.gc.ca/product ?catalog=DDN321&cm_locale =en。

加拿大政府，开放政府数据和信息存储库。https://search.open.canada.ca/opendata/ ?collection=aia&page=1&sort=date_modified+desc 。

加拿大政府、加拿大皇家骑警对其 Griffeye 工具进行算法影响评估，旨在协助对儿童性剥削图像和视频进行分类。https ://open.canada.ca/data/en/dataset/89898244-aaae-4591-ba9b-fe5cd81d5924。

加拿大政府、加拿大交通部、预装空运货物定位 (PACT) 计划算法影响评估。https ://open.canada.ca/data/en/dataset/c088f841-2d79-4c7e-9281-cc65cbae1b06。

迪拜政府，数字迪拜的人工智能系统伦理自我评估工具https://www.digitaldubai.ae/self-assessment。

夸梅恩克鲁玛科技大学、加纳负责任人工智能实验室、FACETS 负责任人工智能框架https://facets.netlify.app/facets#envision。

Mario. D. Bellissimo，法学学士，计算机科学，加拿大移民法和实践中的技术中心决策：人工智能部署；现有的加拿大移民法律生态系统和移民倡导者如何应对人工智能技术的使用？ http://products.thomsonreuters.ca/lawreportedigest/pdfs/99immlr4th47.pdf。

出版信息：

作者：Kate Kaye，WPF 副主任

编辑： WPF 执行董事 Pam Dixon

原始出版日期：2024 年 8 月 14 日

网址：https ://www.worldprivacyforum.org/2024/08/ai-governance-on-the-ground-series-canada/