一份新的报告发现，警察、儿童服务机构等机构正在使用人工智能系统，而指导其在纽约市实施的政策却是一团糟。

纽约州审计长汤姆·迪纳波利(Tom DiNapoli)上周发布了一份报告，呼吁纽约市各机构在使用机器学习程序时缺乏道德和法律保障，包括算法建模、面部识别和其他用于监控公众成员的软件。根据该报告，“纽约市没有一个有效的人工智能治理框架。虽然各机构被要求每年报告某些类型的人工智能使用情况，但目前还没有关于人工智能实际使用的规则或指导。”

接受审查的机构包括纽约警察局、建筑部和教育部(两者都表示他们没有使用任何预测算法)，以及儿童服务管理局(ACS)，后者部署了一个内部风险建模系统，称为“严重伤害预测模型”，“以优先考虑虐待儿童和忽视儿童的案件，以便进行质量保证审查。”

预测模型和面部识别工具的使用现在广泛地与治安和该领域可能的危害联系在一起，反对在儿童福利系统中普遍使用风险模型的声音越来越大。根据美国公民自由联盟的一份报告，大约11个州的机构在儿童福利系统中使用了风险模型，全国大约一半的州已经考虑在他们的儿童福利机构中使用它。

1月底，美联社报道，司法部一直在调查宾夕法尼亚州一家儿童服务机构使用的一种工具，此前官员担心该工具歧视残疾家庭。美国司法部的调查是在美联社报道了卡内基Melon的一项研究后展开的，该研究显示，宾夕法尼亚州阿勒格尼县使用的一种算法将三分之一的黑人儿童标记为儿童服务机构的审查对象，而白人儿童的这一比例为五分之一。

然而，纽约市已经在儿童福利领域推进了预测模型的使用，并努力避免对其模型存在偏见的批评。该机构将算法的使用作为消除偏见的一种方式，声称它可以减少系统中的种族歧视。

审计长的报告发现，虽然该机构表示它经常进行偏见测试，但它无法提供测试的日志，也无法更新该机构发生频率或修改算法的时间。虽然该机构表示，它有关于如何使用预测模型的指导方针，但它“没有向我们提供证据，证明需要像正式政策那样遵循这些指导方针。”(ACS告诉审计长，他们正在制定正式的指导方针。)在城市一级，也没有法律规定要求他们遵守任何这些指导方针。在报告中包含的一份书面回应中，美国癌症学会表示，审计长的所有担忧“正在或已经得到了美国癌症学会的解决”。

ACS表示，它有一个咨询小组审查他们的预测模型和其他算法工具，包括“受儿童福利系统影响的人，如数据科学家、法律倡导者、参与纽约市儿童福利系统的个人和合同提供商”。但当审计长询问公众是否可以审查该算法或记录对该算法使用的投诉时，该机构表示，“投诉没有依据”，因为该算法不会做出最终决定，它只是标记出案例，优先考虑ACS员工进行审查。

美国癌症协会说，严重伤害预测模型，即官员们所说的SHM，实际上比社会工作者的自由裁量权更有偏见。报告称:“ACS官员进一步将SHM的结果与经验丰富的社会工作者的结果进行了比较，并确定SHM在识别风险方面更好，产生的假阳性结果更少，并且在种族/民族之间更公平。”

包括SHM在内的预测模型都是在历史数据基础上训练的，倡导者说，由于儿童福利体系的偏见，这些数据已经存在偏见。支持者认为，这些模型是问题的一部分，因为它们预测了谁更有可能被儿童福利机构标记为被带走，而这些机构最终往往是贫穷的黑人家庭。根据审计长的报告，ACS声称它通过“消除某些类型的种族和民族数据”来减少种族差异。

但并非所有人都信服。“你永远无法创造出足以抵消儿童福利领域预测分析算法固有偏见的护栏。这是因为他们衡量的事情——未来与家庭警察合作的可能性——本身就是一种偏见，”全国儿童福利改革联盟执行主任理查德·韦克斯勒告诉Motherboard。

韦克斯勒说:“即使你可以建立护栏，在家庭治安的记录中，也没有任何证据表明家庭治安机构会使用它们。”他用的是倡导者用来指代儿童福利和儿童服务机构的术语。“预测分析是家庭警察的核武器——而家庭警察一次又一次地表明，他们无法控制自己的核武器。”

在审计长的报告中，纽约警察局的表现甚至比ACS还要糟糕。报告称，纽约警察局并没有保留其人工智能工具的库存，而且有迹象表明，该部队并没有很好地处理它所使用的系统。尽管纽约警察局告诉审计长，它主要使用DataWorks Plus的面部识别工具，并且只在2019年的90天试用期中使用了Clearview AI，但报告发现，有证据表明，在试验结束后的6个月里，警察要求并获得了Clearview AI的访问权限。

纽约警察局还表示，它只使用由国家标准与技术研究所(NIST)批准的人工智能工具，但报告指出，它“没有审查NIST对纽约警察局使用的面部识别技术的评估结果，也没有确定可以接受的准确性水平”。纽约警察局告诉审计长，人工警官会审查潜在的匹配，他们说这减少了偏见。

然而，警察使用的面部识别工具存在大量种族偏见的案例。2019年，新泽西州一名黑人男子被纽约警察局的工具标记为一名抢劫嫌疑人的潜在匹配后，被错误逮捕。

虽然纽约警察局没有针对人工智能工具的使用制定任何通用政策，但它确实“根据工具的功能、规格和建议用途，为使用技术制定了专门定制的政策和程序;不仅仅是因为该工具可能包含人工智能，”它告诉审计长。

阿勒哈尼县的系统对收到投诉的儿童进行了风险评分，甚至对婴儿进行了风险评分，表明他们在三岁前被寄养的可能性有多大。另一方面，纽约市的儿童福利机构表示，该工具用于识别“未来18个月内身体或性虐待指控的可能性”。ACS表示，该工具仅用于对病例进行优先排序以供进一步审查，并没有分配一个分数，以便在对一个家庭的病例做出决定时考虑。

美国公民自由联盟(ACLU)的高级律师安贾娜·萨马特(Anjana Samat)是儿童服务预测模型报告的合著者之一。她说，如果没有该机构提供更多的细节，很难说ACS的算法有多偏心。

Samat说:“在没有完全透明的情况下，很难说模型是如何开发的，使用了什么变量，为不同变量分配了什么权重。”

萨马特说，关于ACS如何使用该工具还有许多悬而未决的问题，包括在过程中该工具被部署在哪里，以及市政府使用哪些数据来确定它比社会工作者的偏见更少。她还警告称，该机构将该工具的目的描述为预测“得到证实的指控”，这比看起来更有缺陷。

“有一种隐含的假设，即这些证据在很大程度上是准确的，”萨马特说，并指出社会工作者在定义虐待方面历来有很大的余地。虽然该工具没有正式考虑到社会工作者的决定，但Samat说，它可能会给ACS员工造成压力，以证实案件。

该机构可能更多地依赖于算法来标记案件的一个原因是，使用强制报告(包括学校工作人员)来标记案件最近受到了抨击，包括上周有85名倡导者和家长参加的在线集会。

与刑事司法系统一样，当暴力行为发生时，政客们被迫扩大儿童福利系统的监控网络。2017年，两名儿童的死亡引发了公众的愤怒，因为公众知道这两名儿童是ACS的成员，但并没有被从家中带走。作为回应，当时的市长德布拉西奥任命了一名新的局长，除了其他措施外，他还推进了前任局长所不满的算法建模。

长期以来，纽约市一直在推动提高算法透明度，包括2017年的一项法案，该法案将使所有城市的算法都开源，但从未获得投票。前任市长2019年发布的一项行政命令要求各机构教育公众使用算法工具，并为受这些工具影响的公众创建投诉解决程序。但亚当斯市长在2022年1月上任时取消了这些要求，将所有关于人工智能的报告交给了一个名为技术与创新办公室的新机构。