On the relationship between algorithms and legal acts: Institutional influence and legal response
Citation Format:
LIU Ying. On the relationship between algorithms and legal acts: Institutional influence and legal response[J]. Journal of Chongqing University (Social Science Edition), 2025(2):253-266. Doi: 10.11835/j.issn.1008-5831.fx.2021.11.004.
重庆大学学报(社会科学版) 第31卷 第2期 253-266
Journal of Chongqing University (Social Science Edition) Vol.31 No.2 : 253-266
On the relationship between algorithms and legal acts: Institutional influence and legal response
LIU Ying
School of Law, Tongji University, Shanghai200092, P. R. China
Citation Format:
LIU Ying. On the relationship between algorithms and legal acts: Institutional influence and legal response[J]. Journal of Chongqing University (Social Science Edition), 2025(2):253-266. Doi: 10.11835/j.issn.1008-5831.fx.2021.11.004.
Abstract
The development of big data and artificial intelligence has profoundly influenced the social life of human beings, changed our production and life style and led to a number of challenges for the law. We are moving from the internet society to the algorithmic society, with algorithms intervening in the overall private law field including contracts, torts, corporate governance, insurance contracts, and securities transactions in different forms and latitudes. In the algorithmic society of artificial intelligence, the group of algorithmic consumers formed. The premise for discussing how algorithms affect the effectiveness of legal acts is whether they affect person's intention manifestation. Algorithms are series of digital program logic constructed on the basis of natural language. Algorithms have a certain degree of learning ability, which can learn continuously and deeply through big data. However, it is neither learning in cognitive level nor human learning. The essence of algorithms is a kind of procedural Marble Maze Game based on Boolean algebra, which does not conform to the structure of intention manifestation in civil law. The intention manifestation made by the algorithmic system of automated decision-making is still an extension of human intention manifestation. Algorithm users form algorithm power based on big data and algorithm divide, which will affect the system of intention manifestation. Algorithm will not pose a fundamental challenge to the effectiveness system of legal acts, but it needs to be reinterpreted in the specific constitutive elements of mistake and fraud. When it comes to interpretation, a distinction needs to be made between different scenes where the user of algorithms is the actor or his counterpart in discussion. In the algorithmic society, consumers evolve to a new type of consumers: algorithmic consumers. In response to the inadequate algorithmic consumer protection in the existing private law framework, the mode of truly disclosure obligation in the Insurance Law should be adjusted, and the Consumer Law should reshape the rights and obligations between operators and consumers. In commercial and financial field, financial institutions using algorithms will have a higher duty of care. Multi-dimensional factors should be considered in algorithmic consumer protection. On the one hand, it is necessary to build a personal information protection system and take information fiduciary duty as corporate social responsibility. On the other hand, we should build the algorithmic transparency system, algorithmic audit system, algorithmic ethics and other comprehensive supervision systems to regulate algorithm. The essence of regulating algorithms through laws and rules is to regulate how algorithmic users (such as algorithmic businesses or platforms) use algorithms regularly and reasonably in the process of online transactions or operations. The present research on artificial intelligence should return to academic rationality and avoid blindly following the trend of fantastic jurisprudence. The core and key of algorithmic consumer protection in the algorithmic era lies in how to strike a balance between personal information protection, algorithm regulation and algorithmic enterprise development.
算法在当前网络环境下运用非常普遍,通常情况下,网络服务商等企业利用算法,为用户消费者提供“个人定制”交易。如网络服务商通过算法收集用户在脸书、推特、微博或知乎等社交媒体网站,或文本博客和其他在线购物网站上留下的网络浏览痕迹等数据来预测消费者的偏好,进行精准广告推送和个性化产品推荐,甚至实施诱导消费的行为。上述有的算法帮助消费者做出市场交易决策。也还有的算法可以自动识别需求,搜索最佳购买决策并执行交易[ MICHAL G, NIVA ELKIN-K. Algorithm Consumer[J]. Harvard Journal of Law & Technology, 2017(2): 314. 4]。除上述的一般民事交易外,算法在商事领域也发挥着重要作用。
(1)算法逐渐参与公司决策管理过程。2014年5月,香港创投公司(DKV)任命了一套名为Vital的算法作为董事会成员,Vital会根据候选公司的财务状况、临床试验和知识产权等大量资料进行分析,并据此为公司提出投资建议[ 尤瓦尔·赫拉利. 未来简史[M]. 林俊宏,译. 北京: 中信出版社, 2017: 290. 5]。Vital被公认为“全球首家人工智能公司董事”,但严格说,Vital并没有获得香港公司法中公司董事的地位,公司的董事会成员将其简单地视为“具有观察员地位的董事会成员”[ FLORIAN M. Robots in the boardroom: Artificial intelligence and corporate law[C]//WOODROW B, UGO P. Research handbook on the law of artificial intelligence. Edward Elgar Publishing, 2018: 650. 6]。
(2)算法在保险领域逐渐盛行。2018年9月19日,美国历史最悠久的寿险公司之一约翰·汉考克(John Hancock)作出了根本性的改变:它停止提供按年龄、健康史、性别和就业历史等传统人口统计数据来定价的寿险,转而开始通过可穿戴医疗设备、智能手机应用程序和网站,根据与投保人的互动程度来定价[ SWEDLOFF R. Algorithms and AI are radically changing insurance. Regulators are behind the curve[EB/OL]. (2019-06-05) [2020-07-22]. https://promarket.org/algorithms-and-ai-are-radically-changing-insurance-regulators-are-behind-the-curve/. 7]。
算法具有一定的学习能力,可以通过大数据不断地进行深度学习,但算法学习会受大数据的影响。符合学派的算法可以得出确定答案,可以变成自主决策系统[ 郑戈. 算法的法律与法律的算法[J]. 中国法律评论, 2018(2): 66-85. 3]。算法的逻辑结构就是“且”“或”“非”。即使是自主决策系统,也只是在“且”“或”“非”三种逻辑结构中程式化、模块化地作出决定,就像弹珠迷宫游戏一样。弹珠之所以能够走出迷宫,是因为弹珠是在预设的各种程序(线路)中进行,算法就是弹珠迷宫游戏的规则(线路)。即使是被授予沙特公民的索菲亚也一样,其本质在于算法和数据的处理,只是其物理的外形表现为人形,但其仅仅是一个由算法主导的硬件系统,其工作的逻辑主要是通过传感器以及语音识别系统,将人类的自然语言以及外界的感知转换成机器语言传达到控制系统,控制系统通过高速计算处理,将信息传达到驱动系统,从而输出语言和特定的指令动作。算法并不是认知层面的学习,尤其不是指人类学习。相反,算法可以视为一种能在未来接收更多数据时调整行为以获得更佳表现的学习方式[ SURDEN H. Machine learning and law[J]. Washington Law Review, 2014(1): 94. 11]。机器学习涉及许多以不同方式在代码中得以具象化的模型,当前盛行的机器学习包括神经网络、决策树、贝叶斯和逻辑回归等算法[ BURRELL J. How the machine “thinks”: Understanding opacity in machine learning algorithms[J]. Big Data & Society, 2016, 3(1): 46. 12]。所谓算法中的自由意志,不过是算法的“目标是实现几乎最优概率决策”[ 约翰·布罗克曼. AI的25种可能[M]. 王佳音,译. 浙江: 浙江人民出版社, 2019. 13]297,现有的算法既不是完全确定也不是完全随机的。所以,“当今的AI系统绝对不是任何有意义的智能思维机器。相反,人工智能系统通常能够在没有智能的情况下产生有用的智能结果。这些系统在很大程度上通过启发式方法来实现这一目的,方法是检测数据中的模式,并使用人们专门编码的知识、规则和信息,将其编码为可以由计算机处理的形式”[ SURDEN H. Artificial intelligence and law: An overview[J]. Georgia State University Law Review, 2019(2): 1308. 14]。
算法对私法领域中的法律行为造成深远影响,正如美国著名信息法权威巴尔金(Balkin)教授所说,当机器人和人工智能载体创造利益或造成他人损害时,法律的关键问题是如何在人类之间重新分配权利和义务[ BALKIN J. The path of robotics law[J]. California Law Review Circuit, 2015, 6: 46. 17]。
其三,算法也可能对商事特别领域的欺诈有所影响,需要对保险欺诈中的权利义务重新配置。在人工智能场景中的保险领域,不同的算法在不同的保险场景中得以运用。例如,在保险精准营销场景有聚类(K-means)、分类(决策树算法或贝叶斯算法)和关联(关联规则算法)等三类算法的运用,协助保险人对投保人进行精准推送或营销;在反欺诈领域,保险人运用知识图谱、随机森林和规则引擎的复合模型对客户的个人信息、数据等进行分析。在英国保险业中的Brolly是一款私人保险助手,负责提供被保险人及保险公司之间的互动与档案管理,并将目前市面上的保险政策全部汇总到一起,对保险政策进行分析,从中选择出最适合用户的那款保险产品[ CAREY S, MEET B. The UK insurtech startup using AI to ‘fundamentally change’ the insurance industry[EB/OL]. (2017-02-14) [2021-09-10]. https://www.computerworld.com/article/3557928/meet-brolly-the-uk-insurtech-startup-using-ai-to-fundamentally-change-the-insurance-industry.html. 24]。当保险公司掌握了更多有关消费者的个人数据时,则保险公司逃避其合同义务的状况会进一步恶化(exacerbated)[ HELVESTON N. Consumer protection in the age of big data[J]. Washington University Law Review, 2016(4): 859. 25]。故而,保险科技公司将不同算法运用在不同保险场景中,改变了保险人和投保人之间的事实状态,致使保险法告知义务框架失衡。
(2)科以金融机构等算法金融平台更高的披露和信义义务。智能投顾作为算法的载体,其背后仍然是人类的活动或者协助人类的活动,本身并不独立实施行为。智能投顾的出现和运用并不免除人类在相关行业的作用,人类设计、建模、编程、实施和营销这些自动咨询系统,这些自动咨询系统在幕后协助客户与消费者的活动[ TOM B, DELLAERT B. Regulating robo advice across the financial services industry[J]. Iowa Law Review, 2018(2): 715. 34]。面对互联网金融与科技的深度融合,互联网金融借助大数据、算法等科技手段使互联网金融科技变得更加复杂,在形态上向智能金融转变。智能金融给人中立的感觉,算法科学的外表容易误导投资者,使其作出错误的决策,导致投资者保护问题更加突出[ 高丝敏. 智能投资顾问模式中的主体识别和义务设定[J]. 法学研究, 2018(5): 40-57. 29]。金融科技为消费者带来便利的同时,也可能面临算法不完备的风险,即“算法有效性风险、透明度风险的出现,使得技术不对称成为金融市场上信息不对称的重要肇因”[ 黄博文. 算法不完备性及其治理:以互联网金融消费者保护为中心[J]. 西南金融, 2018(8): 49-56. 35]。据此,有学者建议应当从金融消费者权益保护角度“增加科技信息披露的内容和规定互联网金融机构承担‘获得最低科技标准的义务’”[ 曾威. 互联网金融科技信息披露制度的构建[J]. 法商研究, 2019(5): 79-90. 36]。
算法消费者与金融消费者有显著差异,金融消费者是在金融领域缺乏专业知识的消费者,本质上依旧属于传统消费者范畴;但算法消费者不同,其在行为方式等各方面与传统消费者有着显著区别,如其受大数据和算法支配,或被算法剥削;算法消费者既有可能是一般消费者,也有可能是金融消费者。他们在算法剥削的环境下所面临的境况一样。算法消费者作为弱势一方,即“数据、信息、技术弱势的一方,将在貌似意思自治的情况下,甚至可能是在受到人工智能信息引诱的情况下作出貌似合理,但实际上并不合理的自我判断,进而极大地限制当事人意思自治的空间”[ 周江洪. 新模糊民法学时代的正在到来[N]. 法治周末, 2019-07-04(12). 31]。同时,算法存在算法黑箱的弊端,算法消费者无法知道其运行内核,由此加剧了双方的信息不对称,也固化了使用算法的金融机构的权力结构。利益冲突才是智能投顾系统需要被认真关注的[ MEGAN J. Are Robots Good Fiduciaries[J]. Columbia Law Review, 2017(117): 1583. 37]。为防止算法控制者利用个人信息(数据)谋取不正当的利益,损害个人的权益,我们需要打开数据处理过程的“黑箱”,披露包括个人数据的处理目的以及处理的法理基础、相关的个人数据种类、个人数据接收方或者接受方的种类,算法自动决策机制(包括数据画像及有关的逻辑程序和有意义的信息)以及此类处理对数据主体的意义和预期影响。金融机构消费者权益保护制度中需要对算法消费者赋予更高的保护标准,科以金融机构算法组织更高的披露义务和信义义务。
(3)以算法告知义务重构算法消费者知情权。现代经济是基于数据驱动的市场,提高了消费者理解商业实践的难度。欧洲消费者组织(BEUC)建议应当重构消费者的知情权(a right to information),这项知情权的范围既包括有关自动化决策发生的过程及其自动化决定的工作原理(例如信息的过滤和显示方式)的透明性,也应该包括有权了解算法系统的功能、重要性、后果,以及在自动化(算法)决策对消费者的生活产生重大影响的情况下,消费者应该有权反对算法决策并有权人为干预。这项权利应该适用于所有用于自动化决策的数据保护情形,而非仅限于个人数据处理的情形[ BEUC. “AI rights for consumers”[EB/OL]. (2019-10-23) [2020-07-18]. https://www.beuc.eu/publications/beuc-x-2019-063_ai_rights_for_consumers.pdf. 38]。在算法的告知义务方面,需要赋予消费者对于算法决策等各类信息的知情权,并推进消费者知情权向算法消费者个性化知情权延伸[ 刘颖. 迈向数字时代的消费者法:算法消费者的赋权理论及其体系建构[J]. 社会科学, 2024(7): 180-192. 39]。
(二) 算法消费者保护体系的构建
1. 算法消费者个人信息的保护
在线上消费的电子商务活动中,被人诟病的“大数据杀熟”等算法歧视问题是当前关注的热点问题。如何消除算法歧视带来的不公平现象,需要从算法歧视的本质着手。有学者指出,算法歧视本质上就是信息问题,算法过程信息方式中的偏见是算法歧视的主要类型之一,即模型自身的偏差或者分类偏差[ IGNACIO C. Algorithmic discrimination is an information problem[J]. Hastings Law Journal, 2019(6): 1389. 40]。算法消费者的个人信息保护问题尤为重要。
在实践中,平台企业通过搜集、分析和建立起算法消费者个人画像、浏览痕迹等数据,这些数据的滥用可能对算法消费者造成影响。例如,算法消费者在某个浏览器搜索了相关商品,随后算法消费者在其他网站上被精准推荐类似的商品。尽管技术层面表现为个性化算法推荐,但此类行为的实质是平台企业之间对算法消费者的数据进行共享。消费者的个人信息被不适当地获取或向第三方披露的风险增加。有害数据泄漏通常发生在两种情况下:第一种是数据拥有实体故意分享个人信息的方式不足以保护个人隐私的情况;第二种情况是拥有数据的实体未能执行充分的保障措施,而第三方能够取得它们储存的(stockpiled)资料[ HELVESTON N. Consumer protection in the age of big data[J]. Washington University Law Review, 2016(4): 859. 25]。规制数据拥有服务商恣意共享算法消费者数据和数据妥善保管义务成为一个不可避免的问题,信息信义义务有助于解决数据流通和共享的问题。
信息信义义务由耶鲁大学信息法权威巴尔金(Balkin)教授提出,他认为许多网络服务商以及收集、分析、使用、买卖和分配个人信息的云计算公司应视作顾客和用户的信息受托人[ BALKIN J. Information fiduciaries and the first amendment[J]. UC Davis School of Law Review, 2016(49): 1183. 43]。信息信义义务确立的主要原因在于网络服务商和云计算公司对个人信息占有强势地位,以及他们与顾客和用户之间的特殊关系[ 邢会强. 数据控制者的信义义务理论质疑[J]. 法制与社会发展, 2021, 27(04): 143-158. 44]。网络用户(算法消费者)基于对服务提供商的信任,点击“同意”进行个人信息处理的授权,作为信息受托人的服务提供商有义务保护那些被收集信息的算法消费者免受侵害或不公平损害。信息信义义务受托人不能诱使终端用户(算法消费者)信任他们以获取个人信息,然后以背叛这种信任的方式使用这种信息,这不利于终端用户(算法消费者)的利益[ 杰克·巴尔金. 算法社会中的三大法则[J]. 刘颖, 陈瑶瑶,译. 法治现代化研究, 2021(2): 185-200. 45]。信息信义义务的主要内涵不在于保护用户隐私,而在于不利用用户隐私损害用户利益[ 唐林垚. 人工智能时代的算法规制:责任分层与义务合规[J]. 现代法学, 2020(1): 194-209. 46]。信息信义义务的核心是在数据流通和算法消费者保护中寻求一种平衡,通过信义义务的标准检视算法控制者的行为[ 刘颖, 王佳伟. 算法规制的私法进路[J]. 上海大学学报(社会科学版), 2021(6): 12-32. 47],目的不在于禁止数据共享和流通,而是防止平台等服务提供商滥用算法消费者隐私或数据,从而损害消费者利益。
首先,算法透明度制度的构建。算法透明度(Algorithmic Transparency)制度的构建,是在算法代码不完全公开的情况下,如何评估算法所包含的政策判断、实用性、公平性等价值问题[ BRAUNEIS R, GOODMAN E. Algorithmic transparency for the smart city[J]. Yale Journal of Law & Technology, 2018(1): 103. 49]。算法透明度与算法可解释性的区别在于,前者解决的是算法控制者的告知义务,即公布开发算法的目的、管理数据所有权的合同条款,以及访问、验证和后续计划等内容;但算法可解释性致力于将算法过程向用户进行逐步阐明。算法透明度制度的构建,首先应明确算法透明度的标准,其实算法透明度不需要完全透明,即完全了解算法的操作规则、创建和验证过程,只需要一种较低标准的义务。较低的标准具体是指许可算法的利益相关者能够介入算法本身,干预算法或算法的使用和执行,并保证算法生成的过程是负责任的。此种较低标准即为“有意义的透明度(meaningful transparency)”[ BRAUNEIS R, GOODMAN E. Algorithmic transparency for the smart city[J]. Yale Journal of Law & Technology, 2018(1): 103. 49]。回归到我国法,现行法律法规并无直接规制算法的法律规范。在《互联网信息服务算法推荐管理规定》(以下简称《算法推荐管理规定》)第16条 第16条,算法推荐服务提供者应当以显著方式告知用户其提供算法推荐服务的情况,并以适当方式公示算法推荐服务的基本原理、目的意图和主要运行机制等。 ③、第17条第3款 第17条第3款,算法推荐服务提供者应用算法对用户权益造成重大影响的,应当依法予以说明并承担相应责任。 ④明确了我国的算法透明度制度,该制度也采取的是“有意义的透明度”标准,即以适当方式公示算法推荐服务的基本原理、目的意图、运行机制。
MICHALG, NIVAELKIN-K. Algorithm Consumer[J]. Harvard Journal of Law & Technology, 2017(2): 314.
[5]
尤瓦尔·赫拉利. 未来简史[M]. 林俊宏,译. 北京: 中信出版社, 2017: 290.
[6]
FLORIANM. Robots in the boardroom: Artificial intelligence and corporate law[C]//WOODROWB, UGOP. Research handbook on the law of artificial intelligence. Edward Elgar Publishing, 2018: 650.
[7]
SWEDLOFFR. Algorithms and AI are radically changing insurance. Regulators are behind the curve[EB/OL]. (2019-06-05) [2020-07-22]. https://promarket.org/algorithms-and-ai-are-radically-changing-insurance-regulators-are-behind-the-curve/.
CAREYS, MEETB. The UK insurtech startup using AI to ‘fundamentally change’ the insurance industry[EB/OL]. (2017-02-14) [2021-09-10]. https://www.computerworld.com/article/3557928/meet-brolly-the-uk-insurtech-startup-using-ai-to-fundamentally-change-the-insurance-industry.html.
[25]
HELVESTONN. Consumer protection in the age of big data[J]. Washington University Law Review, 2016(4): 859.
[26]
BEUC. “Automated Decision Making and Artificial Intelligence- a Consumer Perspective”[EB/OL]. (2018-06-02) [2020-07-18]. https://www.beuc.eu/publications/beuc-x-2018-058_automated_decision_making_and_artificial_intelligence.pdf.