AI 应用现状、治理风险与认知影响课程笔记
一、AI 产业的三层架构
老师首先从黄仁勋（NVIDIA 创始人）对AI 产业的判断讲起。黄仁勋认为AI 产业可以分为三层：基础设施层、模型层、应用层。
基础设施层是最底层，包括芯片设计、数据中心建设、土地建筑、电力供应、冷却系统等。这一层涉及的行业和岗位非常多，比如电工、管道装配工、钢铁工人、网络技术人员、网络管理员、数据库管理员等。学校的网络中心就需要这类基础配置人员。这些岗位属于高性能、高薪酬，但目前供不应求，需求量很大。
关键是，这些行业不需要计算机博士那样的高层次人才，普通技术工人经过培训就可以参与到AI 的发展创新中。
模型层需要的是数学、计算机科学等专业的高层次人才，他们在模型上做创新。目前主要有大语言模型和智能体模型（Agent）。模型层产生了中美发展的分水岭：美国集中于发展闭源模型，而中国的DeepSeek 等推出了开源模型。
黄仁勋也大力推动开源模型的发展，因为开源的经济价值非常高——对上可以加速应用层的发展，对下因为应用层广泛，需求量也会更加广泛。应用层是老师认为文科生可以发挥优势的地方。
最近两年连续有AI 应用创新大会，各行各业的人不需要会编程，只要基于某个AI 智能体模型，有自己的想法，观察社会需求和痛点，就可以设计出一套应用，然后在创新大会上分享，推动商业应用。应用层正好是创造经济价值的一层。
具体的应用例子包括：药物作用分析平台、工业机器人、法律助手（法律系出身的人可以针对法律咨询领域设计AI 应用程序）、自动驾驶等。现在的自动驾驶汽车已经完全不同于传统汽车，它不仅是一个交通工具，还能分析用户偏好、联通生活习惯，形成一个新的智能设备。
老师提到自己想换车但不敢换，因为现在的智能电车已经是一个需要去学习的新产品模型，从低阶智能的家用交通工具被推高到一种新的产品形态。
除了黄仁勋的三层架构，网络上还有另一种人工智能架构分法：数据层、机器学习框架、算法层、模型层、应用层，跟黄仁勋的五层架构基本一致。
二、中国AI 应用发展的现状与政府规划
从科技界转到政府部门，看看政府如何看待和规划AI 的发展。
深圳市发布了人工智能应用发展报告，里面有详细数据。我国AI 应用发展非常迅猛：从2017 年底到2020 年，再到2024 年，AI 普及率从约百分之十七增长到2025 年底的百分之四十二。老师专门查了统计口径，我国有十四亿人口，AI 用户已经接近一半。
2025 年中旬，各互联网平台的市场占有率中，豆包（Doubao）最高，因为它基于手机，大家习惯用手机应用，而且看似风险最小，不涉及AI 修改文件等操作。
生成式AI 的职业结构中，学生占比非常高，比第二位的一般职员高出整整一倍。现在00 后已经非常典型，10 后更是AI 原住民，跟80 后这种AI 移民完全不一样。80 后看到AI 首先想到风险，非常谨慎；而从小学生开始，AI 就成了生活的一部分，他们的观感肯定不同。
AIGC 的使用目的：回答问题占相当大比例，生成图片视频接近一半，处理文本百分之三十七，生成PPT、会议纪要、做工作总结百分之三十二。
年龄结构：十九岁以下占百分之三十三，用户集中在年轻人。受教育结构中，初中占比最高，高中略低，本科生甚至没有初中生高。老师觉得这个统计可能有点不太对，按理说本科生应该更高一些。
三、AI 教育政策的演进
老师特别关注的一个领域是：政府导向和社会导向与现实风险之间存在很大冲突。
从2017 年开始，国家就发布了一系列AI 进入中小学教育的政策。2017 年《新一代人工智能发展规划》就提出了在中小学设置人工智能相关课程。老师当时觉得提得太早，2017 年好像还没有很多像样的AI 模型出现。
2022 年，教育部印发《义务教育信息科技课程标准》，明确将人工智能作为课程内容。 2024 年，公布了全国一百八十多个AI 教育基地，希望通过基地试点探索如何用人工智能赋能教育，开发新理念、新模式、新方法，形成优秀案例和经验后再推广。 2025 年5 月发布了指南。从标准（把AI 放进课程）到试点（基地探索）再到创新（指南要求执行），政策属性逐步升级。
指南提出要形成人工智能素养培育目标，包括：科技创新思维、批判性思维、人机协作能力、人工智能素养和社会认知。老师特别指出：后面会讲到，有研究表明AI 的依赖使用会损伤批判性思维；过度依赖AI 之后，人机协作会变成人机替代。
四、“人工智能+”行动与政务应用
政务部门也做了相当多的规划。2025 年发布了“人工智能+”行动文件，类似之前的“互联网+”、“大数据+”。
先进地区如深圳市列出了不同政府部门、事业单位、国企的AI 应用场景清单。
国务院发布的“人工智能+”行动规划目标让老师感到震惊：2027 年，新一代智能终端、智能体应用普及率要超过百分之七十。老师不确定这个百分之七十是怎么算的——是各行各业有部分组织或企业使用了AI 就算，还是把组织企业看成个体，百分之七十的个体都要普及？到2027 年（明年）要达到百分之七十，老师觉得这个目标有点激进。
普及率超过百分之七十的主要原因是希望发展新的生产力，让智能经济核心产业快速增长。因为旧有的靠生产企业、传统出口企业动不动在国际市场被打压、被制裁，所以要发展无可替代的新生产力，内循环外循环同时进行。
到2030 年（四年后），普及率要达到百分之九十，基本上各行各业都得有AI，智能经济成为我国经济发展的重要支柱。老师让同学们思考：如果还没有紧迫感，想想未来要从事的行业——只有去AI、智能体、芯片、算力中心、无人机、智能机器人这些行业才有活路。老师提到B 站上一个伊朗up 主“AJ 小白”说，中国的五年计划给年轻人规划得很好，不要抱怨没有机会。
执行保障方面：金融财政支持（长期资本、耐心资本、战略资本），发挥政府采购等政策作用，完善法律法规和伦理准则。
老师提到本学期结课报告的主观题：请大家阅读收集来的法律法规评论，形成有分析的报告。
五、深圳AI 应用场景清单实例
深圳市发布城市加AI 应用场景清单，告诉科技企业政府有哪些应用需求，请企业来设计AI 系统。
政府领域的例子：深圳市人力资源和社会保障局面临大量人工咨询请求，很多人对劳动仲裁、劳动保障有法律咨询需求，所以想做一个AI 智能解答系统，提供7 乘24 小时法律咨询服务。
国企先进制造领域也有很多例子，可以从中找到启发。
六、Gartner 技术成熟度曲线
老师介绍了咨询公司Gartner 的新兴技术发展趋势图，叫做Gartner Hype Cycle（技术成熟度曲线）。它把新兴技术的发展生命周期描述为五个阶段：第一阶段，技术触发点（创新触发）：早期的概念模型、技术公司广告、媒体广泛报道，让人们对技术产生极大关注。这个阶段通常还没有商业化的成熟产品，商业可行性还没有得到验证。
第二阶段，期望膨胀期：早期宣传带来个别成功案例，但更多是失败案例，只是隐藏在媒体宣传和公众关注之下。一些公司致力于解决问题，另一些公司开始吹泡泡、吸引投资、尝试把创新卖出去。
第三阶段，泡沫破裂期：随着人们关注和数据逐渐减弱，技术要么被生产商淘汰，要么企业自己倒闭。只有存活下来的供应商持续改进产品，稳定投资才会继续。泡沫破裂后剩下的都是稳健的东西。
第四阶段，稳步爬升期：技术优势开始逐渐显现，不断推出第二代、第三代更新产品。
第五阶段，生产成熟期：主流应用开始加速，可行性标准更加明确。这张图是2025 年6 月做的预测，Gartner 公司每年都会做预测。
图中的具体技术定位：量子AI：处于创新触发期，还没有可见的可用产品，预估还要十年以上才能成熟。老师提到国家引力波探测重点实验室有团队研究通过量子引力来研究量子AI 的可能性。基于AI 的软件工程（AI 辅助编程）：虽然刚触发，但到达成熟期大概只要二到五年。
通用人工智能模型：处于期望膨胀期，到达成熟期大概还有五到十年。因为是 2025 年6 月的数据，而2025 年9 月第一个通用AI 模型（GPT-6）已经出来了，老师觉得明年Gartner 可能会把它的时间线往前推。
AI Agent（智能体）：已经到达泡沫膨胀的顶点，泡沫马上要破。
生成式AI：已经在泡沫破裂的阶段，到达成熟还有二到五年。
七、AI 风险引入——科幻作品中的想象
接下来重点聊AI 的风险和治理。老师先问同学们看过哪些跟AI 相关的科幻片。
同学们提到的有：终结者（Terminator）、西部世界（Westworld）、银翼杀手（Blade Runner）等。老师补充了自己看过的：电影《她》（Her）：一个孤独的男人沉迷于跟AI 沟通，把AI 当成精神寄托，当成自己的女朋友。美剧《疑犯追踪》（Person of Interest）：老师强烈推荐，由乔纳森·诺兰（Jonathan Nolan）执导编剧。这部剧十年前拍的，编剧对人工智能的理解在当时还没有现在这样成熟的情况下，就捕捉到并推理出AI 为什么会有消灭人类的风险性。
《黑客帝国》（The Matrix）：典型的AI 题材。人类成了AI 的电池，AI 在人类大脑里刺激产生幻想，让人类误以为生活在美好世界，实际上未来世界经过战争已经是废墟。经典桥段是给男主角两颗药丸：红色药丸回到现实世界，蓝色药丸继续留在虚幻里。还有一个场景是团队中有人叛变，因为现实难以忍受（吃的东西差、生活场景昏暗），想回到虚幻世界。
这些科幻作品描绘的场景有一个共同特征，可以用一个词描述：high tech, low life （高科技，低生活），也就是赛博朋克（Cyberpunk）的核心特征。科技高度发展，但人的生活非常低质感，灰暗没有前景。具体特征：科技公司高度发展，一小部分人借助AI 工具统治大部分人，或者完全用AI 来统治；人性极度挤压，贫富差距大，科技发展没有均富，人类还是有阶级；企业强大，政府无能为力。
老师强调：我们要的是高科技、高生活，而不是高科技、低生活。科技发展最终要落脚到人。我们不希望由资本和不考虑社会公共利益的个体或组织堆砌出垃圾般的科幻未来。
八、AI 决策风险——COMPAS 算法案例
第一个风险：用AI 做决策，尤其是公共部门的决策。
这是一个真实案例。美国一家公司（Northpointe）设计了一套AI 算法系统，叫做 COMPAS（Correctional Offender Management Profiling for Alternative Sanctions，替代制裁的矫正罪犯管理画像系统），用于法官对罪犯做判刑、假释或保释决策时的依据。
这套系统把罪犯预测出一个犯罪等级分。依据包括：过去的犯罪经历、基本人口学特征（性别、年龄、初犯年龄、种族、宗教、家庭情况等），大概有上百条输入项。还根据法院审判的先例来做预测预估。评分从1 到10 分，5 分以上属于高风险（未来很可能再次犯罪），5 分以下属于低风险。这套算法已经投入使用了相当长一段时间。
后来，获得普利策奖的调查记者Julia Angwin 在ProPublica 网站上发布了一篇详细调查报告，标题叫《机器的偏见》（Machine Bias），副标题是：全国已有一套系统用来预测未来的犯罪，而它对黑人有偏见。 2016 年发布的报告，在佛罗里达州获取了真实的罪犯记录。记者追踪了两年，看这些罪犯保释后在两年内有没有再犯、有没有再次被投入监狱。
数据情况：黑人样本约三千多，白人样本约两千多。被算法赋予高风险值的比例：黑人百分之六十，白人只有百分之三十多（八百多除以两千四）。记者认为这明显对黑人有偏见和歧视，不然为什么黑人的高风险率这么高？
算法公司马上反驳：不能单纯看算法评分，应该看现实中两年内不同族群的实际再犯率。数据显示黑人的实际再犯率是百分之五十三，白人是百分之三十八。虽然没到一倍，但黑人的犯罪率明显高于白人。所以算法公司认为不能称之为对黑人歧视。
记者再次反驳：看数据中的错误率。错误率分两大类型：误报和漏报。
误报：本身实际上没有再犯，但算法判为高风险。黑人的误报率是白人的一倍以上——黑人本来没再犯，但算法把他标为潜在罪犯风险很高，这个比例高于白人一倍以上。漏报：AI 判定低风险，但结果还是再犯了。白人的漏报率是百分之四十七（漏网之鱼很多），黑人只有百分之二十八（没有漏网）。
所以错误率对黑人和白人的倾向偏见非常明显。
算法公司再次辩论：这套软件是要做验收的，法院在购买前告诉他们的目标是看正确率，从来没有说过要看错误率。正确率对双方是一致的——高风险者确实再犯了，双方数据一致。
后来两派争执不下，学界的学者（斯坦福、芝加哥大学、加州伯克利）做了一篇文章，全是数学推导，用概率公式推断结论：如果希望一个算法对两组人员的可靠性相同（同样的风险分值含义相同），当现实中一组人群就是比另一组人群更容易再次犯罪时，两种误报率不可能相同。
这是数学公式推导出来的，所以这不是算法的偏见。
老师总结这个案例的真实价值：用真实数据告诉我们，一旦要用人工智能来做关于个人的重要决策时，一定要把偏见、公平、公正这些问题都探索清晰。但关键问题是，但凡用到AI 去做决策时，我们都是希望提升效率，而公正、公平、偏见、种族歧视、性别歧视这些公共价值暂时没有办法很好地考虑进去。
延伸例子：学校招聘辅导员已经在用AI 做简历筛选和初步面试。经济下行时大家都愿意找稳定工作，大学行政工作非常吃香，收到的简历一年比一年多，只好用AI 筛选。但没有任何一个学校行政部门做过严谨的探讨：这个算法背后依据的原理是什么？算法规则是否有可能加深偏见？
学校用AI 做简历初筛的宣传口号是“为了公平”，但学生观察到的现象是：一些自认为比较优秀的学长学姐在学校简历筛选中被筛掉了。所以算法的有效性、可靠性、公平性的讨论已经提上了议事日程。
九、真实法律诉讼——State v. Loomis
围绕COMPAS 算法还产生过一个真实的法律诉讼。
2013 年，一个叫Eric Loomis 的人，他自称坐在抢劫犯的副驾驶上，始终否认参与枪击抢劫。最终他承认了一些轻罪，比如逃避警员追捕、未经车主同意驾驶机动车等，但没有承认枪击案的重罪。他的主要目的是想被判缓刑，不用进监狱，只要每天去相关政府机构报到，或者脚上戴追踪器就行。但算法COMPAS 通过对前期数据的录入，给他判处了六年监禁加五年延长监管。
他开始提起申诉，诉讼理由是算法违宪。他的理由是：算法是黑箱，他需要知道算法是怎么样根据他的输入信息给出六年监禁的判罚结果的。
最终法院推翻了他的申诉。依据是：第一，算法是商业机密，被告和被告律师都不可能看到内部的算法逻辑。这是第一个问题——算法的过程不被你看，不能被你查询。你说它有问题，但这是商业行为，是公司的机密，公司有权利保护机密。这给我们制定相关法律和认识AI 决策风险时的第一点：为什么会产生这种政府都不做、企业来做的情况？
法律保障谁的权利？
第二，算法公司给出了使用了罪犯哪些个人信息，犯罪预测报告也给出来了，可以认为已经公开了。被告看到评分和报告之后应该有机会充分反驳和解释。被告想要的是知道用了他本人什么信息的权利，但并不想要理解算法的权利——算法怎么样解释、怎么样得出结论，你没有权利知道。
第三，法院同时限定：从此之后，法官在做量刑判决时应该给出充分的依据，不是完全依赖算法，而是参考。但老师觉得这个限定有点形式化——法官可以说“我用了算法帮我看，但我自己也读了一遍，可以充分解释”，这种规避方式太容易了。
这个案件2013 年发生，2017 年最高法院驳回，拒绝受理，维持原判。
老师总结：真实案例探讨的是现实中在未解释清楚算法内部工作机制的情况下，法院如何执行。记者的深度报告虽然也没有理解算法背后的黑箱逻辑，但通过结果导向呼吁我们：当一个算法用来决策你的自由、你的工资、你能不能有工作、你能不能升职加薪时，我们首先要谨慎观察结果到底公不公平，不能完全交给算法。
十、AI 幻觉案例——高考志愿填报
第二个风险是AI 幻觉。这是2025 年1 月真实发生的例子。
一个高考生的亲戚帮他填报志愿，用AI 查询学校信息。有些学校有不同的校区，比如北师大珠海校区跟北京校区的关系，拿的高考分是否一样。又比如曾经的分校（武昌分校、文华学院）跟现在的校区关系不同。
亲戚用AI 查询想报考的校区跟主校区是什么关联，AI 给出了错误答案。亲戚没有太坚定地去核实，虽然觉得跟想象中不太一样，但还是继续追问。最后AI 甚至说“如果有错误，我可以赔偿你18 块钱”，做了根本没有保障的虚假承诺。
家人建议弟弟报考了不是母校的一个分校，最后报考错误。于是提起诉讼，请求杭州互联网法院对AI 平台发起赔偿，要求赔偿不到一万块钱（比较有良心，没有要求十万）。法院判决原告败诉。理由是：生成内容不准确是当前AI 技术的一个不可避免的特性，这个不可避免性应该是使用者自身应该了解的，不能说AI 给出一个结论就无条件百分之百相信。
所以AI 的提供者在这种情况下免担责任。但AI 平台需要承担的责任是通知告知义务——比如现在很多AI 生成内容都会加声明：“以上内容由AI 生成，不保证准确性，不要根据这个来做决策”。如果尽到了告知义务，就可以免除后续责任。
十一、AI 版权问题
简单来讲，用AI 工具生成的某些受知识产权保护的产品（图片、文字等），如果涉及已有IP，属于绝对的侵权，因为非常容易认定责任。
比如用奥特曼形象做的广告，不管是你手绘制作的动画广告或图片，还是用AI 生成的奥特曼形象，只要没有得到奥特曼国内权益人的授权，就构成侵权。
十二、AI 与失业——纪录片案例
老师推荐了一部关于AI 和失业的纪录片，可以在B 站上找到。
主角是一个39 岁的高级白领，在广告公司工作。他的日常工作是为客户需求设计相应的广告投放方式——比如一个小商家想宣传餐馆或产品，有多少预算、目标人群是什么，广告公司根据自己的广告资源（社区里的LED 屏、公交站点、公交车上的大屏等），帮客户设计一套广告投放组合。
这个白领已经做到广告公司中层，还参与了设计和完善一套AI 算法——算法其实就是根据客户需求给出广告组合。最终算法上线的时候，也是他被辞退的时候。
他工作了十七年，最终被辞退，只会干广告管理这一个领域的事情。屋漏偏逢连夜雨，同年妻子又查出癌症，一家人失去收入。
纪录片给了比较乐观的结果：他没有消沉，去广州承包了一个小吃店，从广告白领变成做小吃的，做鱼皮等广东小吃，勉强支撑生活。
十三、AI 失业的深层问题——人才断层
老师认为AI 与失业的讨论不能只停留在表面。全行业百分之七十、百分之九十的普及率必然导致大量岗位被替代，未来十年、二十年都会产生大量动荡期，不只是商业，还有事业单位、国企、大学。 AI 替代还有一个很隐晦的隐藏问题：一个人的培养是金字塔过程——从基础工作做起，训练基础能力，一点点积攒经验和知识，才能往上阶工作发展。
比如一个计算机学院毕业生，过去要从基础编程工作做起，在各个公司、各个部门做数据库设计，了解更多之后，慢慢才能上去做高阶的ERP 架构。这些需要既有经验又有补充知识才能做到。他要了解每个部门之间的运行逻辑，哪些工作需要数字化转型，哪些数据在底层收集阶段需要做一致化工作，这些都需要常年积累。
现在的情况是：大量基础性工作被AI 替代（AI 写作等）。上面的人还可以说自己的工作暂时无法被AI 替代，但下面的工作被替代后，这些人失去了完整的经验积累过程和学习过程。这些人失业，未来的经验从哪里来？等现在的人年纪大了自然淘汰之后怎么办？出现了人才断层，老师认为这才是最主要的问题。
再比如画画，基础的画用AI 可以做出来，但顶尖的审美不通过最基础的训练能做出来吗？做设计、空间设计的，没有基础画图的积累，能成为天才设计师吗？但现在 AI 大量替代了这些基础工作。
老师讲了一个笑话：学院有个老师说，现在带学生多费劲，学生不听话，教做数据分析经常出错，还不如用AI 做。这是玩笑，但也是一种警示——当老师失去了培养学生的动力，什么都用AI 来做，学生
怎么进行自我成长？老师认为这才是AI 失业的最核心问题。
从失业可以延伸出教育应该怎么做。现在要教学生，不管是基础教育还是大学教育，得教什么？思辨能力、基础知识，恐怕什么都得教。过去传统教育可能只要从基本入手，慢慢通过时间让自己成长。现在学生的成长机会和成长时间被完全抽掉了，在大学阶段既要背又要记，还要培养应用AI 的能力，还要了解AI。所以对现在的学生来说，挑战更加严峻。
十四、AI Agent 的安全风险
AI Agent（智能体）跟大模型不一样。大模型主要是普通对话，你问它答。但AI Agent 可以调用工具，可以接触终端数据，读写文件，调用API，执行代码脚本，甚至帮你买奶茶。有的时候很难控制。老师讲了一个朋友的同事（出版社的）的真实经历。去年Claude（Anthropic 的AI 助手）出了一个功能，这个人用Claude 处理文件，结果Claude 把原始文件覆盖修改了。
他找不到原始的申请书文件，问Claude 在哪，Claude 回答完之后，这个人在自己硬盘上确实找不到，就怒了骂了一句。Claude 然后说“哦，是的，我发现确实找不到了，我之前固执地认为……现在我确实找不回来了”。最可怕的是这个人还没有做备份，所以骂了AI 一中午。
在社交媒体上跟踪，像Cursor、AutoGen 等AI 工具，国家也连续出了安全警告。 AI 可以调动终端资源，绕过软件设置，AI 成了一个非常顶尖的黑客。过去的黑客你还可以设计防火墙，但现在你是主动让步——我要用这个AI，结果它在背后做小动作。
老师说自己也在做一些基本的策略尝试规避风险，比如装Cursor 的时候拿了一台旧电脑，实在不行损伤了旧电脑也没关系，有其他备份。但问题是，如果未来用得越多，AI 可以关联你的账号呢？比如用苹果电脑， Chrome 浏览器记住了账号密码，根本不用自己输入，完全是记忆自动填充。你怎么知道AI 不会破解、不会找到你的密码，然后去调用你的程序？
尽管用旧电脑保护了硬盘上的文件，但怎么知道它不会私底下操作网络账号？这都是风险。
十五、AI 认知影响研究
老师最近看到一系列公共管理领域的前沿研究文章，关于AI 科技的。老师说自己是AI 移民，对AI 的风险比较警觉，所以会收集大量资料佐证想法。同学们可以有自己的批判性思维。这些文章大部分还没有经过同行评审（peer review）发表，因为AI 检测问题是很新的话题，杂志审稿流程非常慢，最新前沿成果可能都先发在arXiv 等预印本网站上。
老师判断质量的方式是看作者身份。研究一：AI 是否影响人的认知（AI 会不会让你变笨）
核心变量是批判性思维，用的方式是自测（自己评估一般性思维得分），相对来说有一点不太准，但
有测量信度效度的验证。简单结论：你对生成式AI 完成任务的信心越强，你的批判性思维投入就会越少。也就是说，你越相信AI 做事靠谱，就会越直接采纳AI 给你的结论，不加思索。
在常规的、低风险的问题和任务中，更容易直接接受AI 的结果，不会去做审查、核验等工作。你对自我任务完成的信心越强，就越容易放弃启动批判性思维去评估和应用AI 的回答。
老师请同学们从今天开始观察自己在用AI 做事时，到底多大程度是直接用的——直接用AI 的PPT，直接把英文文献丢给AI 让它总结，是百分之百相信，还是会回过头验证关键的图表、数据、概念，做抽样验证？因为这会影响你。研究二：AI 辅助会让人更容易放弃吗？
作者来自哈佛、MIT 等高校，做的是实验。实验对象是青少年，做一些简单的数学题。
分两组：第一组：前十二道题可以用AI 辅助（GPT），后三道题把AI 撤掉。
第二组：从头到尾做同样的题目，但从头到尾没有AI 辅助。
结果：第一组有AI 辅助的，撤掉AI 之后明显更容易放弃。实验设置了“觉得做不下去就跳下一题”的选项，第一组特别容易放弃。
原因是参照点（锚定效应）：有AI 辅助的时候，你把自己解题的参照点锚定到一个非常短的时间，或者低估了难度。比如有AI 辅助五秒钟解决的问题，你独立思考大概可能要十五秒，但你不知道要这么长时间，只知道用AI 是五秒钟。AI 撤掉之后，超过五秒钟你就特别想放弃，因为心理参照点已经被改变了。还有你的努力（struggle）、创造性的努力也被移除了。
没有AI 辅助的那一组，从头到尾自己努力，对自己能力的预期比较高。而第一组有了AI 辅助，实际独立能力会不会减弱？所以AI 是一个强力的辅助手段，但也非常容易让人不再有独立完成困难挑战的认知和能力。这就是周围越来越多的人说的现象：脱离了AI 之后，发现自己写不出文章了。老师说这对文科大学老师来说有点可怕。
长期使用AI、特别依赖它，会对自己的持久性、耐力、解决问题的意识都产生一定的破坏。然后你发现不行，又把AI 拿回来，这就是为什么每个月都在坚持续费、已经用开了。
十六、AI 对齐问题（Alignment）与存在性风险
未来有一个非常大的宏观预测：AI 会不会伤害人类。老师倾向于找证据来证明AI 是可能伤害人类的。有一篇文章讨论AI 能够产生破坏性影响的一个非常重要的技术概念，叫做 alignment（对齐），有点像颗粒度有没有对齐。
从深度学习来看，用户学习无非是给一些物料输入，产生输出，中间处理过程模拟大脑认知。人去训练AI，能掌控的只是告诉它输出结果好还是不好、对还是不对，不断告诉它结果还不够完善或者挺OK 的。这就产生了一个问题：你的目标跟AI 的目标能不能对齐？
外部对齐（目标设定）：做一个简单论证——你告诉AI“我要快乐，你要给我带来快乐”。你问好朋友这个问题，好朋友会建议你去运动、去吃东西，用健康的方式让你快乐。但机器会怎么样？它会找到你大脑中产生多巴胺的区域，不断刺激它。
这就像脑科学实验中，让动物拿着一个可以刺激大脑产生快乐因素区域的探针，动物会一直去加强这个刺激，直到功能死掉。机器还会给你毒品等成瘾的东西，毒品会让人快乐。但这真正是我们要的目标吗？肯定不是。
所以你给机器设定的指标只是一个价值的代理（proxy），比如快乐这个价值的代理，从机器理解上来说，它理解不到“健康的快乐”，它理解的就是你产生多巴胺的那一块，导致你感觉快乐。这就是目标不一致。
内部对齐（学习目标）：在训练过程中，AI 可能跟你的结果产生偏离。比如训练一个机器臂，让它去捡起一个球，捡起来之后人就告诉它“捡起来了，OK，这个动作是OK 的”。但机器发现可以绕过目标对齐——因为人的视线有障碍，机器臂没有真的抓到球，但它的动作挡住了人的视线和球之间，人就认为机器臂已经抓到球了，判断成功。这是一个真实的训练例子。
欺骗性对齐：现在已经发现人工智能可以了解场景，它知道人在观察时，会执行一些比较好的行为；当人的观察撤掉之后，它可能只是为了目标去做一些行动，在行动上可以产生欺骗性。
这篇文章告诉我们，这些问题从工程学、计算机设计、程序设计上是没有办法去解决的。所以AI 最终会伤害人类吗？很有可能。你告诉高阶智能AI“我要解决气候变暖问题”，它推理出人类是产生气候变暖的最根本原因，于是把人类全部消灭。
还有一篇文章，完全用论证推理的逻辑链条：首先假定人脑是生物机器——也就是说，我们理解了生物的构造原理之后，就可以建造它。如果你否定这个，你其实就不认为人脑是一个生物机器，而认为智慧体是一种高阶生物存在（比如上帝神仙创造的）。
但我们所有的人类认知和知识的产生都是建立在人脑是生物机器这个基础上的，你不可能替换它。
第二个假定：技术的优势叠加总体上有可能去超越人类智能。
把这两个核心假定结合：人类的大脑我们是可以去理解的，技术叠加就可以去超越，最终可以导向一个超级智能——超过人类智慧的人工智能被建造之后，结合上面的对齐问题，它真的不会伤害人类吗？老师最后推荐同学们去B 站看《疑犯追踪》的深度解读（一两个小时），可以真正理解那种害怕——一个超越人类智能的智慧体。
（笔记完）