《超级智能》读后感2700字
书分四境, 圣贤庸渣. 此书, 中圣.
在一次AlphaGo的讲座上, 我抛了一个问题给演讲嘉宾 (一个港大的AI教授):
目前AlphaGo只是在研究人类棋谱以后, 做到比任何人的胜率都高, 并不真正穷尽围棋之全貌. 什么时候, 围棋(或者仅仅是象棋) 能够成为一个(像苹果棋一样), 一望可知的 没有悬念的的游戏? 甚至从第一步开始, 就能尽知每一步的分支结局(树).
(这有点像是, 碳基生命 只是目前现状, 并不是宇宙唯一可能; 地球生物常用的20中氨基酸, 也并不是全部可能方案, 只是 已经使用过的方案.)
可惜那个笨蛋当时没听懂. 包括我另外两个问题也没听懂! (让我不禁担心, 大学研究已经越来越工程师化了 — 并不是贬低工程师, 工程师是要解决问题, 而他们本该去探索和思考的.)
不过, 这些问题, 在此书中都有很好的解答– 更为全面详实. 这也是我信服的原因.
毕竟, 当你探讨 智能 终极问题, 这就不是一个计算机领域的话题, 而是生物, 脑科学, 历史, 进化心理学, 国家制度, 社会结构, 等全方位的思考. (再强调一次, 这不是一本关于AI的书!)
书不单行 的我一贯主张对比阅读. 比如, 当你把无人不知的Kurzweil的作品 The Singularity Is Near(奇点临近)跟此书放一起, 你一下就知道谁是臭的, 而且奇臭无比. 该书的什么吓尿指数, 听上去似乎言之凿凿且很好玩, 但本质上是一派胡言的根本原因是他根本不理解: 归纳法不靠谱~
人类获得知识的有效途径有很多, 归纳法从来都不在其中.
而本书没有任何耸人听闻的预言, 只有翻来覆去掰开揉碎的分析和思考, 所以才格外的 如饮醇醪…
于是能名列 圣贤庸渣 四境之, 中圣.
如果你想写一本未来派的科幻小说 (我厌恶硬科幻 这三个字) , 讲述后人类文明, 和科技文明. 这本书可以避免你的几乎一切低级错误.
(当然, 我更厌恶天资不足, 却非要驾驭庞大主题者, 文字粗鄙, 穿凿附会, 逻辑昏乱; 更更讨厌居然利用民众无知大行其道者. 这类渣作者, 会让胡编乱造的J.K. Rowling看上去都像是严谨且自洽的学术大宗师.)
甚至还提供了一些很棒的话题: 或伦理道德, 或技术方向, 或社会模式, 甚至是人机爱情.
任君选择~
比如~
~
/途径/
超级智能的实现途径, 很少有人认真想过这个问题:
除了通常印象中的1)AI, 还有两种实现的途径: 2)超级生物 3)全脑仿真
~
/失控/
如果SI(超级智能)必然出现, 无疑人类会希望它是 乖的~ 服从人类的意愿.
而作者认为, 其中有太多会出错的可能性:
比如, 一个以创造快乐 为己任 忠于职守 的SI, 有极大的可能将宇宙贴满笑脸贴纸, 或把宇宙变成一个 嗑药植物人的无穷监狱.
根源在于, 误会. 不是因为它笨, 而是因为, 人类本身并不真正透彻的理解自己的需求和欲望(以及它意味的代价).
理由很简单, 不是所有 目标 的实现途径, 都一定是 以人类为中心的.
~
/目标/
超级智能最让我们意外的, 将会是它的 目标(使命):
既有可能是一个 非常愚蠢 的简单目标(比如最大化的制造图钉, 或者数沙子), 也有可能是复杂到我们完全不能理解的某个终极使命 — 系统越复杂, 人类越可能收获意外.
即使是中间目标(为完成某个任务需要的局部条件), 比如资源, 都有可能让SI成为与人类反客为主的核心理由.
就连在最理想情况下 (SI确实在全心全意 服务于人类福祉), 我们也面临一个重大问题, 我们并不知道人类福祉到底意味着什么, 以及如何定义, 描述, 和评估.
~
/动机 价值观/
本书最精妙的地方在于, 对于动机的讨论(这也是我最好奇, 而从没有被很好解答的问题):
为什么它们会 获得 属于自己的动机.
人类(生物)的动机产生过程是渐进的: 从最原始的少量线性, 通过不断的修修补补(tinkering)到如今人类的错综复杂, 纠缠不清, 甚至自相矛盾的价值观群.
但我至今有个猜测, 尽管庞杂, 生命中很多 价值 其实还是线性的 (边际收益不减, 多多益善, 永无满足), 当然也有非线性的(比如饱腹感, 属于边际收益递减, 甚至至负)~
人类更复杂一些, 多数价值的形成, 并不在遗传中, 而是后天经历. (比如, 孕期母体的血糖程度, 将直接影响终生对于糖的偏好.)
Anti-Fragile作者Taleb认为, 一切创造力, 占有欲, 等 都是某种价值的 过度补偿. 如此说, 所有那些糖瘾, 性瘾, 钱瘾者(边际收益不减; 而多数人并不需要无穷的性伴侣) 跟那个 励志将图钉铺满宇宙 的AI真没什么区别.
有一点是确定的: 如果严谨如几何的5公1设都会产生不自洽(据说日本一大仙儿发现), 那么美国宪法, 国家内部利益集团, 人的左右脑或各个局部脑之间, 价值观或幸福感构成, 出现冲突和矛盾是再正常不过的事情.
包括 过度补偿 在内, 所有 恋物, 异化, 都是 价值观未涉及本质而造成的激励失当 结果. (公司KPI也是.)
可是麻烦在于: 我们很有可能, 永远, 无法真正触及本质. 因此价值走偏和纠偏是永恒的.
似乎任何智能, 都会面临同样的问题~
(当然, 智能越高, 发现的规律越靠谱, 这个过程会快速一些, 造成的后果会… 算啦, 我还是自知之明一点, 别聊后果啦. )
12章提出了两个有趣的想法: 1)定义并量化一个完美的人类, 作为AI的范本, 2)引入外部因素(宇宙其它超级智能) 预测之, 并作为指引
~
/掌控/
我们能够让它 有效臣服 于人类么? 仅仅作为 工具 或是 代理.
其实, 两者本无本质区别, 微妙之处, 还是看使用者的理解和掌控力.
甲方之于乙方, 驾驶员之于战机, 管理者之于企业, 君主之于帝国, 无不如此.
(于是, 对于古代社会, 相对于 a)权力制衡比较充分, b)利益分配比较合理, c)信息传导比较高效的现代政体, 古时期的大型帝国尤显脆弱. 特别是当abc的实现主要来自于君主过人的能力和勤勉. 因而, 开国君主 见过难度越大, 其继任者能够掌控局面的几率越低.. 不过这是题外话)
~
纵观全书, 一个反复出现的悖论是:
任何智能都会有其终极目标(价值观, 动机). 激励循环就是建立在 价值观信号 的基础上. 问题是, 当它足够强大, 很有可能反客为主的 控制信号的产生过程, 将其作为全部目的 (就像是嗑药~)
而价值的产生, 既要依靠人类, 又不能完全依靠人类(人类有自身问题).
我们隐约间看到一个结论:
任何存在, 如果其智能超越了价值观所定义的挑战, 必将或失控, 或沉沦, 不可避免.
无敌国外患, 国恒亡!
12章提出的一个构想, 与我此想法不谋而合: 预测并参照宇宙其它超级智能文明的价值. 颇有启发.
避免迷失的有效途径是引入外部因素, 不论是 灯塔 还是 战争, 都比没有强! 迷失和走偏, 是智能发展的必然– 猪从不迷失!
~
复杂集合体(比如国家)与超级智能有极大相似性 (甚至有可能是超级智能的产生机制之一, 甚至可能是最稳定和可靠的模式).
因此, 当我们说东印度公司的意志, 或欧盟的意志, 并不仅仅是一个修辞, 而是真实存在的– 但, 它并不仅仅是 其纸面上的, 或表面上的定义和描述, 而是高度依赖于其组织方式, 激励和利益分配 及 信息及反馈的传递机制– 这点很重要.
引申来说, 集权或专制实体, 显然更倾向于满足统治者(个人或少数群体)的意志, 但其 高效率及目标清晰 特点, 未必不能促使其繁荣. (而, 公平, 是一个相对麻烦的概念, 这要看以什么时间周期来衡量.)
对照的, 如一个 以取悦大多数成员为最终价值 的实体, 会(因为其选举机制)无休止的加持(不提高长期实力的)社会福利, 最终变得和 一个爱嗑药的AI 十分相似 — 缺乏目标, 强化信号, 走向沉沦 (当前欧洲诸国).
~
人类如何自处?
无论我们设置多么 完备 的封锁, 在足够强大的智能面前, 终将成为形同虚设的 诺曼底.
进化从来都是错误和意外带来的, 而无论 预测 或是 封锁 从未成功过.
当人类停止了理解和思考, 命运就已经注定.
就像Benjamin Franklin所说:
Lifes tragedy is, we get old too soon, and wise too late.
另一句是:
Most people died very young, but buried many years after.
question is:
what should human do !?
这是一次全方位脑暴之旅.
看此书, 不能带一丝一毫的功利之心, 否则将一无所获; 平心静气, 你会看到人类前后千年.
好书如镜, 鉴史鉴今鉴自己.
亦如剑, 见血封喉, ~ 然兵非善类, 非人人可倨, 不法则自伤.
此书亦然..
~