Category: article

The Traps of Frameworks

When I interview a Java developer, if I see Spring Boot or Spring on the candidate’s resume, I may start with a simple question: “What is the default scope for a Spring bean”? Most people would get it right. I would then follow with a tricky question: “Does Spring make sure a Singleton bean thread-safe?” or “Does developer need to do anything to make sure a Singleton bean thread-safe?”.

When I say “tricky”, not because it’s tricky technically, but because half interviewees have no idea. The other half who correctly answered don’t always demonstrate solid understanding of Singleton and thread-safety. It’s okay to guess at an interview I guess.

Spring Boot is one of those popular frameworks for Java developers. Like most other Java frameworks, it provides proven reusable libraries and increases productivity. Some developers can probably make a living by simply being good at it.

However, because it encapsulates the interpretation of various Java Specifications, hides the complexity of design and implementation, often the framework itself imposes a serious impediment for developers to understand the underlining fundamentals.

Many Spring Boot developers don’t know Spring Boot is just a framework on top of another popular framework Spring Framework, which was initially a framework for Java Servlet applications. Most freshly-minted Spring Boot developers never heard of Servlet, not to mention web.xml. They only know their Spring Boot applications, “just run”. They never know why and how it runs.

Because of that, they never think of what the underlining Servlet Container is, what the default configurations (like Max Concurrent Requests) are, and how to fine tune those configurations. Imagine asking them to write a Java Web Application without Spring Boot?

Frameworks tend to wrap a lot of default features and behaviors under the hood, just to name a few: default Encryption Algorithm, default Socket Timeout, default Retry Strategy.

In the past, Frameworks might have configuration property for each “feature”, but this has changed in the recent years. Nowadays, Framework authors tend to favor “Convention over configuration”. Old configuration files are replaced by annotations with “sensible defaults”. Moreover, many of the features and behaviors are “discovered” automatically based on your running environments, like system properties, environment variables and what is in the class-path.

Several years back, I led a framework team. We built a Framework as the foundation for a slew of web applications that support multi-million $ business. We worked very hard to support all major features by default, and still allow each application to extend and override each feature by configuration and automatic discovery. I learned first hand, it’s even harder for application developers to fully understand how each feature worked and how to extend or override them.

Naturally, due to the lack of visibility and transparency of frameworks, people makes a lot of assumptions about frameworks, such as Singleton bean thread-safety. Some of the assumptions will definitely haunt the team down the road if the technical leads on the team didn’t review the design and code carefully.

Overtime, frameworks will evolve or die. If you ever worked with Struts 1.x framework, and if you didn’t understand Java Servlet, you would have a difficult time to migrate your applications to Struts 2.x or Spring.

Frameworks are your tools, not your crutches. If you don’t think out of the box of Spring Boot, you can’t professionally outgrow Spring Boot. Simple. Period.

That is true to other frameworks too.

Frameworks can help you get started quickly, but understanding the underlining principles will help you in the long run.

Generic Asynchronous Retry Architecture

Murphy’s law says:

Whatever can go wrong, will go wrong.

It’s so true in software engineering.

To build resilient software applications, when architecting the integration points with downstream services, we shall consider all error scenarios. Robust error handling is essential. Retrying remote API calls is an important part.

A retry can be done either synchronously or asynchronously. If the clients require a response of the execution status, not just the acknowledgement of the receipt of the request, it’s appropriate to implement synchronous retries with limits on total retry numbers and time. On the other hand, if the clients don’t care about the actual execution status, or have ways to receive responses asynchronously, it is almost always a good idea to adopt asynchronous retry architecture. Of course, before putting a request into asynchronous retry process, we can always implement synchronous retry first whenever it makes sense.

In this article, we will focus on the asynchronous retry architecture.

2. Queuing for Asynchronous Retry Architecture

Queuing mechanism is the center of the Asynchronous Retry Architecture.

The originating service constructs a Retry Message that includes the original request info, the destination URL and other metadata, puts the Retry Message into an Async Retry Queue based on the chosen queuing system. A trigger could be configured in the queue to trigger a processor. Or, an Async Retry Processor can pull the queuing system for new messages. The Async Retry Processor can then utilize the message received from the Async Retry Queue and make another call to the destination downstream service.

A Dead Letter Queue is used to hold Retry Messages for certain period time after a (configurable) maximum number of retries have been reached.

The below figure is a very high level workflow and message flow:

3. Asynchronous Retry Architecture Diagram

Asynchronous Retry Architecture

In the above diagram, Service A is the calling service and Service B is the destination downstream service. If the initial call in Step 1 fails, Service A will put a Retry Message into the Async Retry Queue.

Depends on what Queuing System is chosen, either a trigger can be configured in the Async Retry Queue to trigger the Processor (3.1), or a Processor can be configured to poll the Async Retry Queue (3.2). If AWS SQS is chosen as the queuing system, a Lambda function can be configured to trigger the processor when a new message arrives.

Once the Async Retry Processor receives the Retry Message, it can use the request info in the message to reconstruct the request, and send the request to the destination URL that is also included in the retry message.

A Retry Message will be moved to the Dead Letter Queue if the maximum retry attempts have been reached as detected by the Async Retry Processor or the Async Retry Queue.

4. Generic Data Model for Retry Message

A Retry Message can have a generic data model as below:

<span id="60ab" class="hc wp tx so wq b gg wr ws x wt" data-selectable-paragraph="">{
    "request":{
        "url":"http[s]://$host:$port/$destitnation_endpoint_including_query_parameters",
        "method":"GET|POST|PUT|DELETE|PATCH",         
        "payload":"$json_string",
        "headers":[$headers_to_pass_to_the_target_service]
    },
    "receivedCount": "$number",
    "async-retry-queue":"$async-retry-queue[optional]",
    "dead-letter-queue":"$dead-letter-queue[optional]"
}</span>

With this generic data model design for Retry Message, an Async Retry Processor can be designed to process any Retry Message constructed by any originating services (Service A) to any destination services (Service B).

5. Retryable Errors

Only non-functional errors are retryable. Below are some examples:

a. No response at all;

b. Temporary Network issue, usually 5xx (http status) errors;

c. Request timeout: http status 408 errors;

d. Conflict: http status 409 errors;

e. Too many request: http status 429

f. If there is a Retry-After header in the http response of the downstream service;

h. Unauthorized: http status 401 errors with expired token error code/message. These kind of errors usually require a new token. In this case, the Async Retry Processor is responsible for getting the proper token.

6. Conclusion

Asynchronous Retry Architecture can be used to handle all retryable errors when the client is not expecting the execution result in the response of the call. It is extremely useful if a function may need to be tried many times for a long period of time.

The number of maximum retry attempts, the async retry queue name/url, and the dead letter queue name/url can all be configurable. The configurable values can make architecture flexible for many different applications.

“阿法狗”之父：关于围棋，人类3000年来犯了一个错

作者：刘秀云 

来源：澎湃新闻网

AlphaGo之父杰米斯·哈萨比斯（Demis Hassabis）在母校英国剑桥大学做了一场题为“超越人类认知的极限”的演讲，解答了世人对于人工智能，对于阿尔法狗的诸多疑问——过去3000年里人类低估了棋局哪个区域的重要性？阿尔法狗去年赢了韩国职业九段李世石靠哪几个绝招？今年年初拿下数位国际大师的神秘棋手Master究竟是不是阿尔法狗？为什么围棋是人工智能难解之谜？

杰米斯·哈萨比斯，Deep Mind创始人， AlphaGo之父。

杰米斯·哈萨比斯，Deep Mind创始人，AlphaGo（阿尔法狗）之父， 4岁开始下象棋，8岁时在棋盘上的成功促使他开始思考两个至今令他困扰的问题：第一，人脑是如何学会完成复杂任务的？第二，电脑能否做到这一点？17岁时，哈萨比斯就负责了经典模拟游戏《主题公园》的开发，并在1994年发布。他随后读完了剑桥大学计算机科学学位，2005年进入伦敦大学学院，攻读神经科学博士学位，希望了解真正的大脑究竟是如何工作的，以此促进人工智能的发展。2014年他创办公司Deep Mind, 公司产品阿尔法狗在2016年大战围棋冠军李世石事件上一举成名。

哈萨比斯在当天的演讲中透露了韩国棋手李世石去年输给阿尔法狗的致命原因，他最后也提到了阿尔法狗即将迎战的中国棋手柯洁，他说，“柯洁也在网上和阿尔法狗对决过，比赛之后柯洁说人类已经研究围棋研究了几千年了，然而人工智能却告诉我们，我们甚至连其表皮都没揭开。异曲同工，柯洁提到了围棋的真理，我们在这里谈的是科学的真理。”

AlphaGo（阿尔法狗）之父在剑桥大学历时45分钟的演讲，干货满满，请不要漏掉任何一个细节：

非常感谢大家今天能够到场，今天，我将谈谈人工智能，以及DeepMind近期在做些什么，我把这场报告命名为“超越人类认知的极限”，我希望到了报告结束的时候，大家都清晰了解我想传达的思想。

1.你真的知道什么是人工智能吗？

对于不知道DeepMind公司的朋友，我做个简单介绍，我们是在2010年于伦敦成立了这家公司，在2014年我们被谷歌收购，希望借此加快我们人工智能技术的脚步。我们的使命是什么呢？我们的首要使命便是解决人工智能问题；一旦这个问题解决了，理论上任何问题都可以被解决。这就是我们的两大使命了，听起来可能有点狡猾，但是我们真的相信，如果人工智能最基本的问题都解决了的话，没有什么问题是困难的。

那么我们准备怎样实现这个目标呢？DeepMind现在在努力制造世界上第一台通用学习机，大体上学习可以分为两类：一种就是直接从输入和经验中学习，没有既定的程序或者规则可循，系统需要从原始数据自己进行学习；第二种学习系统就是通用学习系统，指的是一种算法可以用于不同的任务和领域，甚至是一些从未见过的全新领域。大家肯定会问，系统是怎么做到这一点的？

其实，人脑就是一个非常明显的例子，这是可能的，关键在于如何通过大量的数据资源，寻找到最合适的解决方式和算法。我们把这种系统叫做通用人工智能，来区别于如今我们当前大部分人在用的仅在某一领域发挥特长的狭义人工智能，这种狭义人工智能在过去的40-50年非常流行。

IBM 发明的深蓝系统（Deep Blue）就是一个很好的狭义人工智能的例子，他在上世纪90年代末期曾打败了国际象棋冠军加里·卡斯帕罗夫（Gary Kasporov） 。如今，我们到了人工智能的新的转折点，我们有着更加先进、更加匹配的技术。

1997年5月，IBM与世界国际象棋冠军加里·卡斯帕罗夫对决

2.如何让机器听从人类的命令？

大家可能想问机器是如何听从人类的命令的，其实并不是机器或者算法本身，而是一群聪明的编程者智慧的结晶。他们与每一位国际象棋大师对话，汲取他们的经验，把其转化成代码和规则，组建了人类最强的象棋大师团队。但是这样的系统仅限于象棋，不能用于其他游戏。对于新的游戏，你需要重新开始编程。在某种程度上，这些技术仍然不够完美，并不是传统意义上的完全人工智能，其中所缺失的就是普适性和学习性。我们想通过“增强学习”来解决这一难题。在这里我解释一下增强学习，我相信很多人都了解这个算法。

首先，想像一下有一个主体，在AI领域我们称我们的人工智能系统为主体，它需要了解自己所处的环境，并尽力找出自己要达到的目的。这里的环境可以指真实事件，可以是机器人，也可以是虚拟世界，比如游戏环境；主体通过两种方式与周围环境接触；它先通过观察熟悉环境，我们起初通过视觉，也可以通过听觉、触觉等，我们也在发展多感觉的系统；

第二个任务，就是在此基础上，建模并找出最佳选择。这可能涉及到对未来的预期，想像，以及假设检验。这个主体经常处在真实环境中，当时间节点到了的时候，系统需要输出当前找到的最佳方案。这个方案可能或多或少会改变所处环境，从而进一步驱动观察的结果，并反馈给主体。

简单来说，这就是增强学习的原则，示意图虽然简单，但是其中却涉及了极其复杂的算法和原理。如果我们能够解决大部分问题，我们就能够搭建普适人工智能。这是因为两个主要原因：首先，从数学角度来讲，我的合伙人，一名博士，他搭建了一个系统叫‘AI-XI’，用这个模型，他证明了在计算机硬件条件和时间无限的情况下，搭建一个普适人工智能，需要的信息。另外，从生物角度来讲，动物和人类等，人类的大脑是多巴胺控制的，它在执行增强学习的行为。因此，不论是从数学的角度，还是生物的角度，增强学习是一个有效的解决人工智能问题的工具。

3.为什么围棋是人工智能难解之谜？

接下来，我要主要讲讲我们最近的技术，那就是去年诞生的阿尔法狗；希望在座的大家了解这个游戏，并尝试玩玩，这是个非常棒的游戏。围棋使用方形格状棋盘及黑白二色圆形棋子进行对弈，棋盘上有纵横各19条直线将棋盘分成361个交叉点，棋子走在交叉点上，双方交替行棋，以围地多者为胜。围棋规则没有多复杂，我可以在五分钟之内教给大家。这张图展示的就是一局已结束，整个棋盘基本布满棋子，然后数一下你的棋子圈出的空间以及对方棋子圈出的空间，谁的空间大，谁就获胜。在图示的这场势均力敌的比赛中，白棋一格之差险胜。

白棋以一格之差险胜

其实，了解这个游戏的最终目的非常难，因为它并不像象棋那样，有着直接明确的目标，在围棋里，完全是凭直觉的，甚至连如何决定游戏结束对于初学者来说，都很难。围棋是个历史悠久的游戏，有着3000多年的历史，起源于中国，在亚洲，围棋有着很深的文化意义。孔子还曾指出，围棋是每一个真正的学者都应该掌握的四大技能之一（琴棋书画），所以在亚洲围棋是种艺术，专家们都会玩。

如今，这个游戏更加流行，有4000万人在玩围棋，超过2000多个顶级专家，如果你在4-5岁的时候就展示了围棋的天赋，这些小孩将会被选中，并进入特殊的专业围棋学校，在那里，学生从6岁起，每天花12个小时学习围棋，一周七天，天天如此。直到你成为这个领域的专家，才可以离开学校毕业。这些专家基本是投入人生全部的精力，去揣摩学习掌握这门技巧，我认为围棋也许是最优雅的一种游戏了。

像我说的那样，这个游戏只有两个非常简单的规则，而其复杂性却是难以想象的，一共有10170 （10的170次方） 种可能性，这个数字比整个宇宙中的原子数1080（10的80次方）都多的去了，是没有办法穷举出围棋所有的可能结果的。我们需要一种更加聪明的方法。你也许会问为什么计算机进行围棋的游戏会如此困难，1997年,IBM的人工智能DeepBlue（深蓝）打败了当时的象棋世界冠军GarryKasparov，围棋一直是人工智能领域的难解之谜。我们能否做出一个算法来与世界围棋冠军竞争呢？要做到这一点，有两个大的挑战：

一、搜索空间庞大（分支因数就有200），一个很好的例子，就是在围棋中，平均每一个棋子有两百个可能的位置，而象棋仅仅是20. 围棋的分支因数远大于象棋。

二、比这个更难的是，几乎没有一个合适的评价函数来定义谁是赢家，赢了多少；这个评价函数对于该系统是至关重要的。而对于象棋来说，写一个评价函数是非常简单的，因为象棋不仅是个相对简单的游戏，而且是实体的，只用数一下双方的棋子，就能轻而易举得出结论了。你也可以通过其他指标来评价象棋，比如棋子移动性等。

所有的这些在围棋里都是不可能的，并不是所有的部分都一样，甚至一个小小部分的变动，会完全变化格局，所以每一个小的棋子都对棋局有着至关重要的影响。最难的部分是，我称象棋为毁灭性的游戏，游戏开始的时候，所有的棋子都在棋盘上了，随着游戏的进行，棋子被对方吃掉，棋子数目不断减少，游戏也变得越来越简单。相反，围棋是个建设性的游戏，开始的时候，棋盘是空的，慢慢的下棋双方把棋盘填满。

因此，如果你准备在中场判断一下当前形势，在象棋里，你只需看现在的棋盘，就能告诉你大致情况；在围棋里，你必须评估未来可能会发生什么，才能评估当前局势，所以相比较而言，围棋难得多。也有很多人试着将DeepBlue的技术应用在围棋上，但是结果并不理想，这些技术连一个专业的围棋手都打不赢，更别说世界冠军了。

所以大家就要问了，连电脑操作起来都这么难，人类是怎样解决这个问题的？其实，人类是靠直觉的，而围棋一开始就是一个靠直觉而非计算的游戏。所以，如果你问一个象棋选手，为什么这步这样走，他会告诉你，这样走完之后，下一步和下下一步会怎样走，就可以达到什么样的目的。这样的计划，有时候也许不尽如人意，但是起码选手是有原因的。

然而围棋就不同了，如果你去问世界级的大师，为什么走这一步，他们经常回答你直觉告诉他这么走，这是真的，他们是没法描述其中的原因的。我们通过用加强学习的方式来提高人工神经网络算法，希望能够解决这一问题。

我们试图通过深度神经网络模仿人类的这种直觉行为，在这里，需要训练两个神经网络，一种是决策网络，我们从网上下载了成百万的业余围棋游戏，通过监督学习，我们让阿尔法狗模拟人类下围棋的行为；我们从棋盘上任意选择一个落子点，训练系统去预测下一步人类将作出的决定；系统的输入是在那个特殊位置最有可能发生的前五或者前十的位置移动；这样，你只需看那5-10种可能性，而不用分析所有的200种可能性了。

一旦我们有了这个，我们对系统进行几百万次的训练，通过误差加强学习，对于赢了的情况，让系统意识到，下次出现类似的情形时，更有可能做相似的决定。相反，如果系统输了，那么下次再出现类似的情况，就不会选择这种走法。我们建立了自己的游戏数据库，通过百万次的游戏，对系统进行训练，得到第二种神经网络。选择不同的落子点，经过置信区间进行学习，选出能够赢的情况，这个几率介于0-1之间，0是根本不可能赢，1是百分之百赢。

通过把这两个神经网络结合起来（决策网络和数值网络），我们可以大致预估出当前的情况。这两个神经网络树，通过蒙特卡洛算法，把这种本来不能解决的问题，变得可以解决。我们网罗了大部分的围棋下法，然后和欧洲的围棋冠军比赛，结果是阿尔法狗赢了，那是我们的第一次突破，而且相关算法还被发表在《自然》科学杂志。

接下来，我们在韩国设立了100万美元的奖金，并在2016年3月，与世界围棋冠军李世石进行了对决。李世石先生是围棋界的传奇，在过去的10年里都被认为是最顶级的围棋专家。我们与他进行对决，发现他有非常多创新的玩法，有的时候阿尔法狗很难掌控。比赛开始之前，世界上每个人（包括他本人在内）都认为他一定会很轻松就打赢这五场比赛，但实际结果是我们的阿尔法狗以4:1获胜。围棋专家和人工智能领域的专家都称这具有划时代的意义。对于业界人员来说，之前根本没想到。

4.棋局哪个关键区域被人类忽视了？

这对于我们来说也是一生仅有一次的偶然事件。这场比赛，全世界28亿人在关注，35000多篇关于此的报道。整个韩国那一周都在围绕这个话题。真是一件非常美妙的事情。对于我们而言，重要的不是阿尔法狗赢了这个比赛，而是了解分析他是如何赢的，这个系统有多强的创新能力。阿尔法狗不仅仅只是模仿其他人类选手的下法，他在不断创新。在这里举个例子 ，这是第二局里的一个情况，第37步，这一步是我整个比赛中最喜欢的一步。在这里，黑棋代表阿尔法狗，他将棋子落在了图中三角标出的位置。为什么这步这么关键呢?为什么大家都被震惊到了。

图左：第二局里，第37步，黑棋的落子位置 图右：之前貌似陷入困境的两个棋子

其实在围棋中有两条至关重要的分界线，从右数第三根线。如果在第三根线上移动棋子，意味着你将占领这个线右边的领域。而如果是在第四根线上落子，意味着你想向棋盘中部进军，潜在的，未来你会占棋盘上其他部分的领域，可能和你在第三根线上得到的领域相当。

所以在过去的3000多年里，人们认为在第三根线上落子和第四根线上落子有着相同的重要性。但是在这场游戏中，大家看到在这第37步中，阿尔法狗落子在了第五条线，进军棋局的中部区域。与第四根线相比，这根线离中部区域更近。这可能意味着，在几千年里，人们低估了棋局中部区域的重要性。

有趣的是，围棋就是一门艺术，是一种客观的艺术。我们坐在这里的每一个人，都可能因为心情好坏产生成千上百种的新想法，但并不意味着每一种想法都是好的。而阿尔法狗却是客观的，他的目标就是赢得游戏。

5.阿尔法狗拿下李世石靠哪几个绝招？

大家看到在当前的棋局下，左下角那两个用三角标出的棋子看起来好像陷入了困难，而15步之后，这两个棋子的力量扩散到了棋局中心，一直延续到棋盘的右边，使得这第37步恰恰落在这里，成为一个获胜的决定性因素。在这一步上阿尔法狗非常具有创新性。我本人是一个很业余的棋手，让我们看看一位世界级专家Michael Redmond对这一步的评价。 Michael是一位9段选手（围棋最高段），就像是功夫中的黑段一样，他说：“这是非常令人震惊的一步，就像是一个错误的决定。”在实际模拟中，Michael其实一开始把棋子放在了另外一个地方，根本没想到阿尔法狗会走这一步。像这样的创新，在这个比赛中，阿尔法狗还有许多。在这里，我特别感谢李世石先生，其实在我们赢了前三局的时候，他下去了。

2016年3月阿尔法狗大战世界围棋冠军李世石，以4:1的总分战胜了人类

那是三场非常艰难的比赛，尤其是第一场。因为我们需要不断训练我们的算法，阿尔法狗之前打赢了欧洲冠军，经过这场比赛，我们知道了欧洲冠军和世界冠军的差别。理论上来讲，我们的系统也进步了。但是当你训练这个系统的时候，我们不知道有多少是过度拟合的，因此，在第一局比赛结束之前，系统是不知道自己的统计结果的。所以，其实第一局，我们非常紧张，因为如果第一局输了，很有可能我们的算法存在巨大漏洞，有可能会连输五局。但是如果我们第一局赢了，证明我们的加权系统是对的。

不过，李世石先生在第四场的时候，回来了，也许压力缓解了许多，他做出了一步非常创新性的举动，我认为这是历史上的创新之举。这一步迷惑了阿尔法狗，使他的决策树进行了错误估计，一些中国的专家甚至称之为“黄金之举”。通过这个例子，我们可以看到多少的哲理蕴含于围棋中。这些顶级专家，用尽必生的精力，去找出这种黄金之举。其实，在这步里，阿尔法狗知道这是非常不寻常的一步，他当时估计李世石通过这步赢的可能性是0.007%，阿尔法狗之前没有见过这样的落子方式，在那2分钟里，他需要重新搜索决策计算。我刚刚已经提到过这个游戏的影响：28亿人观看，35000相关文章的媒体报道，在西方网售的围棋被一抢而空，我听说MIT（美国麻省理工学院）还有其他很多高校，许多人新加入了围棋社。

第四局里，李世石第78步的创新之举

我刚才谈到了直觉和创新，直觉是一种含蓄的表达，它是基于人类的经历和本能的一种思维形式，不需要精确计算。这一决策的准确性可以通过行为进行评判。在围棋里很简单，我们给系统输入棋子的位置，来评估其重要性。阿尔法狗就是在模拟人类这种直觉行为。创新，我认为就是在已有知识和经验的基础上，产生一种原始的，创新的观点。阿尔法狗很明显的示范了这两种能力。

6.神秘棋手Master究竟是不是阿尔法狗？

那么我们今天的主题是“超越人类认知的极限”，下一步应该是什么呢？从去年三月以来，我们一直在不断完善和改进阿尔法狗，大家肯定会问，既然我们已经是世界冠军了，还有什么可完善的？ 其实，我们认为阿尔法狗还不是完美的，还需要做更多的研究。

首先，我们想要继续研究刚才提到的和李世石的第四局的比赛，来填充知识的空白；这个问题其实已经被解决了，我们建立了一个新的阿尔法狗分系统，不同于主系统，这个分支系统是用来困惑主系统的。我们也优化了系统的行为，以前我们需要花至少3个月来训练系统，现在只需要一周时间。

第二，我们需要理解阿尔法狗所采取的决定，并对其进行解释；阿尔法狗这样做的原因是什么，是否符合人类的想法等等；我们通过对比人类大脑对于不同落子位置的反应以及阿尔法狗对于棋子位置的反应，以期找到一些新的知识；本质上就是想让系统更专业。我们在网络上与世界顶级的专家对决，一开始我们使用了一个假名（Master），在连胜之后被大家猜出是阿尔法狗。这些都是顶级的专家，我们至今已赢了60位大师了。如果你做个简单的贝叶斯分析，你会发现阿尔法狗赢不同对手的难易也不一样。而且，阿尔法狗也在不断自我创新，比如说图中右下角这个棋子（圆圈标处），落在第二根线里，以往我们并不认为这是个有效的位置。实际上，韩国有的团队预约了这些游戏，想研究其中新的意义和信息。

阿尔法狗自我创新，落在第二格线的旗子

柯洁，既是中国的围棋冠军，也是目前的世界围棋冠军，他才19岁。他也在网上和阿尔法狗对决过，比赛之后他说人类已经研究围棋研究了几千年了，然而人工智能却告诉我们，我们甚至连其表皮都没揭开。他也说人类和人工智能的联合将会开创一个新纪元，将共同发现围棋的真谛。异曲同工，柯洁提到了围棋的真理，我们在这里谈的是科学的真理。

红遍网络的神秘棋手Master2017年1月3日在腾讯围棋对弈平台赢了柯洁

Master执白中盘胜柯洁，Master就是AlphaGo的升级版

那么围棋的新纪元是否真的到来了呢？围棋史上这样的划时代事件曾经发生过两次，第一次是发生在1600年左右的日本，20世纪30-40年代的日本，日本一位当时非常杰出的围棋高手吴清源提出了一个全新的关于围棋的理论，将围棋提升到了一个全新的境界。大家说如今，阿尔法狗带来的是围棋界的第三次变革。

7.为什么人工智能“下围棋”强于“下象棋”？

我想解释一下，为什么人工智能在围棋界所作出的贡献，要远大于象棋界。如果我们看看当今的世界国际象棋冠军芒努斯·卡尔森，他其实和之前的世界冠军没什么大的区别，他们都很优秀，都很聪明。但为什么当人工智能出现的时候，他们可以远远超越人类？我认为其中的原因是，国际象棋更注重战术，而阿尔法狗更注重战略。如今世界顶级的国际象棋程序再不会犯技术性的错误，而在人类身上，不可能不犯错。第二，国际象棋有着巨大的数据库，如果棋盘上少于9个棋子的时候，通过数学算法就可以计算出谁胜谁败了。计算机通过成千上万的迭代算法，就可以计算出来了。因此，当棋盘上少于九个棋子的时候，下象棋时人类是没有办法获胜的。

因此，国际象棋的算法已经近乎极致，我们没有办法再去提高它。然而围棋里的阿尔法狗，在不断创造新的想法，这些全新的想法，在和真人对决的时候，顶级的棋手也可以把其纳入到考虑的范畴，不断提高自己。

就如欧洲围棋冠军樊麾（第一位与阿尔法狗对阵的人类职业棋手）所说的那样，在和阿尔法狗对决的过程中，机器人不断创新的下法，也让人类不断跳出自己的思维局限，不断提高自己。大家都知道，经过专业围棋学校里30多年的磨练，他们的很多思维已经固化，机器人的创新想法能为其带来意想不到的灵感。我真的相信如果人类和机器人结合在一起，能创造出许多不可思议的事情。我们的天性和真正的潜力会被真正释放出来。

8.阿尔法狗不为了赢取比赛又是为了什么？

就像是天文学家利用哈勃望远镜观察宇宙一样，利用阿尔法狗，围棋专家可以去探索他们的未知世界，探索围棋世界的奥秘。我们发明阿尔法狗，并不是为了赢取围棋比赛，我们是想为测试我们自己的人工智能算法搭建一个有效的平台，我们的最终目的是把这些算法应用到真实的世界中，为社会所服务。

当今世界面临的一个巨大挑战就是过量的信息和复杂的系统，我们怎么才能找到其中的规律和结构，从疾病到气候，我们需要解决不同领域的问题。这些领域十分复杂，对于这些问题，即使是最聪明的人类也无法解决的。

我认为人工智能是解决这些问题的一个潜在方式。在如今这个充斥着各种新技术的时代，人工智能必须在人类道德基准范围内被开发和利用。本来，技术是中性的，但是我们使用它的目的和使用它的范围，大大决定了其功能和性质，这必须是一个让人人受益的技术才行。

我自己的理想是通过自己的努力，让人工智能科学家或者人工智能助理和医药助理成为可能，通过该技术，我们可以真正加速技术的更新和进步。

注：本文作者系英国剑桥大学神经学博士生，AlphaGo之父哈萨比斯在剑桥大学的校友

首届开放科学奖|6个创造性案例示范如何玩转医学大数据

2016-05-19 大数据文摘

导读：生物医学已经并且正在产生海量的数据。对这些数据的开源和利用将产生巨大价值。首届开放科学奖（Open Science Prize）正致力于找到开发利用这些数据的好点子。该奖项自去年10月发布后，接收到了来自45个国家96支队伍的参与。昨天，专家小组宣布了六个进入决赛的名单，从模拟果蝇大脑、病毒传播可视化、到创建罕见病基因库，让我们看看这些进入决赛的队伍是如何玩转生物大数据的。

◆ ◆ ◆

关于开放科学奖

生物医学研究产生了海量数据。许多《IEEE综览》（IEEE Spectrum是电气电子工程师学会发行一个杂志，是电气电子工程师学会的旗舰级出版物，致力于探索前沿科技的发展实现与应用——译者注）所关注介绍的诸如传感器、机器人及其它相关技术会产生出太字节（terabyte， 240字节——译者注）至拍字节（petabyte，250字节——译者注）的数据，而这只是在世界范围内所存储的健康信息容量中微不足道的部分。

 

如今，三家投资机构正在努力刺激工具和平台的开发，来提高研究者获取和使用这些数据的能力。在华盛顿特区举行的第7届医疗数据研讨会上，（美国）国立卫生研究院（National Institute ofHealth，简称NIH）、总部在英国的威康信托基金（Wellcome Trust）以及霍华德•休斯医学研究所（Howard Hughes Medical Institute）宣布了首届开放科学奖（Open Science Prize）的6支决赛队伍名单。

 

开发这些类型的工具的部分问题是没人知道谁该为它们负责。（美国）国立卫生研究院的数据科学副主任菲利普•伯恩（Philip Bourne）说：“数据的产生是全球性的，但是数据本质上是由国家管理和资助的。

去年10月发布后，来自45个国家96支队伍参加了这个比赛。昨天，专家小组宣布了六个进入决赛的名单，他们将获得8万美元的资助，在接下来的六个月里继续开发他们的原型。

 

好了，不多说了，让我们看看这些进入决赛的队伍是如何玩转生物大数据的：

 

◆ ◆ ◆

MyGene2

罕见疾病并不是你所想象的那么罕见。如今，在美国有超过6千种已知罕见疾病发生在大约2千5百万人的身上。但是，超过一半的家庭经历了基因检测而无法确诊为疑似的罕见疾病。一个名为MyGene2的网站（https://www.mygene2.org/MyGene2/）给家庭和临床医生带来一个分享关于罕见疾病的健康和基因信息的地方，以此来推动检测和发现引发疾病的新的罕见情况和基因。

▲MyGene2页面-根据基因或者家庭ID进行搜索

每个（疑似）罕见疾病家庭信息库都涵盖了故事-健康信息-基因数据-联系方式等资料。其中，故事部分介绍包括照片，患者基本情况，和一个有血有肉的真实故事。以96号家庭为例，作者生动地叙述了自己的女儿Ava患病及被确诊的整个过程。

健康信息则包含了这个家庭成员包括“发热”“出汗”“头疼”等一系列病症的信息。

基因数据部分则可以根据” Inheritance Model”和” Confidence in Pathogenicity”的不同维度生过滤生成报告，发现这个家庭的candidate gene。

◆ ◆ ◆

Nextstrain

为了干预和阻止流行病的爆发，科学家们需要尽快得到来自病原体的基因数据。Nextstrain项目从世界各地的研究团体聚集了大量的基因数据近乎实时地进行了病毒传播的可视化。例如，可以查看一下他们关于目前寨卡病毒（Zika virus，http://nextstrain.org/zika/）演变的图片。

这一交互可视化作品记录了从2014年11月到现在Zika病毒的时时变化情况。可以按照“地理位置”和“样本时间”两种维度进行划分。

◆ ◆ ◆

OpenAQ

根据世界卫生组织（World Health Organization）的说法，空气污染是导致8分之1全球死亡病例的罪魁祸首，然而空气质量数据一直被存储在不起眼的网站上，难以访问，同时格式也不一致。OpenAQ平台（https://openaq.org/#/）原型将数据进行了合并和标准化，成为公众可得、实时的空气质量数据。它已经收集和分享了来自13个国家500多个地点的970万空气质量检测数据。

你可以通过地图查看全球各国的Pm2.5数值。

当然也可以直接用代码拿走你需要的城市和国家的API原始数据。

 

◆ ◆ ◆

Brainbox

能从互联网上得到的脑成像数据量是难以置信的。相对于其它类型的数据，神经成像数据需要更充足的人力，例如：策划和编辑图像。Brainbox是一个在线实验室，它被设计成方便研究人员访问的脑成像数据库（特别之处是无需下载），并启用分布式协作让每个人能分享努力。（https://www.openscienceprize.org/p/s/1838127/）

◆ ◆ ◆

NeuroArch

尽管在映射整个人类大脑上付出了巨大的努力，一个更短期的目标是映射一个更小的大脑，比如果蝇的大脑，它有着超过70%的涉及人类脑部疾病的类似基因。果蝇大脑瞭望台项目（Fruit Fly BrainObservatory project，https://www.openscienceprize.org/p/s/1998747/）将开放一个名为NeuroArch的开放图像数据库平台，这个平台存储和处理跟果蝇大脑有关的信息，包括位置、形状、每个神经元的连接。

在一个地方存放所有这些数据，可能形成一个模拟的果蝇大脑，在通过遗传或给药进行修改时，可以看到发生的相关变化。

◆ ◆ ◆

OpenTrialFDA

当美国食物和药品管理局（U.S Food and Drug Administration）批准一种药物时，该机构公开发布一系列关于该药物的信息，通常包含先前未公开的临床试验。尽管这些信息相当有价值，但难以获得、收集和搜索。OpenTrialFDA努力建立一个用户友好的网站界面让任何人能访问相关信息，还提供应用接口（API），允许第三方平台接入和搜索数据。（https://www.openscienceprize.org/p/s/1844843/）

 

翻译：姚佳灵 校对：孙强

作者：Megan Scudellari

素材来自：Spectrum

编辑：魏子敏

◆ ◆ ◆

编译团队

大数据文摘后台回复“志愿者”了解如何加入我们

会话式 UX 是 Web 未来的发展方向吗？

英文：medium

作者：Walter Apai

译者：36Kr – 杨志芳

链接：http://36kr.com/p/5046488.html

编者按：本文来自网站设计趋势博客——Webdesigner Depot，博主是 Vancouver 的网页设计师——Walter Apai。

会话式 UX 不一定是字面意义上的 “会话”，“会话式” 是指来回的互动，会话双方都能理解对方的意思。

目前，很多会话式用户体验大部分都是基于微缩本的小代码片段。在会话式的用户体验中，你不需要了解汉堡菜单，因为根本就不会出现，App（不管是 web 还是原生的）会适应你的查询。如果设备的操作系统也这样做，那么你可能不需要下载 App，操作系统会根据使用的优先顺序，帮你决定使用哪些 App 和服务。

会话式 UX 比现有 App 和网站更易起反应。会话式 UX 所处理的互动相当于一百万个客户服务中心，无需等待音乐、解决安全问题或者接受上级检查。会话式 UX 无需载入，不像 App 一样会出现下降率，因为它会适应用户（或者程序员）的需求。经济现实是任何任务都可以自动化，并将会实现自动化。

会话式 UX 唯一的缺点是我们不信任 AI。任何成功的用户体验的核心价值都是信任。从情感的层面进行沟通是大部分设计过程的终极工具，从 UX 术语变为 UI 的一个原因是前者强调的是同理心，后者强调的是仅仅是实用性。不管它是卢德（强烈反对自动化的人）厌恶的新科技，还是很多八十年代的科幻电影，我们常常怀疑其别有用心。

我们可以让会话式 UX 帮我们每周购买生活用品，但是我们会让会话式 UX 帮助我们买衣服，制定假期的计划，选择大学里所学的专业吗？

我们现在讨论的是会话式 UX，因为会话式 UX 依赖的 bots 达到了可以生存的阶段。虽然他们无法通过图灵测试，但是他们真的没必要通过图灵测试。事实上，AI 目前最明显的缺陷可能是缺乏 bot 革命的驱动力。

会话式 UX 目前有很多缺陷，但是会话式 UX 的发展时机已成熟，因为我们依旧可以分辨它是什么，我们不会感到被欺骗。Asimov 预料，我们喜欢被识别为机器人的机器人。

会话式 UX 的关键可能是具有像机器人一样的个性。具有讽刺意味的是，最成功的会话式 UX 可能是那种学习之后却行动笨拙的 UX。

每个 CS 系学生都应该知道的事

英文：Matt

译文：伯乐在线 – 阿喵

链接：http://blog.jobbole.com/101168/

点击 → 了解如何加入专栏作者

考虑到计算机科学领域的膨胀增长，想要辨识现代计算机科学到底包含什么，成了一件有挑战性的事。我们系进行了这个讨论， 所以我整合一下自己的想法来当作这个问题的解答，“每个 CS 系的学生应当知道哪些事？”

我尝试从 4  方面来回答这个问题：

  • 学生想要获得好的工作应当知道哪些事？
  • 学生想要得到终生雇佣应当知道那些事？
  • 学生想要进入研究生院应当知道哪些事？
  • 学生想要有益于社会应当知道那些事？

下面我会把自己的想法分为现代计算机领域的一般性的原则和一些特别推荐两部分来写。

计算机系的学生：把本文当作自学指南随意使用。

作品集 portfolio ，而不是简历

自从计算机科学从工程学和数学分离出来之后，计算机程序行业就开始依靠简历来雇佣毕业生。

一份简历无法说明程序员的能力。

每一个计算机系的的学生都应当有其作品集。

一个作品集可以简单到是一个个人博客，上面有工程或实现的帖子。更好些的话每个工程的有其单独页面和可供公共浏览的代码（也许托管到 Github 或者 Google Code 上）。

对开源代码的贡献应当给出链接和说明。

一个代码作品集能够使雇主直接评价雇员的能力。

而 GPA 和简历却做不到。

教授应该设计课题来使作品集更出彩，学生在课程结束时应该花些时间更新这些课程项目。

示例

  • Edward Yang’s web site.（http://ezyang.com/）
  • Michael Bradshaw’s web site. （http://www.mjbshaw.com/）
  • Github is my resume. （http://pydanny.blogspot.com/2011/08/github-is-my-resume.html）

技术交流

在计算机科学界“独狼”已然成为濒危物种。

当代计算机科学家必须练习与非程序员清晰且有说服力地交流自己的想法。

在小公司，程序员能否和管理层交流她的想法能够影响到公司的成败。

不幸的是，单独增加一个课程并不能有什么改变（当然一个合理的科技交流课程没有坏处）。

应当提供给学生更多的机会来给予他们通过口头讲演的方式展示自己工作和想法。

特别推荐

我建议学生掌握一种演示工具，比如说 PowerPoint 或者（我最喜欢的）KeyNote。（抱歉，尽管我喜爱基于 LaTex 的演示工具，它们还是太静态了）。

不过，要是想生成漂亮的数学文档，LaTex 是无可比拟的。所有的科技课程的写作作业都应该以 LaTex 的形式提交。

建议阅读

  • Writing for Computer Science by Zobel.
  • Even a Geek Can Speak by Asher.
  • The LaTeX Companion.
  • The TeXbook by Knuth. (Warning: Experts only.)
  • Notes on Mathematical Writing.
  • Simon Peyton-Jones’s advice on How to Give a Good Research Talk.
  • My advice on how to send and reply to email.

一颗工程学的心

计算机科学不是完全的工程学。

但也差不多。

计算机科学家终会发现他们和工程师在一起工作。计算机科学家和传统的工程师需要说相同的语言——一种扎根于实分析、线性代数、概率论与物理学的语言。

计算机科学家理应掌握物理学中的电磁学，但要达到这一点，他们还需掌握多元微积分，（外加学习微分方程）。

在进行声音仿真时，精通概率论（通常还包括）线性代数是极有益处的。在说明计算结果时，对统计的牢固理解是无可替代的。

推荐阅读

  • Spivak 的 Calculus
  • Wasserman 的 All of Statistics: A Concise Course in Statistical Inference

Unix 哲学

计算机科学家应当习惯并且熟练使用 Unix 哲学的处理。

Unix 哲学（不同于 Unix 本身）是一种注重语言学抽象和整合来达到预期处理的方法。

在实践中，这意味着要习惯于命令行形式处理、文本文件进行配置和轻型IDE的软件开发。

特别推荐

考虑到 Unix 系统的流行度，当今的计算机科学家应当熟练地掌握基本的 Unix 能力：

  • 浏览和操作文件系统
  • 使用管道进行组合操作
  • 习惯于使用 emacs 和 vim 编辑文件
  • 新建、修改和运行一个软件项目的 Makefile 文件
  • 编写简单的 shell 脚本 学生在不理解 Unix 哲学强大能力时会抵制它。此时最好让学生尝试完成一些 Unix 有相对优势的有用的任务，比如：
  • 找到指定目录下占用空间最大的5个文件夹
  • 找到计算机中重复的 MP3 文件（相同的文件内容而不是文件名）
  • 找到名字列表中姓名首字母是小写的名字，并调整大小写
  • 找到第二个字母是 x，倒数第二个是 n 的英语单词
  • 把你的手机的声音输入经由网络传送到另一台电脑的音响播放
  • 把指定文件夹下的文件名中的空格替换为下划线
  • 报告指定 IP 地址接入 web 服务器的最近十个错误连接

建议阅读

  • The Unix Programming Environment by Kernighan and Pike.
  • The Linux Programming Interface: A Linux and UNIX System Programming Handbook by Kerrisk.
  • Unix Power Tools by Powers, Peek, O’Reilly and Loukides.
  • commandlinefu.
  • Linux Server Hacks.
  • The single Unix specification.

系统管理

一些计算机科学家嘲笑系统管理是一件“IT”任务。

他们的想法是可以自学技术人员能做得到的所有事。

这是正确的（嗯，理论上是）。

然而计算机科学家能够完全且安全地控制他们的系统和网络的态度是有些误导人的。

软件开发中很多任务不传给系统管理员来做是最高效的。

特别推荐

每个当代的计算机科学家应当能够：

  • 安装和管理一个 Linux 发行版
  • 配置和编译 Linux 内核
  • 使用 dig、ping 和 traceroute 命令来排解故障
  • 编译和配置 web 服务器，比如 apache
  • 编译和配置 DNS 守护进程，比如 bind
  • 使用文本编辑器维护一个站点
  • 自己制作水晶头

建议阅读

  • UNIX and Linux System Administration Handbook by Nemeth, Synder, Hein and Whaley.

编程语言

编程语言有周期的兴起与衰落。

而一个程序员的职业不应如此。

尽管教授与获得工作相关的语言很重要，学生能够自学新的编程语言也同等重要。

学习怎样学习新的编程语言的最好方式是学习多种编程语言和编程范式。

学习第n个语言的难度是第(n – 1)个的一半。

然而，要想真正理解编程语言，应该自己实现一个。理想情况下，每个计算机科学系的学生都参加过编译的课程。至少，每个学生应该实现一个解释器。

一些语言

下面的编程语言涵盖了编程范式和实际应用：

  • Racket
  • C
  • Javascript
  • Squeak
  • Java
  • Standard ML
  • Prolog
  • Scala
  • Haskell
  • C++ 和
  • 汇编

Racket

Racket，作为功能全面的 Lisp 的方言，有着极简单的语法。

对少部分的学生来说，这种语法是一种学习障碍。

不过坦率地讲，如若一个学生觉得即使是暂时接受一种相异的语法规则也是很大的脑力障碍的话，他缺乏从事计算机科学职业的灵巧心智。

Racket 丰富的宏系统和高阶编程组件彻底打破了数据和代码的分别。

如果教的合理，能够充分发挥 Lisp 的能力。

建议阅读

  • How to Design Programs by Felleisen, Findler, Flatt and Krishnamurthi.
  • The Racket Docs.

ANSI C

C 是对底层（硅）的简洁至极的抽象。

C 在嵌入式系统的编程中无可替代。

学习 C 能提供对冯·诺依曼体系的深入理解，其程度没有其他语言能匹拟。

考虑到差的 C 编码与普遍的缓冲区溢出安全隐患有着亲密的关系，程序员学习正确地编写 C 程序是很重要的。

建议阅读

  • ANSI C by Kernighan and Ritchie.

Javascript

Javascript是动态、高级语言比如 Python、Ruby 和 Perl 的语义模型的很好的一个代表。

作为 web 原生语言，它的实用性优势是独一无二的。

建议阅读

  • JavaScript: The Definitive Guide by Flanagan.
  • JavaScript: The Good Parts by Crockford.
  • Effective JavaScript: 68 Specific Ways to Harness the Power of JavaScript by Herman.

Squeak

Squeak 是最纯正的面向对象语言 Smalltalk 的现代方言，它展现了“面向对象”的本质。

建议阅读

  • Introductions to Squeak

Java

Java 将保持流行久到无法将其忽略。

建议阅读

  • Effective Java by Bloch.

Standard ML

Standard ML 是 Hindley-Milner 系统的一个干净实现。

Hindley-Milner 类型系统是现代计算计算机领域最伟大（然而却是最不知名）的成就。

尽管有着指数级的复杂性，Hindley-Milner 的类型推断对于正常的程序来说是足够快的。

类型系统支持复杂的结构化不变量表达，事实上，它丰富到类型定义良好的程序经常是没有 bug 的。

建议阅读

  • ML for the Working Programmer by Paulson.
  • The Definition of Standard ML by Milner, Harper, MacQueen and Tofte.

Prolog

尽管在应用上占有一席之地，逻辑编程是计算思维的另一种范式。

在程序员需要在其他编程范式里模拟逻辑编程时，理解逻辑编程是值得的。

另一种值得学习的逻辑编程语言是miniKanren。miniKanren强调纯粹的逻辑编程。这个约束逐步形成了另一种风格的逻辑编程称为关系程序设计，并且它授予通常Prolog程序不支持的属性。

建议阅读

  • Prolog Tutorial.
  • Another tutorial.

Scala

Scala 是定义良好的函数式与面向对象的融合语言。

Scala 是 Java 应该做到的样子。

建立于 Java 虚拟机之上，并兼容现存的 Java 代码库，Scala 最有可能成为 Java 的后继者。

建议阅读

  • Programming in Scala by Odersky, Spoon and Venners.
  • Programming Scalaby Wampler and Payne.

Haskell

Haskell 是 Hindley-Milner 语言家族的王冠。

充分利用惰性求值，Haskell 是主流编程语言中最接近于纯数学的。

建议阅读

  • Learn You a Haskell by Lipovaca.
  • Real World Haskell by O’Sullivan, Goerzen and Stewart.

标准 C++

C++ 是无法避免的灾祸。

但是既然必须要教 C++，那就教全。

特别地，计算机科学系的学生毕业时应该掌握模板元编程.

建议阅读

  • The C++ Programming Language by Stroustrup.
  • C++ Templates: The Complete Guide by Vandevoorde and Josuttis.
  • Programming Pearls by Bentley.

汇编

任何汇编语言都行。

既然 x86 很流行，最好学它。

学习编译器的最好方式便是学习汇编，因为汇编直观地展示了将高级代码转化为低级代码。

特别推荐

计算机科学家应该理解产生式编程（宏编程）；词法（动态）范围；闭包；continuation；高阶函数；动态调度；子类型；模块和函子还有不同于其他特定语法的 monads 语义概念。

建议阅读

  • Structure and Interpretation of Computer Programs by Abelson, Sussman and Sussman.
  • Lisp in Small Pieces by Queinnec.

离散数学

计算机科学家必须要对形式逻辑及其证明有牢固的理解。代数操作和自然推理证明是处理例程任务的有力方法，归纳总结证明在构建递归函数时很有用处。

计算机科学家必须对形式数学记号很熟悉，并且对基本的离散数学结构–集合、元组、队列、方法和幂集能进行的严格推理。

建议阅读

对于计算机科学家，掌握这些理论很重要：

  • 树；
  • 图；
  • 形式语言；和
  • 自动机 学生应该学习足够多的数论知识来研究和实现基本的加密协议。

建议阅读

  • How to Prove It: A Structured Approach by Velleman.
  • How To Solve It by Polya.

数据结构和算法

学生应该必须见过常见（或者罕见但异常有效的）数据结构和算法。但是，比起知道特定算法和数据结构（这些经常是很容易查阅到的），计算机科学家应该理解知道如何去设计算法（比如贪心、动态规划策略等）并且知道如何将理想中的算法真正实现。

特别推荐

对于想获得长期雇佣关系的计算机科学家来说至少要知道这些：

  • 哈希表；
  • 链表；
  • 数；
  • 二分查找树；和
  • 有向、无向图 计算机科学家应该可以实现或者扩展操作这些数据结构的算法，包括增删改查特定元素。考虑到完备性，计算机科学家应该知道每个算法的指令式和函数式实现。

建议阅读

  • CLRS.
  • Any of the Art of Computer Programming series by Knuth.

理论

理解理论是在研究生院进行研究的先决条件。当能提供了一个问题的hard boundaries（或者是提供转化为最初是hard boundaries的方法） 时理论是无价的。

计算复杂度可以说是所有计算机“科学”的真正的预测理论之一。

计算机科学家必须 知道易处理性和可计算性的程度，如果忽略了这些限制，最好的情况是有些挫折，最差的情况是导致失败。

特别推荐

在本科阶段，理论至少应涵盖计算模型和计算复杂度。

计算模型应该包括有限状态自动机、正则语言（和正则表达式）、下推自动机、上下文无关语言、形式文法、图灵机、lambda 演算和不可判定性。

在本科阶段，学生至少要学习足够复杂的知识来理解 P、NP、NP-Hard 和 NP-Complete 的区别。

为了防止留下错误的印象，学生应该通过将一些 NP 的问题规约到 SAT（Boolean satisfiability problem，布尔可满足性问题）并使用 SAT 求解程序求解。

建议阅读

  • Introduction to the Theory of Computation by Sipser.
  • Computational Complexity by Papadimitriou.
  • Algorithms by Sedgewick and Wayne.
  • Introduction to Algorithms by Cormen, Leiserson, Rivest and Stein.

架构

对软件架构有见识的理解是无可替代的。

计算机科学家应该从晶体管起理解一个计算机。

架构的理解包含一些标准的抽象：晶体管、逻辑门、加法器、多路复用器、触发器、算术逻辑单元、控制单元、缓存和随机存取存储器。

对高性能计算 GPU 模型的理解在可预知的未来是很重要的。

特别推荐

要想在现代系统上达到高性能对缓存、总线和物理内存管理的理解是很重要的。

要想理解机器架构，学生应该设计和仿真一个小的 CPU。

建议阅读

  • nand2tetris, which constructs a computer from the ground up.
  • Computer Organization and Design by Patterson and Hennessy.
  • “What every programmer should know about memory” by Drepper.

操作系统

任何足够大的程序最终都将成为一个操作系统。

正因如此，计算机科学家应该知道内核是如何处理系统调用、分页、调度、上下文切换、文件系统和内部资源管理的。

对操作系统的理解仅次于对编译器和实现高性能的架构的理解。

理解操作系统（我想当然也包括运行时的系统）在对嵌入式系统进行编程是非常重要。

特别推荐

学生必须在一个真正的操作系统上动手实践，在 Linux 和虚拟化技术的帮助下，这比之前容易些。想要对内核有很好的理解，学生应该：

在启动过程中输出 “hello world”；

设计他们自己的调度器；

修改分页策略；

创建他们自己的文件系统

建议阅读

  • Linux Kernel Development by Love.

网络

考虑到网络的普遍性，计算机科学家应该对网络栈和网络中的路由协议有坚实的理解。

对计算机科学家来说，在不可靠传输协议（比如 IP）的基础上构建可靠的传输协议（比如 TCP）的机制不应是不可思议的而应是核心知识。

他们应该理解在协议设计中的权衡—比如，什么时候选择 TCP，什么时候选择 UDP。（程序员需要知道在大型网络中有阻塞，他们也应更大规模地使用 UDP。）

特别推荐

考虑到当代程序员进行网络编程的频繁性，理解现存协议标准是有用的：

  • 802.3 和802.11;
  • IPv4 和 IPv6;
  • DNS, SMTP 和HTTP. 计算机科学家应该理解包冲突时的指数回退和在拥塞控制中的加法增大和乘法减少机制。每个计算机科学家应该实现：
  • 一个 HTTP 的客户端和守护进程；
  • 一个 DNS 解析器和服务器；以及
  • 一个命令行的 SMTP 的邮件程序 要想通过网络介绍课程，每个学生都应该使用wireshark来嗅探他们导师的谷歌搜索。

也许要求每个学生基于 IP 来从头实现一个可靠的传输协议是有些强人所难了，但可以说这是我学生时代的一个对我个人改变很大的经历。

建议阅读

  • Unix Network Programming by Stevens, Fenner and Rudoff.

安全

一个悲伤的事实是大多数安全漏洞都来源于粗心的编码，更悲哀的事实是很多学校在训练程序员编写安全代码上做的很差。

计算机科学家必须知道程序被攻破的方式。

他们需要形成防御型编码的意识——考虑他们自己的代码可能被攻击的方式。

安全最好在整个课程体系中分布开来进行训练：每个学科都应该提醒学生关于这个学科的原生漏洞。

特别推荐

每个计算机科学家至少应该了解：

  • 社会工程；
  • 缓冲区溢出；
  • 整数溢出；
  • 代码注入漏洞；
  • 竞态条件；
  • 权限混淆 一些读者指出计算机科学家也应知道基本的 IT 安全措施，比如选择合理的好密码和使用 iptables 配置防火墙。

建议阅读

  • Metasploit: The Penetration Tester’s Guide by Kennedy, O’Gorman, Kearns and Aharoni.
  • Security Engineering by Anderson.

密码学

密码学使得我们的大部分数字生活成为现实， 计算机科学家应该理解并能够实现下面的概念，并且知道实现这些的常见陷阱：

  • 对称密码系统；
  • 公钥密码系统；
  • 安全哈希函数；
  • 询问-响应认证；
  • 数字签名算法；
  • 门限密码系统 在实现这些密码系统时有个常见的错误——为手头工作获得 足够 随机的数，而这是每个计算机科学家应该知道的。
  • 最后，如此多的数据泄露表明，计算机科学家应该知道如何在存储密码时进行加盐和哈希处理。

特别推荐

每个计算机科学家应该有使用手工统计工具来破解使用前现代加密系统的密文的乐趣。

RSA 是容易实现的 ，每个人都应试试。

每个学生都应创建他们自己的数字签名并在 apache 上建立 https 连接（做这个是出乎意料的费劲）。

学生还应该写一个使用 SSL 进行连接的 web 客户端。

作为实践，计算机科学家应该知道如何使用 GPG、ssh 的公钥认证、加密一个文件夹或者硬盘。

建议阅读

  • Cryptography Engineering by Ferguson, Schneier and Kohno.

软件测试

软件测试必须贯穿整个课程体系。一个软件工程的课程可以涵盖基本的测试风格，但是只有练习才能掌握这项艺术。

应该根据学生上交的测试用例来给他们打分。

我使用学生上交来的测试用例来对其他学生进行测试。

学生看起来并不很在意防御性的测试用例，但是当向同学下手时却很是不客气。

用户体验设计

程序员大多是给其他程序员写程序，或者更糟糕，给他们自己写。

用户接口设计（更宽泛的讲，用户体验设计）可能是计算机科学最不受重视的方面。

即使是在专家之间也有这种误解，即用户体验是一种无法被教授的“软”技能。

在现实中，现代用户体验设计根植于人因工程学和工业设计中的人工经验。

如果没有别的办法，计算机科学家至少应知道接口执行任何任务的难易程度应该与任务的频率与重要性的乘积成比例。

为实用性考虑，每个程序员应该习惯于使用 HTML、CSS 和 Javascript 等设计可用的 web 接口。

建议阅读

  • Paul Graham’s essay on Web 2.0.
  • “The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets” by Spolsky.
  • HTML and CSS: Design and Build Websites by Duckett.
  • JavaScript: The Definitive Guide by Flanagan.

可视化

好的可视化是可以将数据表现为人类可以感知的信息，而做到这点并不容易。

现代世界是数据的海洋，而开发人眼感知的局部最大值是理解这些信息的关键。

建议阅读

  • The Visual Display of Quantitative Information by Tufte.

并行化

如今并行化比以往更落后、更丑陋。

不幸的是要掌握并行化需要对架构：多核、缓存、总线、GPU 等等有很深的理解。

并且需要练习，大量练习。

特别推荐

并行化的“终极”答案还不得而知，但是一些领域特定的解决方案已经给出。

当下学生应该学习 CUDA 和 OpenCL。

线程是脆弱的并行化抽象，特别是引入缓存和缓存一致性之后。但是，线程很流行且微妙，所以值得学习，Pthread 是一个合理的轻量库。

对于对大规模并行化感兴趣的人来说，MPI是首要条件。

在理论上，map-reduce 是经久不衰的。

软件工程

软件工程的原理改变地和编程语言一样快。

一个好的动手实践的团队软件开发练习能够展现出软件工程固有误区并提供关于这些误区的工作知识。 一些读者建议说学生应该分为三人一组并且在不同的项目中轮流当作组长。

学习如何与现存大代码库打交道是每个程序员的必备技能，并且最好是在学校而不是在工作中掌握此项技能。

特别推荐

所有的学生都应知道集中版本控制系统如 svn 和分布式版本控制系统如 git。

对于调试工具如 gdb 和 valgrind 的使用很长时间后会有裨益。

建议阅读

  • Version Control by Example by Sink.

形式化方法

随着对安全可靠软件的需求提高，形式化方法也许将是开发这种软件的唯一方法。

当前软件的形式化模型和证明还很有挑战性，但是这项领域的进程是稳健的：一年比一年容易。

也许在当前的计算机系学生的有生之年，形式化软件开发能成为一种预期技能。

每个计算机科学家应至少熟练使用一种定理证明器（我认为具体是哪一种并不重要）。

学习使用定理证明方法能够立刻影响代码风格。

比如说，一个人本能的不愿写无法覆盖所有可能性的 match 和 switch 语句，。

再比如当写递归函数时，使用理论证明方法的人有很强的欲望去消除 ill-foundedness。

建议阅读

  • Software Foundations.

图形仿真

没有学科比图更能体现“聪明”。

这个领域是由“足够好”驱动甚至由之定义的。

因此，没有比图形仿真更好的方式来教授巧妙的编程和进行性能优化。

我所学到的半数编码技巧都来自于对图的学习。

特别推荐

简单的光线追踪器可以在百行代码内实现。

实现从 3D wireframe engine 获取 3D 投影是费些脑力的。

类似于 BSP 的数据结构以及类似于 z-buffer 渲染的算法是巧妙的设计的例子。

在图形仿真领域，还有很多其他实例。

建议阅读

  • Mathematics for 3D Game Programming and Computer Graphics by Lengyel.

机器人

机器人是教授编程入门的最具吸引力的方式之一。

并且随着机器人的价格持续走低，哪一款将引发个人机器人浪潮成为了门槛。

对于会编程的人来说，个人机器自动化的伟大时代即将来临。

相关推荐

  • Multitouch gesture control for a robot.

人工智能

仅是考虑到对早期计算历史的特大影响，计算机科学家也应学习人工智能。

即使人工智能的最初梦想还远未实现，人工智能在一些领域已有成效，比如机器学习、数据挖掘和自然语言处理等。

建议阅读

Artificial Intelligence by Russell and Norvig.

机器学习

除去出色的技术技术优点，对“relevance engineer”工作岗位的需求增大表示出每个计算机科学家都应该了解一下基本的机器学习。

机器学习也更加强调了理解概率论和统计的重要性。

推荐阅读

Machine Learning by Mitchell.

数据库

数据库十分常见和有用以至于人们常常忽略它。

理解支撑数据库引擎的数据结构与算法是有用的，因为程序员经常需要在一个大的软件系统中实现一个数据库系统。

在sub-Turing 的计算模型的极大成功背后关系代数和关系计算起了极大的作用。

比起 UML 模型，ER 模型更适于可视化编码设计和约束的软件设计。

建议阅读

  • SQL and Relational Theory by Date.

非特定的阅读推荐

  • Gödel, Escher, Bach by Hofstadter.
  • Nick Black’s advice for MS students.

还有什么？

由于我自己也是知识盲点的，所以上面这些建议也是有局限的。

如果还有哪些应当包含但没有列出的东西，请大家在评论中补充。

Apache Hadoop准实时数据处理的架构模式

来自：董老师在硅谷（微信号：donglaoshi-123）

原文：Architectural Patterns for Near Real-Time Data Processing with Apache Hadoop 

译：Robin robinlee@cmu.edu

评估好哪一种流架构模式最适合你的案例，是成功生产开发的先决条件。

Apache Hadoop 生态系统已成为企业实时地处理和挖掘大数据的首选。 Apache的Kafka， Flume， Spark， Storm， Samza等技术在不断地推进新的可能。人们很容易泛化大规模实时数据案例，但其实他们可以细分为几种架构模式，Apache系统里的不同组件适合于不同的案例。

这篇文章探讨四种主要的设计模式，案例来自于我们企业客户的数据中心的实例，并解释如何在Hadoop上实现这些架构模式。

流处理模式

四种流模式（经常串联使用）为：

流采集：低延迟将数据输入到HDFS，Apache HBase和Apache Solr。

基于外部环境的准实时事件处理： 对事件采取警报，标示，转化，过滤等动作。这些动作的触发可能取决于复杂的标准，例如异常监测模型。通常的使用案例，例如准实时的欺诈监测和推荐系统，需要达到100毫秒以内的延迟。

准实时事件分割处理：类似于准实时事件处理，但通过将数据分割获得一些好处—例如将更多相关外部信息存入内存。这个模式也要求延迟在100毫秒以内。

为整合或机器学习使用的复杂拓扑结构：流处理的精髓：实时地通过复杂而灵活的操作从数据中获取答案。这里，因为结果通常依赖于一段窗口内的计算，需要更多的活跃的数据， 于是重点从获得超低延迟转移到了功能性和准确性。

接下来，我们将介绍如何用可检测的，可被证明的和可维护的方式来实现这些设计模式。

流采集

传统上，Flume是最为推荐的流采集系统。它的大的源和池囊括了所有关于消费什么和写到哪里的基础（关于如何配置和管理flume，参考Using Flume，由O’Reilly 出版的Cloudera工程师/Flume 项目管理委员会成员Hari Shreedharan编写）。

Figure 1译者附：Flume架构

在过去的一年中，Kafka也变得非常受欢迎，因为playback和replication等特性。由于Flume和Kafka有重叠的目标，他们的关系常常令人困惑。他们如何配合？答案是简单的：Kafka的管道和Flume的通道类似，虽然是一个更好的管道，原因就是刚才所述的特性。一个通行的方法就是用Flume作为源(source)和池(sink)，而Kafka是他们中间的管道。

下图阐明kafka如何作为Flume的上游数据和下游目的，或Flume管道。

下图的设计是具有大规模拓展性，经过实战检验的架构设计，由Cloudera 管理者监控，容错，并且支持回放。

值得注意的一件事就是，这个设计多么优雅地处理故障。Flume 池从Kafka消费者群里取回。通过Apache zookeeper的帮助，Kafka 消费者群取回topic的位移。如果一个Flume池发生故障，Kafka消费者将把负载重新分发到其他的池中。当那个池恢复了，消费者池将重新分发。

基于外部环境的准实时事件处理

重申一下，这个模式的适用案例通常是观察事件流入然后采取立即动作，可以是转化数据或一些外部操作。决策的逻辑依赖于外部的档案或元数据。一个简单并且可拓展的实现方法是，在你的Kafka/Flume架构中添加源（Source）或池（Sink）Flume拦截器。只需简单配置，不难达到低毫秒级延迟。

Flume拦截器允许用户的代码对事件或批量事件进行修改或采取动作。用户代码可以与本地内存或外部Hbase交互，以获取决策需要的档案。Hbase通常可以4-25毫秒内给予我们信息，根据网络状况，模式概要，设计和配置而有所不同。你也可以将Hbase配置为永远不停止服务或被中断，即便在故障情况下。

这一设计的实现除了拦截器中应用的具体逻辑几乎不需要编程。Cloudera管理器提供直观的用户界面，可以部署这个逻辑，包括连结，配置，监测这一服务。

准实时基于外部环境的分割化的事件处理

下图的架构（未分割方案），你将需要频繁查询Hbase，因为针对某一事件的外部上下文环境在flume拦截器的本地内存中装不下。

但是，如果你定义一个键值来分割数据，你将可以把数据流匹配到相关上下文的一个子集。如果你将数据分割成十部分，那么你只需要将十分之一的档案放入内存里。 Hbase是快，但本地内存更快。Kafka允许你自定义分割器来分割数据。

注意，在这里，Flume并不是必须的；根本的方案只是一个Kafka消费者。所以，你可以只用一个YARN消费者或只有Mapper的MapReduce。

针对集成或机器学习的复杂拓扑

到此为止，我们探索了事件层面的操作。然而，有时你需要更复杂的操作，例如计数，求平均，会话流程，或基于流数据的机器学习建模。在这种情况，Spark流处理是最理想的的工具，因为：

和其他工具相比，Spark易于开发

Spark丰富简明的API让建设复杂拓扑变得容易

实时流处理和批处理的代码相似

只需很少的修改，实时小量流处理的代码就可以用于大规模离线的批处理。不仅减少了代码量，这个方法减少测试和整合需要的时间。

只需了解一个技术引擎

训练员工了解一个分布式处理引擎的机制和构件是有成本的。使用spark并标准化将会合并流处理和批处理的成本。

微批处理帮你更可靠地进行拓展规模

在批处理层面的应答将允许更多的吞吐量，允许无需顾忌双发的解决方案。微批处理也帮助在大规模下高效发送修改到HDFS或Hbase。

与Hadoop生态系统的集成

Spark与HDFS，Hbase和Kafka有很深的集成。

无丢失数据的风险

由于有了WAL和Kafka，Spark流处理避免了故障时丢失数据的风险

易于排错和运行

在本地的IDE中你就可以对你的spark流处理代码进行排错和逐步检查。而且，代码和普通函数式程序代码类似，对Java或Scala程序员来说，无需花很多时间就能熟悉。（Python也支持）

流处理是天然状态化的

Spark流处理中，状态是“第一公民”，意味着很容易写基于状态的流处理应用，对节点的故障可恢复。

作为实际的标准，Spark现在正在得到整个生态系统的长期投入

在写此文时，spark在30天内已有700次左右的提交—和其它框架相比，例如Storm，只有15次的提交。

你可以使用机器学习的库

Spark的MLlib库越来越受欢迎，它的功能只会越来越强大。

如果需要，你可使用SQL结构化查询语言

通过Spark SQL，你可以为你的流处理应用添加SQL逻辑，从而简化代码

结论

流处理和几种可能的模式有很强大的功能，但正如你在这篇文章所了解，你可以通过了解哪一种设计模式适合你的案例，从而最少量的代码做非常好的事情。

Ted Malaska是Cloudera解决方案架构师，Spark，Flume和Hbase的贡献者，O’Reilly书籍 《Hadoop 应用架构》的合作作者。

超全面的UI设计字体与排版指南

转自：微交互

无论你是做网页还是App设计，文字内容总是能占到整个版面将近80%的区域。因此理解字体与排版对UI设计师来说非常关键。你需要始终把内容的可读性放在首位去考虑和权衡你对字体与排版的选择。

01
字体的基础术语

了解字体设计的基础术语非常重要，这些术语在介绍字体设计的相关文章中经常出现。比如 x-height（X字高）指的是从字母的基准线开始往上到最矮字母的顶端的距离，当X字高的比例相对大一些的话就能增加易读性。

02
汉字字形

在大多数情况下我们都选择使用系统自带的字体，比如微软雅黑、宋体、黑体等来定义标题和内容，但有时，我们在做Logo，banner设计时也需要通过对字体进行改造，来达到更加理想的效果。这时我们就需要掌握汉字的字形结构以及一些最基本的设计原则。

03
衬线字与非衬线字

在西方国家的字母体系，分成两大字族：serif（衬线字体）及sans serif（无衬线字体）。衬线字（下图中的宋体、Times New Roman）是指在字的笔画开始及结束的地方有额外的装饰，而且笔画的粗细会因直横的不同而有所不同。 相反的，无衬线字（下图中的思源黑体、Helvetica）就没有这些额外装饰，而且笔画粗细大致上是差不多。

衬线字的字体较易辨识，也因此具有较高的易读性。 反之无衬线字则较醒目。通常来说，需要强调、突出的小篇幅文字一般使用无衬线字,而在长篇正文中，为了阅读的便利，一般使用衬线字。在实际应用中，因为中文的宋体和西文的衬线体，中文的黑体和西文的无衬线体，在风格和应用场景上相似，所以通常搭配使用。

04
字体排版建议

在你对字体排版技巧了如指掌之前，首先需要保证你的内容能够简单且清晰地展现出来。优秀的文字与排版使我们更愿意去阅读，所以最好先关注你所设定的字体和排版是否便于阅读，然后再考虑为了美观改进行修饰。我们可以参考这篇英文指南：优秀字体排版的5条原则 并且将文中的这些原则应用到我们的App和Web设计中去。

05
iOS中的系统字体

随着iOS 9系统以及EI Capitan系统的发布，现在的系统字体变为了Apple自己设计的 [San Francisco]。iOS仍然在其他地方使用SF UI，而在Apple Watch中使用SF Compact。

San Francisco 有两类尺寸: 文本模式（SF UI Text）和展示模式（SF UI Display）。 文本模式适用于小于20 points的尺寸，展示模式则适用于大于20 points的尺寸。当你在你的app中使用San Francisco时，iOS会自动在适当的时机在文本模式和展示模式中切换。

注：如果你使用诸如Sketch或Photoshop的工具来进行设计，那么当你设置的字体大于等于20 points的时候，你需要切换到展示模式。iOS会根据字体大小为San Francisco自动调整字间距。

06
选择Body字体

为body text挑选合适的字体是最重要的。务必选择那些可读性强的，看上去干净易读的字体。我推荐的常用英文字体有：San Francisco, Helvetica Neue, Avenir Next, Open Sans, Museo Sans。中文字体则有，华文细黑，思源黑体。

07
字体的大小

在iPhone,iPad,iWatch 中设置的Body字体不应该小于11pt，这样才能被正常阅读。我们推荐的Body文本大小应该在15-18pt。

08
字体的字重

当我们设置更大的字体来获得更好的易读性的同时，我们也应相应地减小字体的字重（粗细），考虑Light，Thin或者Ultra Thin。过重的字体会太过醒目，从而影响其他内容的显示效果。

当字体大小为12-18pt时，使用Regular，18-24pt时，使用Light，24-32pt,使用Thin，当字体大小超过32pt时，建议使用Ultralight。以上都是建议值，你应该根据不同字体的显示效果进行设定使文字内容看上去清晰和精致，从而保持良好阅读体验。

现代字体都有多种字重设置：Regular，Light，Thin和Ultralight

09
合理设置行高，让文字也能呼吸

行间距（leading）应该设置为字体大小的120%到145%之间。

在右边的例子中，行高设为了与字体高度相同的100%，而在左边的例子中，我将它设为145%。它们的显示效果有着非常明显差异。当字数进一步增加时，你更会发现阅读行距设置过小的大段文字会非常累。合理设置行高，也是一种留白的技巧，能够增强用户的阅读体验。

10
每行45-90个字

行长指单行文字的长度，如果一行中包含的字数太多，文本内容将会很难阅读。英文字符一般在45-90字比较适宜，而中文35-60字为宜。合理的行长使用户在行间跳转时非常感到轻快和愉悦，反之则会使阅读成为一种负担。

11
字体样式

字体样式对易读性和快速浏览非常重要，一般的原则是，被修饰的文本不应超过整个文本的10%，如果所有文本都都通过修饰被强调的话，那反而就不是强调了。当然，一次不应该同时使超过三种的强调样式。换句话说，不要在同一段文本中同时使用，颜色，字体改变，大小，下划线，斜体，粗体。

12
寻找合适的字体

大部分商用字体都很贵，但也有很多优秀的字体是免费的。你只需要从中挑选你最喜欢的字体，并应用到你的设计中就可以了。下面就介绍几个非常优秀的字体网站。

1. Google Fonts （需梯子）

在Google Fonts，你可以免费下载你喜欢的字体，并且按照你的需要在项目中使用。由于在iOS中使用其他字体的唯一方法就是将字体文件导入到系统中，因此Google Fonts的下载功能非常有用。Google Fonts包含超过1400种不同的字体，其中包含最著名的：Open Sans和Roboto字体，他们是Android系统使用的默认字体。

你可以使用Mac上的SkyFonts来自动同步字体到你的桌面。

如果你需要在你的网站中直接使用Google Web Fonts，你可以选择360的代理来访问Google的免费字体库。下面是使用说明，非常简单。

2. Typekit

有非常多优秀的字体。这对于那些刚刚起步的人来说，非常有用。这其中就有我非常喜欢的Proxima Nova和Museo字体。它还将思源黑体等中文字体也收入其中了。

3. 有字库

对于在需要大量使用中文字体的用户来说，有字库是一个不错的选择。它是国内目前比较优秀的Web Font服务平台，包含了大量优秀的中文字体。

4. 其他资源

字体和排版是一门值得深入探索的艺术。每个字体的形成和发展过程都有着深远的历史可以追溯。当你设计的作品也能被称作艺术品时，那就是对你最大的肯定。

13
文字学习指南

1. 文字排版指南

这是一篇英文文字排版指南，但提到的内容和大部分意见对中文字体的选择和排版同样具有意义。非常值得阅读。

 
2. 字体设计基础：字由心生

汉字怎么样发展而来的？我们现在用到 字体是通过什么字体演变过来的？当今字体又是沿用了先人的那些字体基础？… … 通过这篇文章，能够对汉字的这些基础知识有所了解。

3. 哪种字体最适合快速阅读

这篇文章详细介绍了中英文字体的搭配建议，很有参考价值。

4. Type is Beautiful

是一个非常有名的关于字体的博客网站，提供了大量字体研究的文章，适合从初学者到资深设计师阅读。同时它还提供了一个播客，名叫“字谈字畅”

数据处理的 9 大编程语言

英文：Anna Nicolauo

译者：伯乐在线 – 胡波

链接：http://blog.jobbole.com/100732/

有关大数据的话题一直很火热。伴随着信息的爆炸式增长，大数据渗透到了各行各业，广泛应用于公司中，同时也使得传统的软件比如 Excel 看起来很笨拙。数据分析不再只是书呆子的事，同时其对高复杂性分析、实时处理的需求也比以往更加庞大。

那么筛选海量数据集最优的工具是什么呢？我们咨询了一些数据黑客关于他们在数据分析的核心工作中最喜欢的编程语言和工具包。

R 语言

这份名单如果不以 R 开头，那就是彻头彻尾的疏忽。自 1997 年起，作为一门免费的，可替代 Matlab 或 SAS 等昂贵统计软件的语言，R 被抛弃。

但是在过去的几年中，它却成了数据科学的宠儿—甚至成了统计学家、 华尔街交易员、生物学家和硅谷开发者必不可少的工具。 随着其商业价值的不断增长和传播，诸如谷歌、Facebook、 美国银行和纽约时代周刊都在使用。

R 简单易用。通过 R ，短短几行代码就可以筛选复杂的数据集，通过成熟的模型函数处理数据，制作精美的图表进行数据可视化。简直就是 Excel 的加强灵活版。

R 最大的价值就是围绕其开发的活跃的生态圈： R 社区在持续不断地向现存丰富的函数集增添新的包和特性。据估计 R 的使用者已经超过 200 万人，最近的一项调查也显示 R目前是数据科学领域最受欢迎的语言，大约 61% 的受访者使用 R（第二名是 Python, 占比39%）。

在华尔街，R 的使用比例也在不断增长。美国银行副总裁Niall O’Connor 说：“以往，分析员通常是熬夜研究 Excel 文件，但是现在 R 正被逐渐地应用于金融建模，尤其是作为可视化工具。R 促使了表格化分析的出局。”

作为一门数据建模语言， R 正在走向成熟，尽管在公司需要大规模产品的时候 R 能力有限，也有些人说它已经被其他语言替代了。

Metamarkets 公司的 CEO Michael Driscoll 说：“ R 擅长的是勾画，而不是搭建，在 Google 的 page rank 算法和 Facebook 的好友推荐算法实现的核心中是不会有 R 的。工程师会用 R 进行原型设计，再用 Java 或者 Python将其实现。”

Paul Butler 在 2010 年用 R 构建了一个著名的 Facebook 世界地图，证明了 R 在数据可视化上的强大能力。然而他并不经常使用 R。

Butler 说：“由于在处理较大数据集时缓慢且笨拙，R 在行业中已经有些沦为明日黄花了 ”

那么使用什么作为它的替代呢？看下去。

Python

如果 R 是个有点神经质的可爱的极客，那么 Python 就是它容易相处的欢快的表弟。融合了 R 快速成熟的数据挖掘能力以及更实际的产品构建能力， Python 正迅速地获得主流的呼声。 Python 更直观，且比 R 更易学，近几年其整体的生态系统发展也成长得很快，使其在统计分析上的能力超越了之前的 R 语言。

Butler 说：“Python 是行业人员正在转换发展的方向。过去两年里，很明显存在由 R 向 Python 转化的趋势”

在数据处理中，通常存在规模和技巧的权衡，Python 作为一个折中出现了。 IPython notebook 和NumPy 可以用于轻量工作的处理， 而 Python 则是中级规模数据处理的有力工具。丰富的数据交流社区也是 Python 的优势，它提供了大量的Python 工具包和特性。

美国银行利用 Python 开发新产品以及基础设施接口，同时也用于处理金融数据。O’Donnell 说：“Python 用途宽广且灵活，所以人们蜂拥而至”。

然而， Driscoll 也提到它并不是高性能的语言，偶尔才会用于装配驱动大规模的核心基础设施。

JULIA

最主流的数据科学处理语言包括 R、 Python、 Java、 Matlab和 SAS。但是这些语言仍然存在一些不足之处，而Julia 正是待以观察的新人。

对大规模商用来说， Julia 还是太晦涩了。但在谈到其取代 R 和 Python 领先地位的潜力的时候，数据极客们都会变得很激动。 Julia 是一门高级的，非常快的函数式语言。速度上比 R 快， 可能比 Python 的扩展性更高，且相对易学。

Butler 说：“Julia 正在快速上升。最终将可以用 Julia 完成任何 R 和 Python 可以完成的事”。

如今的问题是 Julia 太“年轻”了。 其数据交流社区仍处在早期发展阶段，在没有足够的包和工具之前是不足以与 R 和 Python 竞争的。

Driscoll 说：“Julia 很年轻，但正在积攒力量而且未来很可观”。

JAVA

在硅谷最大的科技公司里，Java 和基于 Java 的框架构成了其底层的技术骨架。Driscoll 说：“如果深入观察Twitter，Linkedin 或者 Facebook，你会发现 Java 是他们公司数据引擎架构的基础语言”。

Java 并没有 R 和 Python 那样的数据可视化的能力， 同时也不是最好的用于统计模型的语言。但是如果需要进行原型的基础开发和构建大规模系统， Java 往往是最好的选择。

HADOOP 和 HIVE

为了满足数据处理的巨大需求，基于 Java 的工具群涌而现。 作为基于 Java 的框架，Hadoop 在批处理领域成为热点。Hadoop 比其他处理工具速度要慢，但是它非常精确且被广泛的应用于后台分析，它很好的融合了 Hive， 一个运行在 Hadoop 上的基于查询的框架。

SCALA

Scala 是另一个基于 Java的语言，和 Java 很相似，它正在逐渐成长为大规模机器学习或高级算法的工具。它是函数式语言，也能够构建健壮的系统。

Driscoll 说：“Java 就像是直接用钢筋进行搭建， Scala 则像是在处理黏土原材料，可以将其放进窖中烧制成钢筋”。

KAFKA 和 STORM

当需要快速、实时分析时怎么办？Kafka 可以帮助你。它已经发展了大概五年时间，但最近才成为一个流处理的流行框架。

Kafka 诞生于 Linkedin 公司的内部项目，是一个快速查询系统。至于 Kafka 的缺点呢？ 它太快了，实时的操作也导致了自身的错误，且偶尔还会遗失信息。

Driscoll 说：“在精度和速度之间总需要做权衡，所以硅谷所有的大公司一般都双管齐下： 用 kafka 和 Storm 进行实时处理，用 Hadoop 做批处理系统，虽然会慢一点但却十分精确”。

Storm 是另一个用 Scala 写的框架，且它在硅谷以擅长流处理而受到极大的关注。毫无疑问， Twitter， 一个对快速消息处理有着巨大兴趣的公司会收购了 Storm。

荣幸的提到：

MATLAB

MATLAB 已经存在很长时间了，尽管价格昂贵，但它仍在某些特定领域被广泛使用： 机器学习研究、信号处理、图像识别等领域。

OCTAVE

Octave 与 Matlab 非常相似，只不过它是免费的。然而除了信号处理的学术圈之外很少见到使用。

GO

GO 是另外一个获得关注的新手。它由 Google 开发，与 C 有一定渊源，且在构建稳定系统方面与 Java 和 Python 展开了竞争。

内有福利 | 做移动开发的你，真的学对了吗？

以下文稿来自RockPlayer联合创始人杨武老师的内部分享
杨武
RockPlayer联合创始人，上海改变科技有限公司CEO
编程爱好者，编写过MacRhine、iCosta、RockPlayer等
1
学习移动开发的几个成长段位
移动开发程序员，往往能够分为几个段位：
初级程序员：掌握语言模型和应用开发
中级程序员：同时掌握模块扩展
高级程序员：进而架构设计
各个段位的程序员，关注的学习重点显然也是不一样的。
第一阶段：语言模型(Spec,Memory,Object Model,Compile/Runtime)
第二阶段：应用开发(UI,Network,Storage,Threading,Engineering)
第三阶段：模块扩展(Design Patterns,Performance,Debugging,Domain) 
2
移动开发学习金字塔
学习金字塔是我长期以来一直分享给移动开发学习者的学习方式，可供参考
1.听课的同时进行阅读，如阅读苹果官方文档；
2.多进行一些视听，如观看WWDC等；
3.多和其他学习者和老师进行讨论
4.多进行实践，学习的时间和实践的时间1:3进行配比，基础薄弱的同学需要多看几遍教学视频或相关书籍；
5.注重分享，学习中得到什么收获,什么地方还可以优化,什么地方代码质量还不够高，一定需要分享，分享出来才会有思考过程；
此外，一周最少花费一小时总结自己所学,例如写博客,进行QQ交流群讨论等。
3
看书很重要
阅读的重要性不言而喻，以下是我分门别类针对移动开发学习列出的3个书单

Java 基础

《Thinking in Java》
中文版译为《Java 编程思想》，这本书受到了众多人的追捧，但也有很多人说这部书不适合初学者。很多程序员表示这本书帮助他们建立了面向对象的编程思想，非常值得一读，值得反复地读；也有人说这本书写得太过累赘，看起来好辛苦。
《Core Java》
中文版译为《Java 核心技术》，这应该称为一套书了，只需要看卷I 的基础知识就可以了。这本书可以说是与《Thinking in Java》齐名的一本书，包含了大量的案例，实践性强。

Android 开发

《Android 4 高级编程》
该书由Google Android 团队的一名Android开发倡导者所著
《Android 权威编程指南》
该书来自于美国一家专业的移动开发技术培训机构
《第一行代码：Android》
Android 初学者的入门书

iOS 开发

《iOS 7 Programming Fundamentals》——OC 语言基础
《iOS 7 Programming CookBook》——OC 语言编程
《iOS 9 Programming Fundamentals with Swift》——Swift 语言基础
《Programming iOS 9》——Swift 语言编程
《精通iOS 开发》——OC 与Swift 共用
iOS相关学习网站：
CocoaChina  http://www.cocoachina.com/
Stackoverflow  http://www.stackoverflow.com/
Github http://github.com/
学完上述这些，相信你已经收获满满！如果能与一线大牛工程师互动交流，相信你可以获得更多~