8月 30

【转】人是无法被说服的

霍金写《时间简史》和《大设计》二书,都有一个被所有人忽视了的第二作者,列纳德·蒙洛迪诺。这两本书能够畅销,我怀疑霍金本人的贡献也许仅仅是他的名气,因为公众其实并不真喜欢科学知识 —— 哪怕是霍金的知识。而霍金也深知”每一个数学公式都能让这本书的销量减少一半”。如果真有读者能在这两本”霍金的书”中获得阅读上的乐趣,很可能要在相当的程度上归功于蒙洛迪诺。从他独立完成的Subliminal(《潜意识:控制你行为的秘密》)这本书来看,蒙洛迪诺真的是个非常会写书的人。他完全了解读者想看什么。

    看完《潜意识》,我大概也知道读者想看什么了。在书中蒙洛迪诺讲了个很有意思的笑话。说有一个白人天主教徒来到天堂门口想要进去,他跟守门人列举了自己的种种善行,但守门人说:”可以,不过你还必须能够正确拼写一个单词才能进。”"哪个单词?”"上帝。”"GOD.”"你进去吧。”

    一个犹太人来到天堂门口,他同样被要求正确拼写一个单词才能进。守门人考他的单词仍然是”上帝”。这个单词非常简单,所以他同样拼写正确,于是也进去了。

    故事最后一个黑人来到天堂门口,他面临同样的规则。但是守门人让他拼写的单词是,”捷克斯洛伐克”。

    这个笑话的寓意是像我们这样受过高等教育的人接收信息都有一个门槛,低于这个门槛的我们根本不看。我的门槛就相当高,谁想向我说明一个什么科学事实,我一般都要求他出具学术论文。比如作为一个爱国者,我对中医的存废和转基因的好坏这两个问题非常感兴趣,特别关注相关的论文。然而就算是论文也有好有坏,要知道有的论文根本不严谨。所以一篇论文质量好坏,我也有自己的判断标准,达到我的标准才算得上是严谨的好论文:

    如果这篇论文是说中医有效的,我就要求它拼写”上帝”。如果这篇论文是说转基因无害的,我就要求它拼写”捷克斯洛伐克”。

    你不用笑我,你也有同样的毛病。蒙洛迪诺说,人做判断的时候有两种机制:一种是”科学家机制”,先有证据再下结论;一种是”律师机制”,先有了结论再去找证据。世界上科学家很少,你猜绝大多数人使用什么机制思考?每个人都爱看能印证自己已有观念的东西。我们不但不爱看,而且还会直接忽略,那些不符合我们已有观念的证据。

    有人拿芝加哥大学的研究生做了个实验。研究者根据某个容易引起对立观点的议题,比如是否应该禁枪,伪造了两篇学术报告,受试者随机地只能看到其中一篇。这两篇报告的研究方法乃至写法都完全一样,只有数据对调,这样其结果分别对一种观点有利。受试者们被要求评价其所看到的这篇报告是否在科学上足够严谨。结果,如果受试者看到的报告符合他原本就支持的观点,那么他就会对这个报告的研究方法评价很高;如果是他反对的观点,那么他就会给这个报告挑毛病。

    去年方舟子大战韩寒,双方阵营都使用各种技术手段寻找证据,写了各种”论文”,来证明韩寒的确有代笔或者的确没有代笔。有谁记得看到过有人说本阵营的论文不够严谨的么?都认为对方的论文才是胡扯。这远远不是最可怕的。如果我反对一个结论而你支持,那么当我看一篇支持这个结论的论文就会不自觉地用更高的标准去看,就会认为这个论文不行;而你,因为支持这个观点,则会认为这个论文很好 — 如此一来我不就认为你是弱智了么?于是两个对立阵营都会认为对方是弱智。一切都可以在潜意识发生。

    认为别人弱智和被别人认为是弱智,其实也没那么可怕。真正可怕的是媒体也参与到观念的战争之中。

    如果人已经被各种观念分成了阵营,那么媒体就不应该追求什么”客观中立”,因为没人爱看客观中立的东西!媒体应该怎么做呢?技术活动家Clay Johnson 在 The Information Diet (《信息食谱》)这本书里,给我们介绍了美国收视率最高的新闻台 Fox News (福克斯新闻)的成功秘密。尼克松时期,媒体人Roger Ailes有感于当时媒体只知道报道政府的负面消息,认为必须建立一个”拥护政府的新闻系统”。然而事实证明Fox News 的成功并不在于其拥护政府 —  它只拥护共和党政府 —  而在于Ailes有最先进的新闻理念:

    第一,有线频道这么多,你不可能,也没必要取悦所有观众。你只要迎合一个特定观众群体就可以了。第二,要提供有强烈主观观点的新闻。

    给观众想要的东西,比给观众事实更能赚钱。观众想要什么呢?娱乐和确认。观众需要你的新闻能用娱乐的方式确认他们已有的观念。福克斯新闻台选择的观众群体,是美国的保守派。每当美国发生枪击事件,不管有多少媒体呼吁禁枪,福克斯新闻一定强调拥枪权 – 他们会找一个有枪的采访对象,说如果我拿着枪在现场就可以制止惨案的发生。美国对外军事行动,福克斯新闻一定持强硬的支持态度,如果有谁敢提出质疑,他就会被说成不爱国。哪怕在其网站上转发一篇美联社消息,福克斯新闻都要做一番字词上的修改来取悦保守派,比如《选民对经济的担心给奥巴马带来新麻烦》这个标题被改成了《奥巴马跟白人妇女有大问题》。

    我们可以想象知识分子一定不喜欢福克斯新闻。的确没有哪个大学教授宣称自己爱看这个台。就连哥大学毕业典礼,某系请来的演讲嘉宾都说物理学有什么用呢?至少能让你学会判断福克斯新闻说的都是什么玩应儿。可是如果你认为福克斯新闻这么做是为了宣传某种意识形态,你就错了。他们唯一的目的是赚钱。

    比如修改新闻标题这件事,其实从技术角度说并不是网站编辑的选择,而是读者自己的选择。很多新闻网站,比如赫芬顿邮报(The Huffington Post),使用一个叫做 multivariate testing(也叫A/B testing)的技术:在一篇文章刚贴出来的时候,读者打开网站首页看到的是随机显示的这篇文章的两个不同标题之一,网站会在五分钟内判断哪个标题获得的点击率更高,然后就统一使用这个标题。事实证明在读者的选择下最后胜出的标题都是耸人听闻型的。

    福克斯新闻的收视率在美国遥遥领先于其他新闻台。因为CNN在北京奥运传递火炬期间对中国的歪曲报道,很多人认为CNN是个有政治色彩的媒体,其实CNN得算是相当中立的 — 这也是为什么它的收视率现在节节败退。据2012年《经济学人》的报道,倾向自由派的MSNBC现在收视排名第二,CNN只得第三,而这两个台的收视率加起来也比不上福克斯。乔布斯1996年接受《连线》采访,对这个现象有一个非常好的评价:

    “当你年轻的时候,你看着电视就会想,这里面一定有阴谋。电视台想把我们变傻。可是等你长大一点,你发现不是这么回事儿。电视台的业务就是人们想要什么它们就给什么。这个想法更令人沮丧。阴谋论还算乐观的!至少你还有个坏人可以打,我们还可以革命!而现实是电视台只不过给我们想要的东西。

    美国人玩的这一套,中国也有人早就玩明白了。今天我们的媒体和网络上有各种观点鲜明的文章和报道,它们或者骂得特别犀利,或者捧得特别动人,观众看得畅快淋漓,十分过瘾。但是这些文章提出什么切实可行的解决方案没有?说过什么能够修正我们现有思想的新信息没有?它们只是在迎合和肯定人们已有的观念而已。因为它们的生产者知道他们不需要取悦所有人。他们只要能让自己的粉丝基本盘高兴就已经足够获利的了。他们是”肯定贩卖者”。政治辩论?其实是一种娱乐。

    王小波写过一篇《花刺子模信使问题》,感慨中国人(主要是领导们)听不得坏消息,一旦学者敢提供坏消息就恨不得把他们像花刺子模的信使一样杀掉。我想引用乔布斯的话:王小波说的太乐观了。真正令人沮丧的现实是所有国家的所有人都有花刺子模君王的毛病,而且他们的做法不是杀掉坏消息,而是只听”好”消息 — 那些能印证我们观念的消息。

    这个毛病叫做”确认偏误”(confirmation bias)。如果你已经开始相信一个什么东西了,那么你就会主动寻找能够增强这种相信的信息,乃至不顾事实。这样一旦我们有了某种偏见,我们就无法改变主意了。《信息食谱》说,Emory 大学教授 Drew Westen 实验发现,对于那些已经支持强烈共和党或民主党的学生来说,如果你给他们关于其支持的党的负面新闻,功能性磁共振成像(fMRI)会显示这些人大脑中负责逻辑推理的区域关闭了,而负责感情的区域却激活了!换句话说他会变得不讲理只讲情。因为他们感到受到了威胁。这个受威胁的感情会让你把相反的事实用来加强自己的错误信念。社会学家Brendan Nyhan甚至发现了一个”逆火效应”:你给一个保守派人士看关于布什的减税政策并没有带来经济增长的文章之后,他居然反而更相信减税可以带来经济增长。

    在确认偏误的作用下,任何新证据都有可能被忽略,甚至被对立的双方都用来加强自己的观念。这就是为什么每一次枪击事件之后禁枪派和拥枪派都变得更加强硬。另一本书,Future Babble(《未来乱语》)讲了个更有意思的实验。实验者给每个受试学生发一套性格测试题让他们做,然后说根据每个人的答案给其各自分析出来了一份”性格概况”,让学生评价这个概况描写的准不准。结果学生们纷纷表示这个说的就是自己。而事实是所有人拿到的”性格概况”都是完全一样的!人自动就愿意看到说的跟自己一样的地方,并忽略不一样的地方。

    可能有人以为只有文化程度比较低的人才会陷入确认偏误,文化程度越高就越能客观判断。事实并非如此。在某些问题上,甚至是文化程度越高的人群,思想越容易两极分化。

    一个有意思的议题是全球变暖。过去十几年来媒体充斥着各种关于全球变暖的科学报道和专家评论,这些报道可以大致分成两派:一派认为人类活动产生的二氧化碳是全球变暖的罪魁祸首,如果不采取激烈手段限制生产,未来气候就会不堪设想;一派则认为气候变化是个复杂问题,现有的模型并不可靠,二氧化碳没那么可怕。如果你对这个问题不感兴趣,你根本就不会被这些争论所影响。而《信息食谱》告诉我们,对全球变暖的观点分歧最大的人群,恰恰是那些对这方面有很多了解的人。调查显示越是文化程度高的共和党人,越不相信全球变暖是人为原因造成的;越是文化程度高的民主党人,则越相信这一点。

    如果谁想看看这个争论严重到什么程度,可以去看《经济学人》的一篇报道(2013年3月30日)的读者评论。这篇文章说尽管过去几年人类排放的二氧化碳不顾气候学家警告而继续增加,可是地球平均温度却并没有升高,远低于科学模型的预测。文章下面的评论水平跟新浪网足球新闻的评论不可同日而语,敢在这说话的可能没有高中生。评论者们摆事实讲道理,列举各种论文链接和数据,然而其观点仍然鲜明地分成了两派。就连这篇文章本身写得够不够合理,都有巨大的争议。

    观念的两极分化并不仅限于政治,人们可以因为很多事情进入不同阵营,而且一旦选了边就会为自己阵营而战。你的手机是苹果的还是安卓的?这两个阵营的人不但互相鄙视,而且有时候能上升到认为对方是邪恶势力的程度。人们对品牌的忠诚似乎跟政治意识形态没什么区别。我们看苹果新产品发布会,再看看美国大选前两党的集会,会发现二者极为相似,全都伴随着狂热的粉丝关注和激动的专家评论。

    也许因为手机已经买了或者政治态度已经表过了,人们为了付出的沉没成本而不得不死命拥护自己的派别,也许是为了表明自己的身份,也许是为了寻找一种归属感。但不管是什么,这种阵营划分肯定不是各人科学推理的结果。根据诺贝尔奖得主 Robert Aumann 1976年的论文 “Agreeing to Disagree“,说如果是两个理性而真诚的真理追求者争论问题,争论的结果必然是二人达成一致。那么现实生活中有多少真理追求者呢?认知科学家 Hugo Mercier 和 Dan Sperber 2011年的一篇论文,”Why do humans reason?“,甚至认为人的逻辑推理能力本来就不是用来追求真理的,而是用来说服别人的。也就是说我们天生就都是律师思维,我们的大脑本来就是个争论设备。这也许是因为进化总是奖励那些能说服别人的人,而不是那些能发现真理的人吧。

    互联网很可能加剧了人们观念阵营的划分。在网上你连换台都不用,推荐引擎自动根据你的喜好提供信息。我相信气候学家对全球变暖的预测大大言过其实,我认为决不可以废除死刑,我使用苹果手机,我还要求豆浆必须是甜的豆腐脑必须是咸的 ——在这些原则问题上我从来不跟人开玩笑。如果微博上有人发出违背我理念的言论我怎么办?我果断取消对他的关注。我们完全有权这么做,难道有人上微博是为了找气生么?可是如果人人都只接收符合自己观点的信息,甚至只跟与自己志同道合的人交流,那么就会形成一个”回音室效应”(echo chamber effect)。人们的观念将会变得越来越极端。

    有鉴于此,Johnson 号召我们改变对信息的消费方式。他提出的核心建议是”Consume deliberately. Take in information over affirmation.”— 要主动刻意地消费,吸收有可能修正我们观念的新信息,而不是吸收对我们现有观念的肯定。这其实是非常高的要求。要做到这些,我们必须避免那些预设立场的说服式文章,尽可能地接触第一手资料,为此甚至要有直接阅读数据的能力。可是有多少人能亲自研读各项经济指标再判断房价是否过高呢?对大多数人来说现在房价是高是低只与一个因素有关:他是不是已经买了房。

    我建议把上面那两句英文刻 iPad 上。不过我发现最新的一系列针对社交网络的研究显示,也许回音室效应并不存在。有人对Facebook的朋友关系研究发现人们并没有只跟与自己政见相同的人交朋友。我们在网上辩得不可开交,生活中仍然可以跟对方辩友”隔着一张桌子吃饭”。哪怕在网上,统计表明人们的关注集群也不是按照政治立场划分,而更多的是按照视野大小划分的。更进一步,我们也许过高估计了对方阵营的极端程度。有人通过调查统计美国两党的支持者,发现如果一个人对某个政治方向有强烈的偏好,那么他对对方阵营的政治偏好,往往会有更高的估计。可能绝大多数人根本没那么极端,可能互联网本身就是个极端的人抒发极端思想的地方。对Twitter的一个研究表明其上的言论跟传统的民意测验相比,在很多问题(尽管不是所有问题)上更加偏向自由派。一般人并没有像Twitter上的这帮人那样拥护奥巴马,或者支持同性恋婚姻合法化。互联网不是一个调查民意的好地方。

    但不论如何,确认偏误是个普遍存在的人类特性,而且有人正在利用这个特性牟利。错误观点一旦占了大多数,正确的做法就可能不会被执行。既然改变那些已有成见的人的观念如此困难,也许双方阵营真正值得做的只有争取中间派。今年的 Nature Climate Change 上发表的一篇论文说,虽然不可能改变那些已经对全球变暖学说有强烈看法的人的观点,但是可以用亲身经历来影响那些对气候变化并没有什么成见的人,而这些人占美国成年人口的75%。一个策略是可以告诉一个中间派,你爱去凿冰捕鱼的那个地方,现在每年的冰冻期比十九世纪少了好几个星期,来吸引其注意力。

    这个真不错。当然在我这个坚定的全球变暖学说质疑派看来,那些看见自己家门口的池塘不结冰了就认为全球变暖的人纯属弱智。(笑)

8月 26

有用的话 – 随时记录

it is well-known that k-means has the major drawback of not being able to separate data points that are not linearly separable in the given feature space (e.g, see Dhillon et al. (2004))

出自:Mine the Easy, Classify the Hard: A Semi-Supervised Approach to Automatic Sentiment Classification

 

For example, Foster et al. (2011) report a drastic drop in performance when moving from the Wall Street Journal (WSJ) domain (training set) to the Twit-ter dataset (used for evaluation)

引用 Foster, Jennifer, ?zlem ?etinoglu, Joachim Wagner, Joseph Le Roux, Stephen Hogan, Joakim Nivre, Deirdre Ho-gan, & Josef Van Genabith. 2011. # hard-to-parse: POS Tagging and Parsing the Twitterverse. In proceedings of the Workshop On Analyzing Microtext (AAAI 2011), pp. 20-25. 2011.

 

7月 20

【转】寒门再难出贵子【同感!】

本文是一位银行的HR写的,他工作了10年,接待了一群到银行实习的实习生,然后观察他们发生的一系列的故事。像小说,但比我们看过的小说更精彩;像现实,但比我们了解的现实更残酷。文章中的寒门,还不是家庭贫困,而是小城市、小城镇的学生。讲述了好几个残酷故事,应该是真实的故事。否则我不相信作者有这个水平虚构出来。文章来源天涯社区,作者:永乐大帝二世。
原文3万多字,微信作者鬼脚七修改了一些错别字然后发到了微信。但是错别字还是不少,不过至少比原贴舒服多了,以下是微信原文:

现在越来越看清楚“性格决定命运”,性格这东西是熔透于骨髓的,性格的养成和学校教育没有多大关系,大多决定与家庭背景,和成长环境。从大学毕业出来的第一步,往往起到至关作用的是家庭背景,也就是从起跑线普通家庭的孩子就输了一大截。 
在一个物欲横流的时代,当金钱决定一切,成为人的终极信仰的时候,这时候也是“门阀”、阶层相应出现的年代。 

 

Continue reading

7月 17

Error BackPropagation 实践 & PRML 5.3

本文主要记录BP矩阵实现。鉴于GPU服务器还没买来,现在暂时用C++编码,反正矩阵上的实现都是一样的。若公式显示有问题需要多刷新几次。

Back Propagation虽然很简单,但是每次要实现就又不太清楚了,这次可以记下来,便于温习。主要是矩阵形式有点费脑子。正好要弄个Autoencoder,就以它为例。网络如下。弄好了可以用来搞Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (Socher)。

正好在这个例子中,推导跟PRML5.3是一模一样的,直接抄PRML。把上面那个图一层Autoencoder抠出来,配上PRML Figure 5.7的符号,构成下图。

主要公式:$\frac{\partial E_n}{\partial w_{ji}}=\frac{\partial E_n}{\partial a_j}\frac{\partial a_j}{\partial w_{ji}}$,其中右侧$\frac{\partial a_j}{\partial w_{ji}}=z_i=x_i$

​左侧:$\delta_j=\frac{\partial E_n}{\partial a_j}=\sum\limits_k \frac{\partial E_n}{\partial a_k}\frac{\partial a_k}{\partial a_{j}}=f'(a_j)\sum\limits_k w_{kj}\delta_k$

现利用上面公式计算 PRML 5.3.2 中的例子,准备工作如下:

语言:C++,VS2012,矩阵库:MTL 4,依赖:boost,其中initializer_list出错,要不安装Microsoft Visual C++ Compiler Nov 2012 CTP,要不直接下载本文中的那个文件到include即可。

符号表示:
​WS = WORD_EMBEDDING_SIZE​
$w^{(1)}$ = mtr_encode
$w^{(2)}$ = mtr_decode
$\delta_k$ = vec_delta_out
$\delta_j$ = vec_delta_hidden
$x_i$ = vec_input
$z_i$ = vec_rep
$y_k$ = vec_output
 

图例如下,所有向量均为列向量:

首先应正向传播

mtl_col_vector vec_input(2*WORD_EMBEDDING_SIZE, 0.0);
mtl_col_vector vec_output(2*WORD_EMBEDDING_SIZE, 0.0);
mtl_col_vector vec_a(WORD_EMBEDDING_SIZE, 0.0);

//the size of row is the size of result vector
//the size of column is the size of input vector
mtl_row_matrix mtr_encode(WORD_EMBEDDING_SIZE, 2*WORD_EMBEDDING_SIZE, 0.0);
mtl_row_matrix mtr_decode(2*WORD_EMBEDDING_SIZE, WORD_EMBEDDING_SIZE, 0.0);
vec_a = mtr_encode * vec_input;

for(int j=0; j<WORD_EMBEDDING_SIZE; j++)
	    vec_rep[j] = (exp(vec_a[j])-exp(-1.0*vec_a[j]))/(exp(vec_a[j])+exp(-1.0*vec_a[j]));

vec_output = mtr_decode * vec_rep;

开始Back Propagation,第一步:

$\delta_k=y_k-t_k$  (PRML 5.65)

vec_delta_out = vec_output - vec_input

第二步,最关键的一步,计算$\delta_j$,

$\delta_j=(1-z_j^2)\sum\limits_{k=1}^{K}w_{kj}\delta_k$  (PRML 5.66)

//计算左半部分 1-z_j^2
mtl_col_vector vec_rep_square(WORD_EMBEDDING_SIZE, 0.0);
for(int j=0; j<word_embedding_size; j++)
    vec_rep_square[j] = 1.0 - vec_rep[j]*vec_rep[j];

//计算右半部分,如下图
mtl_col_vector vec_sigma_kj;
vec_sigma_kj = mtl::matrix::trans(mtr_decode)*vec_delta_out;

//不想查接口了,我自己直接替他把两个向量乘一下
mtl_col_vector vec_delta_hidden;
for(int j=0; j<WORD_EMBEDDING_SIZE; j++)
    vec_delta_hidden[j] = vec_rep_square[j] * vec_sigma_kj[j];

第三步,调整权重,

$\frac{\partial E_n}{\partial w_{ji}^{(1)}} = \delta_j x_i$  $\frac{\partial E_n}{\partial w_{kj}^{(2)}} = \delta_k z_j$(PRML 5.67)

mtl_row_matrix mtr_adjust_encode;
mtl_row_matrix mtr_adjust_decode;

mtr_adjust_encode = (LEARN_RATE*vec_delta_hidden) * mtl::vector::trans(vec_input);
mtr_adjust_decode = (LEARN_RATE*vec_delta_out) * mtl::vector::trans(vec_rep);

mtr_encode -= mtr_adjust_encode;
mtr_decode -= mtr_adjust_decode;

 

最后应该Check Gradient,见Standford UFLDL课程

// gradient checking
mtl_row_matrix w1, w2;
w1 = mtr_adjust_encode/LEARN_RATE;
w2 = mtr_adjust_decode/LEARN_RATE;
double epsilon = 1e-5;

for(int i=0; i<WORD_EMBEDDING_SIZE; i++)
{
	for(int j=0; j<WORD_EMBEDDING_SIZE*2; j++)
    {
		mtl_row_matrix w_offset = mtr_encode;
		w_offset[i][j] -= epsilon;

		//calc forword error
		mtl_col_vector vec_tmp_a(WORD_EMBEDDING_SIZE, 0.0);
		mtl_col_vector vec_tmp_rep(WORD_EMBEDDING_SIZE, 0.0);
		vec_tmp_a = w_offset * vec_input;

		for(int k=0; k<WORD_EMBEDDING_SIZE; k++)
			vec_tmp_rep[k] = (exp(vec_tmp_a[k])-exp(-1.0*vec_tmp_a[k]))/(exp(vec_tmp_a[k])+exp(-1.0*vec_tmp_a[k]));

		mtl_col_vector vec_tmp_out(2*WORD_EMBEDDING_SIZE, 0.0);
		vec_tmp_out = mtr_decode * vec_tmp_rep;

		double tmp_error = 0.0;
		for(int k=0; k<2*WORD_EMBEDDING_SIZE; k++) {
			tmp_error += (vec_input[k]-vec_tmp_out[k])*(vec_input[k]-vec_tmp_out[k])/2.0;
		}

		double gi= (derror - tmp_error) / (epsilon);

		cout<<gi<<" "<<w1[i][j]<<endl;

	}
}

TestDemo:

7月 09

Deep Learning for NLP 文章列举

慢慢补充
大部分文章来自:
包括从他们里面的论文里找到的related work
 
Word Embedding Learnig
Antoine Bordes, et al. 【AAAI'11】Learning Structured Embeddings of Knowledge Bases
our model learns one embedding for each entity (i.e. one low dimensional vector) and one operator for each relation (i.e. a matrix).
Ronan Collobert, et al.【JMLR'12】Natural Language Processing (Almost) from Scratch
 
待读列表:
Semi-supervised learning of compact document representations with deep networks
【UAI'13】Modeling Documents with a Deep Boltzmann Machine
 
Language Model
博士论文:Statistical Language Models based on Neural Networks 这人貌似在ICASSP上有个文章
 
Sentiment
 
other NLP 以下内容见socher主页
Parsing with Compositional Vector Grammars
Better Word Representations with Recursive Neural Networks for Morphology
Semantic Compositionality through Recursive Matrix-Vector Spaces
Dynamic Pooling and Unfolding Recursive Autoencoders for Paraphrase Detection
Parsing Natural Scenes and Natural Language with Recursive Neural Networks
Learning Continuous Phrase Representations and Syntactic Parsing with Recursive Neural Networks
Joint Learning of Words and Meaning Representations for Open-Text Semantic Parsing
 
Tutorials
Ronan Collobert and Jason Weston【NIPS'09】Deep Learning for Natural Language Processing
Richard Socher, et al.【NAACL'13】【ACL'12】Deep Learning for NLP
Yoshua Bengio【ICML'12】Representation Learning
Leon Bottou, Natural language processing and weak supervision
 
6月 04

Latex相关问题

以后Latex相关问题都记录在这里。
 
1.IEEE模板引用问题。
从来没用过IEEE模板,今天为了整这个模板的引用稍费了点时间。主要是引用找不到,同时出现错误:神马神马 \end{thebibliography}。解决办法:1)加入\usepackage{cite}  2)要在文章添加一个引用,避免引用为空  3)关键是要添加模板里没有的文件 IEEEabrv.bibIEEEtran.bst
 
2.用了新版的CTex之后,赫然发现最后有这样一个report。
Errors: 0  Warnings: 6  Bad Boxes: 1
我就想 Bad boxes 是啥呢,去前面的报告里看了一下,果然发现了好东西。前面有一个图片超出了边界,但是只是 2.39pt too wide,肉眼看不出来。想起之前提交文章的时候就被人说了,下次注意这个玩意。
 
3.关于subfigure  subtable的包
http://www.peteryu.ca/tutorials/publishing/latex_captions
6月 03

Deep Learning 学习资料

一年以前也发过一个类似的日志,可惜后来没好好去学,这回真的要好好学了,之后相关资料都记到这里。
1. hinton的主页: http://www.cs.toronto.edu/~hinton/
2. Deep Learning 主页: http://deeplearning.net/
3. http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial 这个高级货之前一直记着的,竟然忘记了,终于想起来了!资料列表竟然连这个也没有岂不搞笑。
 
其他琐碎:
http://www.iro.umontreal.ca/~lisa/publications2/index.php/authors/show/1
 
论文:
Hinton,【AI'89】Connectionist learning procedures
dropout的论文:Improving neural networks by preventing co-adaptation of feature detectors
【RNN】Distributed Representations, Simple Recurrent Networks, and Grammatical Structure
【RAE】Recursive distributed representations
【RAE】Linear Recursive Distributed Representations
 
【CNN】Gradient-Based Learning Applied to Document Recognition
【CNN】Notes on Convolutional Neural Network
【CNN】Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis
【CNN】【NIPS'12】Imagenet classification with deep convolutional neural networks
6月 01

discuz 建立私人BBS

搭了一个Discuz,但是想让他成为私人论坛,这就要求在用户未登录情况下不显示论坛任何内容。

设置用户权限:系统用户组,游客-禁止访问任何页面。出来的效果很不幸,论坛上面的一部分内容竟然还在,并且透露了论坛部分内容。为了去掉这些东西,害我通宵搞了一晚上,累死了。

 

首先通过HTML匹配发现最头上那些东西位于template/header.htm里面,但是愣是找不到那里输出了这个htm。

进入member.php,折腾了很久,发现调用member_'.$mod.'.php',$mod是传入的操作,然后去看./source/module/member/member_logging.php,发现它创建了logging_ctl类,整站搜索发现该类位于./source/class/class_member.php,尝试在on_login中寻找,无果。

​又调试了半天,终于发现关键在于template函数,搜到这个函数,又跟进,尝试修改template函数里面的生成文件名,失败。但是通过分析checktplrefresh函数,里面调用了$template->parse_template,赫然发现Discuz竟然是用一种神奇的方式,把php首先通过一种奇怪的符号嵌入在html里,然后在服务器上替换成php,难怪header.htm看起来好奇怪的样子,在注释里面夹杂了很多php。

唉,最后还是去改header.htm吧,在header那个div之前加上<!–{if $_G[‘uid’]>0}–>,同时别忘了<!–{/if}–>,终于实现了目标。即用户登陆后header正常显示,用户没登陆时不显示header。

5月 17

2013-2014学年会议

ACL 2014
  • Long Submission Deadline: January 10, 2014 (11:59pm PST)
  • Long Notification: March 5, 2014
  • Long Camera Ready Deadline: April 11, 2014
  • Short Submission Deadline: March 12, 2014 (11:59pm PST)
  • Short Notification: April 17, 2014
  • Short Camera Ready Deadline: April 30, 2014
  • Conference Starts: June 22, 2014
 
EMNLP 2014  
2013还没完,2014尚早  2013@5@20记录
 
COLING 2014 
March 21, 2014: Paper submission deadline
May 9-12, 2014: Author response period
May 23, 2014: Author notification
June 6, 2014: Camera-ready PDF due
 
AAAI 2014
  • December 6, 2013 – January 31, 2014: Authors register on the AAAI web site
  • January 31, 2014: Electronic abstracts due
  • February 4, 2014: Electronic papers due
  • March 18 – March 22, 2014: Author feedback about initial reviews
  • April 7, 2014: Notification of acceptance or rejection
  • April 22, 2014: Camera-ready copy due at AAAI office
 
EACL 2014
18 Oct 2013: paper submission
22 Nov 2013: initial reviews to author(s)
29 Nov 2013: author(s) responses to reviews
20 Dec 2013: final notification to author(s)
14 Feb 2014: camera-ready version
 
CIKM 2014 
Abstract Submission    June 4, 2014
Paper Submission    June 11, 2014
Author Feedback Request    July 21, 2014
Acceptance Notification    August 8, 2014
Final Version Submission    August 31, 2014
 
WWW 2014 poster 
  • Poster Submission Deadline : Jan. 5, 2014
  • Notifications of Acceptance: Jan. 28, 2014
  • Camera-Ready Copy Date : Feb. 5, 2014
 
SIGIR 2014
20 January 2014: Abstracts for full research papers due 

27 January 2014: Full research papers due 

 
WSDM 2014
ACM WSDM Conference will take place in New York City, USA during
Key Dates
  • Paper abstracts due: August 19, 2013
  • Papers due: August 26, 2013
  • Paper notifications: November 25, 2013
  • Conference: February 25-28, 2014​