2020-09
16

迷上Power Query

By xrspook @ 8:50:36 归类于: 烂日记

从完全不用Power Query到天天都用那个东西,我感觉这实在太不可思议了。这种变化仅仅发生在一周之内。一周前我还在纠结,为什么我的Microsoft 365用不了Power Pivot和Power Query。自从我重新能用PP以后,我就在不断地探索,但是平时我处理的东西已经没什么可探索的了,因为那都是用了几年的成熟方案。我觉得已经很顺畅了。如果要再高效一点,就是把所有东西放进数据库,但我又不想真那样。并不是说我的确做不了,而是我还是想把这些东西用普通的office软件解决,毕竟实在说不准以后会怎样。会不会某一天我不续费365,又或者是我可以这么操作,但是和我搭档的人无法接受我的高端。如果我只是把软件交给他们用,这对他们来说学不到什么东西,他们只是用软件。当然这对我来说是很有好处的,因为无论是软件的使用还是软件的开发,我都了如指掌。这也正是我一直都很着迷的事。我不仅仅喜欢研究某一个部分,从某一个部分开始,我会快乐地发散开去,无论是纵向的还是横向的,最后全流程我都熟悉了。大概到了那个时候,我会换另一种东西开玩。

说回PQ这个东西。其实几年之前我已经听说这个强大的存在。Office 2003有个MS Query,但那个东西跟PQ其实是两回事,MS Query更类似于数据库的界面,PQ我觉得应该是Power BI的一个组成部分。Power BI除了PQ以外,还有Power Pivot和Power View。说是这么说,实际上我没用过Power BI。PV这个东西非常强大,动态展示数据,五颜六色,各种花式,但问题是,即便我能把那些东西放在网上,当我要交作业的时候,领导还是比较喜欢长篇大论。其实我更倾向于做个PPT,然后由我上去讲我的想法,而不只是写一篇纸上静态的东西说明问题。

PQ让我着迷的首先是逆透视。逆透视在从前的教学里,唯有通过数据透视表高级处理,现在貌似我已经不记得应该怎么用了,但是PQ非常简单,没有做不到,只有你想不到。二维表变一为表是秒杀的事。既然可以逆透视,当然也可以透视,所以你也可以把一维表变成二维的,为什么会有这种需要呢?之前我也不觉得要这么干,但昨天论坛里某个网友还真提出了这样的要求。他要合并两个表的数据,其中一个表的某两列得先进行透视处理。为什么会这么折腾呢?从原始数据看来,我不觉得他的表有什么问题。如果是我设计的原始表格,也就那样了。最终,他想做到的效果也很正常,因为那一大堆的数据,最后要得到的,其实也就是为了看那些东西。一开始,我想用PP连接两个表。结果发现连不上,说那不是唯一的ID,我有点理解为什么会连不上,因为实际上两个表除了某列数据有共同点以外,其他东西完全不相干,但是PQ却可以把他们用接近变态的方式粘合起来。从最后组成的大表结构看来,的确很乱来,但是要的不就是最后的数据吗?整合之后,一点问题都没有,当然,如果你要筛选两个表格,关联部分以外的字段肯定会出状况,而且这个状况是无法避免的,因为那些根本是不共有的信息。

我对PQ有好感的另外一个原因是那个东西有高级编辑器这种神奇之物。那种感觉就像PQ是一个可视化的网页制作软件,而它的高级编辑器就像是源代码。路人甲玩的是可视化,高手操控的是源代码。PQ的源代码用的是M语言。这是一种介乎于函数和编程语言之间的东西。能玩好这个的人没多少,能玩好这个的人绝对会让别人觉得是个神。数据的整理变成弹指间的东西,非常的伟大。几句代码就能解决平时我们只能靠努力,甚至非常努力都仍然解决不了的问题。

是网友们的问题,让我的脑洞又大了。

2020-09
15

如果我妈走了

By xrspook @ 8:59:15 归类于: 烂日记

不知道从什么时候开始,我和我妈的关系不像母女,而像姐妹了。37岁的年龄差,貌似根本没有那么悬殊。我跟我妈的状态,就像是我们各自都比实际年龄小了10年。我知道这种美好不会一直持续下去。如果有一天,我妈离开了,我该怎么办?这个问题,我简直不敢去想,因为我实在不想一个人对着我爸。就来对我来说,我爸就像一个陌生人。之所以这样,大概是因为我完全不了解他从前的故事。跟我相处的这30多年,他没有什么存在感,就像透明人一样。所以,当我妈不在,我要独自面对我爸的时候,估计我会直接把她送去老人院。不知道他是否愿意,但我觉得,他应该愿意,因为在那个地方,他再也不用自己做饭。也不用自己洗衣服,一天到晚他都可以投入到他想做的事情里。跟其他人比起来,他绝对是一个活在自己世界里的典范。电视里里说国家勋章或者国家荣誉获得者的故事的时候,总有这么一句话“一辈子只做一件事”。我爸就是那样的人,他一辈子就只是研究他的文字。我从来没有了解关心过他这么纠结有什么用。我妈更是任何时候都会不留情面地骂他只认识那几个字一点用都没有。当我爸也走了的时候,我真不知道该把他的手稿拿去烧了,让他的东西继续跟着他,还是把他的手稿拿去给某些文字协会之类。反正我是看不懂,也用不着的。一直以来我都觉得我爸太孤独了,几乎没有人过来找他。一年到头,他主动去找别人只有在过年的时候,给他的哥哥姐姐们拜年。

所以我觉得当我妈走了以后,家这种东西算是已经没了。家这种东西,只停留在我的记忆之中。从前我爸不给我讲他的故事,以后同样不会。我对我爸的了解,甚至不如我粉的某个明星。他的人生挺失败,我默许这种情况存在,不努力去改变,我也很失败。所以有时,我真的想不明白女强人到底应该搭配一个怎样的丈夫。如果我爸不是这样,或许我妈就会跟那个人不仅仅是吵架,更有可能打架。我爸不烟不酒也不聚会,一年到头不花几个钱,每个月都规矩地把所有收入全部上缴。地球上估计不会有多少个男人会这么干。我妈不喜欢我爸是显而易见的,我也不喜欢我爸,但是在外人眼里,我爸其实不算糟糕。这大概是因为家家有本难念的经。别人不是365天面对面过日子,所以感受不到那种痛苦。当我们吐槽我爸的时候。我们也没有考虑其他男人可能会糟糕到什么程度。试想如果我爸是抽烟的,我妈又长期慢性支气管炎,那会是一个多壮烈的场景。如果我爸是那种很活跃经常到处去玩的人,大概那些我需要背书的晚上,我就找不到家长帮忙了。

我不知道其他小孩有没有过这样的念想,总是觉得自己的亲生爸爸另有其人。

2020-09
14

好奇学霸们的人生

By xrspook @ 10:07:14 归类于: 烂日记

今天搭公交车上班的路上出乎意料,那辆车上最多的居然是学生,而且学生们在某两个地铁站几乎下光。平时,那辆304车上的几乎都是打工的外省人,他们其中很多都是在工地工作,从衣着就能看出来,但今天那辆车上几乎没有那种人。相比于平时,今天那辆车上的乘客更少。感觉我已经好久都没见过公交车上主要都是学生了。今天车上那些学生的校服我一件都认不出来,不得不说,现在的校服越来越好看了,尤其是礼仪服,但好看的代价是价格也越来越高。看着车上穿校服的学生,我才突然意识到原来自己已经不当学生不穿校服很久了。

学生时代成绩就是一切,但实际上人生又怎只那些。一直以来,我对我爸的过去都一窍不通,他从来不会跟我讲起他从前的故事。比如他是读哪个小学的,他的学习成绩如何,为什么我妈的家庭连高中都供不起她去读,而我爸能上大学。我爸从来没有跟我说过他学生时代的成绩如何。他大学选的的中文系,但我记得某次他跟我说其实他的高数也很好。过去那么多年,我爸从来没有辅导过我的理科,我爸通常只会帮我背书,连听写我也不让他做,因为他的普通话实在让人太纠结。我经常提笔忘字的小学低年级的时候,他是我的人肉字典,写作文哪个字不会他总能一口回答上。但理论上,他这个文革前就已经正规大学毕业的人理论上应该很厉害,不是学霸等级的估计做不到,但是他却从来没有把这样的往事拿出来谈过。有时我很羡慕我爸,因为过去了那么多年,他从前读的初中和高中居然都在,没有被兼并改名,而我的小学已经没有了从前的名字,初中更加是变成了纯粹的职中,不复存在。我爸在南武读高中,从现在的角度看,南武考上华师其实已经算是一件了不起的事了,为什么他从未提起过呢?他的大学同学有不少去当老师了,老师一级一级爬上去,校长部长的也不少,但相比于当老师的,更多的是去当官了,但我爸到他退休的时候,他什么都不是。他当过工厂的老师,也在工厂的办公室干过,但最后他当的是普通的工厂质检工人,做那些甚至不需要中专生的工作。

成绩神马、学历神马、读书神马,在我爸的人生历程里,都是浮云。

我很想知道,那些中考状元、高考状元十年后、二十年后、五十年后到底如何。如果他们的人生不怎么样的话,为什么当初要如此隆重。别说那么长时间,貌似我还没听说过中考状元三年后继续蝉联高考状元。高中的时候,我们的某些老师的高考某些科目是满分的。教过我的老师里面,有数学满分的,也有化学满分的,但他们都只是单科满分,我没听说过谁是某个地方的状元。到底状元们长大后都去干什么了呢?每当考试放榜,大家都会把注意力放在状元身上,号召广大学生向他们学习,他们是大家都榜样,但毕业以后呢?什么才是每个人的榜样?大家应该活成什么样子?

中国的教育让我们懂得一定得拿高分,却没有给我们明确地指引我们终身奋斗的目标到底该如何确定、怎么实现。

2020-09
13

别人常踩的坑

By xrspook @ 20:09:06 归类于: 烂日记

怎么才可以让自己遇到更多的问题呢?我选择的是猫在某个论坛里,解决别人提出的问题。我仅仅猫了几天,就得出了某些结论。比如通常逼着大家提问的原因在哪里,针对那些东西,我应该如何在表格里避免。某些东西,我们一定会遇到,即便暂时没有,所以在那之前先掌握技能很有必要。如果等到像他们提问题那样才去被动去学习,就比较烦恼了。

第一个让他们在用数据透视表的时候得不出应有的结果的原因是他们的原始数据格式有问题。数据汇总时碰的壁绝大多数都是原始数据记录时挖的坑。最经典的坑莫过于合并单元格。所以,当我看到某个同事给我的表每一个数据框都至少合并了两行两列单元格的时候。我立马拍桌子发飙了,这是处理数据吗?!如果你嫌那个单元格宽度和高度不够,完全可以对单元格进行调整啊,为什么要合并?之所以做出这种低能的单元格合并,唯一的理由就是,她根本不知道那些东西的宽度和高度是可以调整的。对她来说,Excel的表格就像十字绣一样的固定洞洞,就像Photoshop里的网格线。但实际上,根本不这样。面对这种人,我是完全无语的,因为她完全不了解她正在使用的那个软件。这些人应该从头去开始学习Excel,从最基础的学起。只有让她明白Excel是做什么的,可以怎么用它,她才不会犯这种超级低级的错误。这种空前弱智的单元格合并通常不会发生,更加不会在某个表的任何一个数据框里面发生。某些人会把平时手工汇总的表格拿出来求做成数据透视。准确来说,那是一个明细表和汇总表的混血儿,在实际工作中我们经常会碰到。从展示表的角度考虑,这非常正常,尤其当数据完全由人手工填写的年代。但这不是Excel处理数据的习惯,明细是一回事,汇总是另外一回事。当某个大项里有N个分项,大家非常习惯,把大项横跨的几行合并为一个单元格,然后分项的总和也合并为一个总数。这是人的处理习惯,但Excel的处理习惯是大项为一行,分项为余下的行。当你不想看明细的时候,直接把它收起来。之所以会出现这种人的思维和机器思维不一致的东西,完全是因为大家没有读Excel,而只是把我们人肉做的事要Excel去模仿。这绝对是搞死人的!处理这种事,只能把大项的单元格合并取消,向下填充同一个名字,最后的汇总数据,全部打散为小项的数据。如果一个明细表里有很多这种情况,又有很多类似的明细表需要合并,那可是清晰数据整死人的节奏。

另外一些数据透视表的问题发生在多表合并的时候,有时可能还得对表格的汇总数据进行一些运算。通常,这需要用SQL查询,但我觉得在Excel里用SQL有点麻烦。那个东西不适用于文件移动,一旦文件发生移动。数据将来难以刷新,因为实际上进行了SQL查询以后,电脑的某个位置会形成一个数据库。当你移动文件到别的电脑,引用的原文件仍然只是旧的那个。通过在文件里加个VBA,能解决更换数据源的问题,但要这么复杂才能做到,证明了SQL在Excel里实际是有点水土不服的。这种玩法根本不适合分享文件。SQL语法虽然很简单,但是标点符号的错误,哪怕是多了一个空格,也会出状况。在没有语法检查的编辑器里写那些句子,简直就是撞墙。新版本的Excel里内置了Power Query和Power Pivot,如果用的好的话,SQL基本可以丢一边了。我感觉应该可以这样,虽然我对这两个Power工具还非常陌生。我觉得,也正是因为Excel里面用SQL不太顺,最终才会让这两个Power成为新版Excel的标配。

把别人的烦恼当作是自己的烦恼,是一个让自己进步的方式。

2020-09
12

收起骄傲吧,少年

By xrspook @ 21:23:16 归类于: 烂日记

高分低能这种东西,并不是某些个例,甚至我觉得,这可能是普遍存在的一个现象。分数到底能代表些什么东西呢?还在学校的时候,或许这个东西真的能让你不断地爬上去,尤其是在纯粹的理论学习领域。但实际上,我觉得某些东西是没法用分数去衡量的,而有些东西发展到一定程度,再也不应该由别人制定的规则去衡量。打破常规,创造出某种东西,那个东西的价值,不在评分体系里,超过了那些制定框架人的想象。所以,在那种情况下,别人能给你打多少分?在那种情况下,分数毫无意义。如果某些人一直只停留在拿高分这种癖好上面,我猜他们是无论如何都感受不到那种打破常规,给别人创造惊喜的快感。但我又不能很铁定地说,高分就一定低能,有些人很高能也能拿很高的分,那是神一样的存在。但貌似。在我过去30多年的人生经历里,我从来没有遇到过这样的人。每个人都是不完美的,必须得接受这一点。但是,我们却可以让自己变得更完美。变得更完美,相比于追求纯粹的高分,我觉得那时更应该作为每个人的人生追求。

在追求更完美的路上,首先,我们得承认自己的不足。我们到底在哪里出了问题?为什么别人就是不满意我们?他们都不满意,他们的唠叨到底我能不能改,应该接受还是漠视那些东西?或许在别人首次说我们有问题的时候,我们会无视,但是,当那种事情一再发生,显然,那就不是别人偏见的问题了。为什么这种问题会出现在我的身上,而不出现在别人的身上呢?或许我们觉得,自己在某些方面已经非常厉害了,已经厉害到可以傲视群雄,打败其他人了。但我们不应该停留在这种绝对优势的沾沾自喜上。我们或许知道自己很厉害,别人也或许知道我们很厉害,但是评判一个人,不仅仅是在某个点上。在别人的眼中,或许他们更愿意把关注点停留在某些我们做得不够好,有些我们甚至做得比他们还差的点上,而那通常会变成他们对我们的总体印象。正如我们总是把他们不如我的某些地方,作为他们的特点一样。

在研究的路上,很多时候,我们都要全身心专注在某个点上,但是,当我们到达一个平台,当我们要向更高的水平迈进的时候,我们就应该接受别人的意见,甚至从某些完全不相干的地方获取灵感。

我的大学毕业论文是一个跨学科的项目,或者说其实那不算跨学科,但问题是,微生物的老师没往那里想,工程的老师想到那个点,但是,他对微生物不算非常了解。正是因为乘着这个跨学科的东风,在那个领域,我可以自由地思考和探索。如果有微生物老师的进一步指导,我肯定可以更进一步,但也正是因为有工程老师的支持,我开才可以在那个课题上迈出第一步。那是我第一次深刻地体会到原来交叉的世界那么伟大。今天晚上的新闻里,说到华南理工的开学典礼,华工的领导说要培养跨学科的人才。那一刻,我再次明白到,自己当年是多么的幸运,遇到了这么一个非常有远见的导师。这是一个值得我感恩一辈子的经历。

承认自己的不足,其实没有想象中的那么难。

© 2004 - 2026 我的天 | Theme by xrspook | Power by WordPress