2020-10
20

我要优化提速

By xrspook @ 8:36:19 归类于: 烂日记

当我终于把功能做出来以后,我却嫌弃出结果太慢了,居然要好几分钟。明明最终我想要的是一个表的合并,为了更快,我不得不拆分为两个查询。第2个查询以第1个查询的结果为基础。其实这么操作,无非我是想利用第1个查询已经得到的缓存结果。那个结果已经被我用表格输出。之前我试过从零开始弄第2个查询,结果发现实在太慢了。如果没有那么多的分组,速度还会那么慢吗?如果只是一个求和,根本无需分组,但问题是,每个批次的东西必须分开计算,然后才可以出现分段的结果。说白了,让我纠结的是一个累计求和。

累计求和这种东西的思路在PQ里通常都意味着新增一列,参数设定匹配某行的某些东西,符合条件就把某列的数据求和。所以实际上这是一个筛选的过程。如果数据很多,筛选肯定会很慢,但除了这样,还能有什么方法吗?据说可以用索引的方法。据说索引的方法比筛选的方法快非常多。如果用python的思路去考虑,我觉得筛选是一个列表的操作,而另外一个是字典的操作。如果不用二分法。历遍列表是非常慢的,但如果要立片字典,历遍是轻而易举的事,而且字典的效率比二分法还要高。所以我应该如何建立索引呢?如果筛选的是多条件,索引大法还能继续管用吗?我觉得现在我遇到的问题那些经常接触数据库的人估计已经纠结过了。这不仅仅是Power Query的问题,这是如何运用数据进行弯曲折叠的问题。只要是数据库,无论是SQL还是其他形式,都会有这种烦恼。

昨天我终于经历了一个Excel要跑好几分钟甚至十几分钟才能出结果的东西,我感觉那没多少数据。我曾经试过把那些东西输出,结果发现输出速度非常慢,每秒钟只处理了不到100个。那些数据粗略计算了一下,可能有超过2万条。为什么加载2万条数据会这么慢呢?这是一个令我纠结的结果,如果把最后的分组都做了,输出的数据只有365条,但如果不做最后的分组,有超过2万条。不做分组的话,那个结果可以在软件里直接展示出来,顶多只需要几秒的运算时间,但是不做分组,把数据输出却有超过2万条,即便我不输出表格只输出数据透视表,依然在输出的时候速度非常慢。为什么对2万条数据进行分组会这么慢呢?除了分组,还有其他快速的方式可以对某条件进行求和吗?整个操作之所以这么慢,除了因为分组,还有排序,还有一些,null转化为0,或者把0转化为null的操作,最后,还有一条我自己都觉得应该会很作死的向下填充。那个结果我花了好几分钟才计算出来,如果让高手去解答,估计运行时间会会是毫秒级的,顶多不会超过三秒钟。

一方面,我很想知道如何提升运行速度,直接拿去问人显然是最显而易见的办法,但在这之前,我想自己先思考一下,毕竟走到这一步已经很不容易,我不想在最后一步认输。这让我想起了高中数学老师的某句经典语录,学习数学几个境界里的最后一句——全而不好(前几句是“不懂不会,会而不对,对而不全”)。

2020-10
19

工作的羁绊

By xrspook @ 14:45:11 归类于: 烂日记

到处去玩这种事貌似从来不能引起我的兴奋。学生时代每个学期的旅行很让我期待,但到底期待的是不用做作业、有零食吃还是喜欢玩本身呢,我实在说不清。可以肯定的是即便去了旅行,回来之后语文的游记还是少不了的。虽然其实写游记也不是太痛苦,但欢乐之后有种这样的作业始终会让人觉得不尽兴,但起码旅行那一天没有测验考试。我已经不记得小学时的旅行具体去过什么地方了。初中的时候我们去过长隆动物园和东方乐园,当时的东方乐园已经接近关闭状态,所有东西都旧旧的。据说我妈带过我的表哥去东方乐园,而且我妈去的时候东方乐园才刚开不久,为什么她就不带我去呢?从前我对机动游戏很感兴趣,但现在,那些东西再不能激起我的兴奋了,再过几年,估计会更加无感。因为我是晚婚晚育的孩子,所以当我年龄适合的时候我妈已经对那些东西没兴趣了,她注定不会带我去玩那些东西。

现在更加作死,无论是法定假期还是外出培训,对我来说根本就没有一天可以闲下来不工作的时候。从前外出的时候我带着笔记本电脑,因为我要写blog,我要上网,去那些小众的地方,但现在,让我非带着笔记本电脑不可的原因是我要继续处理单位的数据。一年到头就只有几天空闲。只要我速度快,每天的量其实我用几分钟,顶多30分钟就完成了,但每天都得有这么个心理负担,要处理那些东西。处理数据和写游记到底谁简单一些呢?处理数据完全不需要脑子,但游记的思路来了以后就是行云流水的操作。白天我可以随便玩,但到了晚上,我必须得纠结单位的数据什么时候出来,是不是只有一些而没有另外一些。没有人强迫我必须得这么干,但我觉得把东西堆到第一个工作去做更痛苦。我注定不是那些下班以后就可以拍拍屁股玩消失的人。这是一个简单的工作,但同时这也是一个困身的工作。之所以这么折磨,完全那是因为我把这件事太往心里去了,如果我是一个不怎么上心的人,估计不会有烦恼。生产线上的工人不在生产车间就没烦恼,我这种人无论身在何方,有数据就得干活,虽然除了远程处理数据以外我还有必须现场处理的实物纸质资料。今年国庆节8天假期,据说5号就开工,结果其实后面4天不是天天都有作业,但我还是得天天蹲在那里观察。那几天即便有作业也很少,与其每天都只是一点点,为什么就不能把那个押后到国庆节结束后再干呢?一方面我知道没东西干对单位不好,另一方面,我想真正放个没工作的假。过去这3年,我试图让自己习惯这种和数据共处全年无休的方式,虽然我已经优化了很多东西,让每日的工作尽可能地高效,但貌似和数据捆绑在一起的这个心魔我仍然挥之不去,不只是没有减轻,更有越发深刻的趋势。以前这么干是总公司逼着必须得这样,但现在,不是他们管辖范围内的东西,我仍然这般要求自己。

我注定不是个享受旅游的人。

2020-10
10

当年,为什么

By xrspook @ 10:20:34 归类于: 烂日记

不知道从哪里看来这么一个评价,中国的程序员在实用技术上的开发是一流的,但美国的程序员在基础理论上的研究生一流的。可能原话不是这么表述,但大概是这么个意思吧。我也是一个专注于使用技术上的人。我没有一个确切精通的东西,但要做到精通某个东西其实已经是一个很高的境界了,显然起码暂时来说我不是那种人。我会偏向于用某些思路去解决问题,但当某些思路是在不能解决某些问题的时候我的脑洞会再次打开,慢慢地转移到别的地方去,之所以有这种转变,是因为我发现别的东西在解决某个问题的时候更加靠谱好使。所以,总的来说我并不局限于只用某个工具解决问题。

大学的时候我不知道为什么我们要学C语言而不学习其它编程语言。大概理工科的学生都要学习编程语言这种东西吧,不知道学设计的要不要呢?反正农学和经管的好像不用。至今我都不知道为什么非得在我们的大学课程里安排这么一个必修课。学计算机的学生也必须学C语言吗?还是说他们学的是其它?又或者他么是在学了C语言以后再学其它?为什么我搞不懂必须学C语言最根本的在于C语言必须在DOS下执行,还得先编译再运行。除了在软件里写码以外,我最经常用的写码工具是Windows自带最传统的记事本,要不干脆不在电脑上写,直接在草稿纸上写。如果当时已经流行像VSCode那样的编辑器,大概我就不用走那么多弯路了。编辑器能够提醒你语法有否出错,即便语法不错,程序能不能运行最根本的是整体的思路。跟python比起来,C语言的语法更为严谨,之前没有声明过的东西不能用,花括号这种东西必不可少。后来我明白到大概当年要求我们必须学习C语言不是要我们真的懂得用那个东西搞出些什么,而是让我们对编程思维这种东西有所了解。因为是在DOS这种环境下运行,学习的时候就自然不会带入太多额外的脑洞,让东西写着写着就跑偏到别的事情上。如果当年学习的是python,大概我的很多同学就不会觉得编程语言除了用来应付考试就一无是处了。编程能快准狠地解决我们平时遇到的很多问题,但体会到这个又是过了好多年后的事了。话说回来,如果一开始就让我们知道那么多,是不是好事呢?

有时我挺庆幸我读书的时候网络远没有现在发达,起码智能手机还没有。没有随手拿来的智能手机就不会有假期拍照和录小视频的作业,同时也没有每天限定多长时间得在某个app上完成某些作业的任务。对成年人来说,游戏是消遣,对孩子来说,手机app完成作业是学校作业的无限延伸。从前,离开学校就算解放了,但现在,因为有app的约束,哪里都是天眼的管辖范围。app上的数据家长在看,老师在看,虽然其实完全遵照那个去做实际上也不会太难,但哪个孩子没有叛逆心。手边没有智能设备,的确让我的从前少了很多照片和视频记录,但也正是因为从前的照片都在胶卷上,需要晒到相纸上,重新掏出实物让人更容易触摸到从前,岁月的颜色和味道都留在了那里。

我的人生让我有了我去选择的权利,而不只是成为别人想我成为的那个。

2020-10
8

拦路虎

By xrspook @ 19:45:14 归类于: 烂日记

我8天长假今天结束,若不是这是个月头,我肯定会再请两天的假,再连续休它三天。因为长假短假几乎都在月头,月头对我来说,是最忙的时候,而且也必须干完了,后面的日子才不那么纠结。否则,我明明可以家两天进去,让这个国庆假期连续休个10天以上。在别人上班的时候休假,最好的地方是去哪里人都很少。东西的价格也从假期时的高峰降下来。出行会少车少人,景点更加是人非常少。但现在,我不能再请两天假,接下来,因为周末只休一天,我也不折腾他回家了。明明可以很休闲,但实际上接下来,我要在单位连续待8天。

这次让我纳闷的还有平时蹭车去上班的那个同事,明天休假。本来我并不吊死在一个人上面,但问题是,另外那两个人都被发改委借调去了。理论上,去一个,就会还一个回来,但实际上,回来那个人的时间却一拖再拖。先是两周,然后是个把月,最后,要到年底,年底的时候肯定又有其他变故。总公司也好,粮食局也好,发改委也好,要把你的人借调走,根本不由得你选择。他们明明可以招公务员,为什么非得在下级单位抽人过去帮忙呢。最恶心的是,人被他们要走了,但工资还是由我们发。不花一分钱就有人用,这种事情实在爽。而且,即便这些人工作上有闪失,他们也可以一句临时工撇清关系。我不知道他们的队伍里面到底有多少这种借调。借调时间长了,会不会从借变成调?可以肯定的是,过去这么多年,我从未见过,借过去的人最终真的可以留在那里。因为要进入发改委,始终只能走考公务员这条路。考进去的公务员,纯粹从学校毕业,或许成绩很好,或许面试很优秀,但他们不了解基层的事情,制定出来的各种规矩也是匪夷所思的。对基层得干实事的人来说,那些决定都是拍脑袋想出来的,完全不符合实际。如果你说必须得在基层工作多少年才能上去的话,估计最终上去的人都早已不是基层,而是下属单位的领导。你怎么可能叫一个已经当了很久领导的人去做一些小杂活呢。如果只是要做一些小杂活,为什么非得找一个学霸去做?领导不适合做那些东西,学霸未必能把那些东西做好,于是就有了这些借调的临时工,那些纯粹借而不会调的人。

大学的时候,我的很多同学都去考公务员。能考上的没几个,除了考试成绩要很好以外,关系还得非常铁。还没到达面试那一关,父母就早早让将要给她面试的人上课了。考公务员的即便有些分数过了,面试成绩仍然不靠前,所以被某些事业单位收编了。当时我对那些一点兴趣都没有,现在,我依然对那些没兴趣。我宁愿去当那些送外卖的或者送快递的,也没想过要去考公务员。

公车改革,无休止的借调,让我这些小不点连上班这种简单事也不得不头痛。

2020-09
25

吃饭直落

By xrspook @ 8:53:06 归类于: 烂日记

昨天晚上吃饭出去嗨,原因有两个。一个之前就有,和另外一个近期才突然冒出来。本来是打算出去吃饭要好些时间,结果我们很快就吃完了,于是就直接继续下去卡拉OK。吃饭吃的是火锅,没想到这么快就吃完了,更让我觉得惊讶的是这帮年轻人点菜居然可以完全不点蔬菜。虽然我对蔬菜也没什么爱好,但是我总觉得一顿饭里少了那个东西总不大对劲。6个人吃火锅,一盘肉下去。几秒就涮好了,接下来,一分钟之内分完,吃的过程更快,可能只需要几秒钟。因为这样惊人的进度,所以感觉东西很快就被我们干掉了。虽然上菜已经不慢,但是我们吃得更快。不只是吃的快,而且不知不觉之中也吃了很多。主食只有一个炒粿条,没有蔬菜,只有肉类,所以感觉很快就结束战斗。这顿饭不便宜,但不知道为什么。好像没到高潮就已经结束,大概是因为除了吃饭以外,我们没什么不断聊下去的话题。记得上一次去这家店吃饭的时候,我们有另外一个同事也一起,那一次感觉吃了好久。

接着,我们就去了旁边的K房唱K。唱K这东西,我一直都没什么感觉,有些人对这个项目非常痴迷。无论是唱歌本身,还是唱歌以外的游戏,又或者是唱歌的吃吃喝喝。很多K房,与其说是K房,不如说很多人是为了去那里吃自助餐。有些人听到唱K就会两眼发光,但对我来说,唱K不过是吃饭以外延长相处时间的一个项目。昨天的那个K房,我觉得最大的问题是包间里面的洗手间没水,不只是包间里面的洗手间没水,据说外面的也没有。抽水马桶没有水,你或许会怀疑,是不是马桶坏了,但洗手盘都没有水的话,真的不知道该如何评判。因为我对唱K不感冒,所以我也没有一些自己很擅长的歌,与其说我真的没有,不如说我不知道我擅长些什么。我喜欢听什么不意味着我一定就能把什么唱好,而那些一直以来我都不觉得自己擅长,甚至说全曲我都没唱过的歌,或许跟我合拍。一个喜欢唱K的人,拿起麦克风的时候,不会没有自己的歌库,但显然我就没有。不知道唱什么,也不知道点什么。我们昨晚上唱K,除了唱歌本身,还玩了一些其他项目,比如说骰子,也比如说其它类型的东西,反正那些的结果都是输了的人要被罚,喝东西,可能是啤酒,也可能是饮料。他们玩骰子的时候我不玩,我在唱歌,因为我对骰子完全不感冒。玩其他的时候,我凭借能力加运气,让我成为全场唯一一个从未被罚的人。如果游戏时间再长一点,我那弱不禁风的能力肯定不会再起作用,但也正是因为我玩得少,所以昨天我有运气的加持。为什么唱K的时候要玩这些项目呢?为什么唱K的时候就一定得跟喝酒之类分不开呢?有男的参与的唱K或许一定得有酒,但纯粹只有女的唱K,很多时候会跟吃密不可分。我妈年轻,她还在职的时候(当时的休假是周末1.5天),某段时间,周六下午,单位就会开放活动室,那是个舞场,他们会请老师回去,教他们跳交谊舞。那里也有一个小房间,可以在里面唱K。唱K这种东西,在我妈年轻的那个年代,通常都是在家里进行的,但一直我都挺抗拒那个项目。我觉得做那种事很烦,所以当他们跳舞或唱K的时候,我会跟其他孩子在工厂的其它地方瞎玩。我不知道当时的家长们为什么这么放心,不怕我们去捣乱,实际上,我们没有、也没想过要捣乱。

这些或许是工作之后最基本的社交,无论当我是孩子,看着我妈去做,还是我自己亲身经历的时候,我都毫无感觉。

© 2004 - 2026 我的天 | Theme by xrspook | Power by WordPress