我的天

前段时间我看了几页POWER BI的教程，然后我就重新开始了之前我没有完成的事。因为我知道我肯定是要把那个东西搞定。虽然POWER BI的教程只看了几页，我已经对数据的理解有了一个确切的答案。如果可以的话，如果分析软件足够强大的话，又或者说个人电脑足够厉害，我们完全可以利用最基础的原始数据进行各种蹂躏，这样的话，颗粒度是最小的，也能够组合出最多的信息。但很多时候因为最原始的东西信息量实在太大了，有可能电脑吃不消。也有可能是别人问起来的时候还得各种加工处理，比较麻烦，所以就有了汇总数据这种东西。在汇总数据上面做汇总数据，的确能得到某些东西，但这样的话，显然就限制了想象力。因为一开始某些数据已经被汇总起来了，于是里面的某些细节再也不可能被打散。这样做不得不牺牲一些东西。可能那些东西暂时来说没什么必要，但说不准什么时候就会用到。所以可以的话，我还是比较喜欢对最初级的东西进行处理，而不是在汇总的基础上做汇总。在汇总的基础上做汇总，最终只能得出某些目标结果而不能天马行空，我觉得这样挺无聊的，但很多时候大家为了纯粹完成任务，不得不这么干。我觉得如果非得这么干的话，不如写个VBA脚本，全套自动运行没有烦恼。毕竟如果真这么干的话，做的纯粹是条件反射，循规蹈矩得出那些东西我觉得基本上不怎么需要动脑子。脑子应该用在制定程序上面而不是一次又一次重复某些步骤。在重复步骤这个能力上，人类远远比不上机器。我仅仅看了几页的POWER BI教程，已经给我明确了过去我一直都隐约觉得，但是却一直都没有总结出来的东西。现在我证实了我的直觉是正确的。

POWER BI之所以是POWER BI，因为它们可以处理Excel不能处理的东西，百万级的东西可以轻松搞定。从前那些不得不分几个Excel才能得出来的结果只要从那里导入，根本没有底线这个说法。我还记得新冠疫情某段时间英国说他们的统计数据出现的问题，有些数据被漏报了，原因是信息量超过了Excel最大的行数。这也实在太扯淡了吧！他们怎么会不用数据库呢？数据库的底线好像我还没听说过。如果Excel有底线的话，完全可以把数据分在几个Excel文件里，然后通过POWER BI把数据联合起来。所以他们给出那种完全不能让人接受的答案的时候，我在那里呵呵。那种数据级别居然还在用Excel，而没有没有专业的数据库去处理，这实在太让人震惊了，是因为他们只习惯于用Excel吗？大概是因为改数据的时候比较方便吧。毕竟进入数据库进入服务器的东西是会留痕的，但Excel可以随心所欲颠倒黑白，想怎么写就怎么写。

我不知道现在的世界到底有多么的水深火热，反正今年的股市就一直都很不咋地，我的基金被套住了，一开始只套一点，现在越套越多了，于是我也懒得去看到底是怎样。与其把人生耗费在钱生钱上面，不如干一些实实在在的东西。

到底我自己有多强大？即便我自己也不知道。

在对账这个问题上，貌似我的手上已经有不少的武器。那种东西是我不知道该如何积累回来的，已经成为了我的条件反射。该用什么方式才可以快捷方便而且全面，最好是扩展性也很强的。什么时候应该用搜索或者索引，什么时候应该用数据透视表，什么时候必须得上数据清洗……数据的高级应用，我很多还不知道，但现在，我已经不像从前那样只是蛮力复制粘贴了。

回想起来，10多年前当我第1次接触统计数据的时候，我用的是老员工留下的人工透视法。显然在手抄账的年代，那个东西非常直观。当时，李大姐的那个东西用了好几页纸打印出来，然后粘贴成一大张，我简直震惊了。上面的所有数据都是手填，万一我手贱了呢？每年的日期就那么多了，我们的仓会不断增加，我怎么能保证每个都不错？当时我没有想过可以用什么其他方法可以实现同样的事，我也没想到可以不用那样。怎么才能不人工？

那个时候我还不认识数据透视表。现在我觉得，数据透视表大概是Excel里面性价比最高的东西，那个东西是用来快速得出汇总数据的，但如果原始数据不规范，数据透视表就无从谈起。近些日子我又认识了Power Query。那个东西最擅长的是数据清洗，当然也可以把汇总数据一步到位，但是汇总数据这个活儿，我觉得PQ在处理不规范数据上用处更大，至于汇总数据这种事情，交给数据透视表就挺好，毕竟数据透视表可以随心所欲各种变换，而PQ一定程度上是在做脚本编写。如果只需要某个固定的最终结果，PQ一步到位，但是如果不确定需要的汇总结果，数据透视表更省事。因为数据透视表建立了，低手也能得出结果，但PQ这东西，高手写出来的嵌套公式，低手绝大多数时候都无法参透，即便你耗费很多时间奢望理解。没有一定的基础，PQ就是天书。现在，我仍然需要10年前那种用手工透视的效果，但我用的方法肯定不是人工透视。一年365或366天是固定下来的，但是随着仓数的增多，那将是一个无底洞。万一平房仓需要分堆垛了呢？那更加复杂，别说一张A4纸，即便是10张A4纸拼接起来也未必能表达得了。换句话说，如果10张A4纸拼接起来，我看完前面，再看后面，确定我在填写某一行的时候会不出错吗？

有些人只会延续前人的方法，埋头继续做。一开始的时候，我也是用前人的方法，但做着做着，在不知不觉之中我就改进了，最后得出了一套我自己的方法，我不知道这是不是最优，但我的方法可以让我得心应手，在提升质量的前提下，大大简化之前的操作。当我想让某个固定程序更方便的时候，我会直接写个脚本。现在我用的是VBA，或许以后我会用python。VBA是所有office软件都具备的功能，但python这种东西必须得电脑装软件支持。如果只是一个人使用，完全没问题，但如果数据需要多人协作，显然这样就有点不方便了，因为不同软件的版本可能会有一些意想不到的小插曲。

我在五行之中过日子，但我也必须跳出五行提高境界。

Excel的一般公式，我比较熟练，一些高级公式的叠加，我需要找教程套用，但起码我知道那是可以做到的。一般的数据透视表，是我一直以来用得相对来说最顺溜的东西，至于高级的数据透视表，也就是超级数据透视表我几乎不了解它的高级用法。在数据的筛选查询方面，之前我用的是公式，而近期，我知道了有Power Query这种神器。在这之前，我已经知道可以SQL语言查询。去年我开始系统学习了Excel VBA。这让我大大提升了某些工作的效率。当然这是非常有针对性的。对我来说，要开发一个VBA脚本需要好些时间，并不是一写就能用的那种类型，期间要经过不少修改。所以其实总的来说，对Excel的了解我还是比较全面的。

也正是因为有这样的经历，所以当我遇到某些综合性的问题的时候，当别人把目光主要集中在某个他们很熟悉的版块的时候，我会凭借我的直觉找问题，而不局限于他们觉得出问题的那个地方。比如在把SQL查询跟VBA结合的时候，别人会把精力放在SQL查询有没有写错上面。SQL有没有写错，其实我根本没看，对我来说那些东西太长了，看不懂，而且那个人写的VBA脚本缩进很有问题，看得我很郁闷，所以我就更加没有心情在那里琢磨。那既然能计算出一个正确答案，说明那个查询语句应该没什么问题。也正是因为写脚本的人的那堆东西格式比较混乱，所以我有理由怀疑那是拼凑起来的脚本，因为居然在脚本的开头连变量的定义都没有。为什么VBA里没有进行规范的变量定义，后面也居然可以照样使用呢？这让我有点惊讶，毕竟这是个VBA，不是python。C语言里，如果不先进性变量定义，后面根本用不了。在我记忆之中，VBA的变量在使用之前是需要先定义的。最终我发现是那个人的脚本之所以出错，是因为某些语句的套用搞错了，为什么他会把那个东西放在里？我觉得大概是因为他没有明白他一开始做的那个with是什么意思。但如果你问我为什么他把那堆东西套在里面会出错，而且是某些地方出错，不是全部出错，我回答不出来。理论上这种错误能在恰当的调试中体现出来，但实际上，VBA的调试句子我还用得不算很熟练。或者你会说，这是因为我的VBA学习还不够系统化，但我觉得我已经用了学习VBA最靠谱的那本书了。可以肯定的是，一些很基础的调试方式我还没掌握，如果我学会了那些东西，我可以大大提升我的调试效率，把错误定位得更精准。VBA脚本这种东西，我觉得最根本的是必须得理解。如果纯粹是各种套用，基础功能的确可以快速实现，但是当遇到的问题比较综合的时候，就会出现一些他们完全料想不到的状况。那种状况有可能与脚本本身的内容无关，与脚本的结构有关。

相对来说，Excel里我用得最弱的是高级公式的套用。如何用一个非常复杂的公式解决一些高端的问题是我一直以来都不大上心，或者说记得不够好的部分。非常复杂的公式，尤其是数组公式，虽然能解决一些神一般的问题，但问题是，其实那些公式需要耗费大量资源，所以在处理大数据的时候，非常有可能出状况。我是一个实用主义者，能做到某个功能，但是做起来的效率不高不好，我为什么要选择那种只是看上去很炫酷的方式呢？情况就像用VBA解决同一问题的时候，如果只是在工作表层面处理和先用内存数组处理再在工作表层面表达，效率千差万别。

Excel对我来说，除了要最终结果，过程也得追求高效和方便。

对别人来说，做某件事就是从系统上读取某些数字，抄在纸上，然后不断地敲计算器，得出某些数据，然后再按照某些格式整理成别人要的样子。之前我也是这么干的，但是我觉得，这实在是太累人了。我要做的不仅仅是读取系统上的数据，我做的是读取我自己的数据，然后跟系统上的做比对。做的东西必须是最小单位。明细对好了，后面的汇总是水到渠成的事。我觉得，汇总数据这种事，规则我定下来，结果应该是自动生成的，管好我的明细数据，汇总数据就不会出乱子。汇总数据出来了以后，还得按照某些格式整出来，这其实是一个填坑的过程，但是应该怎么填呢？逻辑的思路就是，如果有数据就展示出去，如果没有数据，就为空。这是主要思路，但某些细节问题其实也是需要考虑的，比如说数据与数据之间的标点符号：逗号，分号，句号，冒号等等。没有数据的时候，那个地方是空，但是在连接两个数据之间，有些人默认带入了标点符号，于是就会出现一个神经质的状态。数据与数据之间有一大堆莫名其妙的标点符号，正常情况下，那些东西都不应该存在。按照人的思路，那些东西根本不可能存在，但为什么有那些东西呢？显然是那个做判定的人没有把标点符号写到判定里。什么时候应该逗号，什么时候应该句号，当没办法判定哪个才是最后一个的时候，标点符号怎么办？其实真的不能判定吗？肯定是可以的，当某个元素的序号等于这个数组的最后一位，显然那个东西就是最后一个了。在Excel的世界里。尤其是不考虑VBA，只考虑前台的公式，这个逗号的判定在我现在的能力范围之内，的确有点难，所以遇到这种情况，我干脆每个数据给它一行，每行数据的末尾，不加任何标点符号。

昨天我突然意识到，Excel的公式编写是可以插入空格和回车的，当然，空格和回车要加在恰当的地方。比如加在数据连接的地方，不要加在某个函数里。又或者其实加在某个函数里面也是可以的，但是如果你在表达字符串的地方加入了很多空格，最终的结果肯定会哭。也正是因为回车的加入，让我的公式看上去更整洁了，我不用纠结不断地眼睛急转弯。复制粘贴也变得相当的容易。的确复制粘贴很简单，但是粘贴得多了，每一行的数据框架都是一样，只是修改了里面的部分内容就会让我自然而然想到使用循环。如果Excel的公式里有for或者while这种循环该多爽。换句话说，为什么就不能有循环呢？之所以这样，大概是因为Excel，没想过你要么在某个单元格里面展示一堆合并起来的字符串。这种字符串的合并，理论上更应该出现在Word或者普通的txt里面。

我首先写了个索引，然后写了个数据，接着对数据进行数据透视表，最后写了个很长的公式。根据数据透视表和数据透视表以外的一组数据，生成了两段字符串。字符串里面所有数字的格式全部都严格按照我需要的模样输出。这样做的确实现了我想要的功能，但我感觉还是有点麻烦，如果写个VBA，加入数组，这些东西很容易就能表达出来。从前前台看来，也会干净利落很多，但问题是，加入VBA的话。Excel的保存格式就得改变。对小白来说，VBA是个洪水猛兽。他们不知道该不该允许宏这个东西。如果我是他们，我不了解这个东西。这个东西的确有安全隐患，我肯定不会主动打开，即便我知道这个东西可能很强大。

开源的东西用起来得花一些步骤。组装好的东西用起来的确用很爽，但问题是，万一里面有猫腻呢？归根到底，还是自给自足、自娱自乐比较好。

统一格式是非常有必要的事，但是一直以来，格式这种东西都非常难统一。正是因为格式很乱套，所以汇总的时候就很头痛。昨天我算见识到了一个闲得相当蛋痛的表格。Excel里明明可以调节列宽和行高，我的那个同事却喜欢把4个单元格合并为一个。整个表都是这么整法，一开始我只是关注上面的数据，当我检查完上面的数据以后才发现这么逆天的格式。不知道她为什么会想出这种极端无厘头的东西。她有把Excel，当做是Excel吗？！她不过是把那当作是一个画图的东西，如果按照这种逻辑，她是不是应该在Excel里画一些抽象画呢？说不定梵高之类的什么都比不上她。能做出如此逆天的表格，只能说明一个问题，她完全不懂Excel的思路，几乎可以说是对牛弹琴。这些表格如果打印出来，是看不出问题的，但是，一旦见识过原貌，我简直是五体投地。

对上一次见识这么厉害的表格，是十几年前的那些系统导出数据表。为了控制行距和列距，不知道为什么他们合并了好多单元格，也隐藏了不少单元格，同时也对很多单元格设定了格式。所以从一开始做导出，我就发现，每次格式都好奇怪，尤其是如果导出数据很多，格式必然会崩溃。明明不需要那么多格式，明明不需要那么多颜色，为什么要做合并？为什么要去格式控制？

我的那个同事，如果她平时是极少接触表格的，我不会这么震惊，问题是，她的工作根本离不开数据，但是，她居然这么外行地对待数据。看到以后，我真的很生气。来这个单位已经一年了，即便没有人告诉你应该怎么做，你每天都对着那些东西，难道你就不会自己长进一些吗？另外一个让我非常不理解的是她所在的科室，跟她相处得最多的同事，为什么就没有提醒过她不应该这样呢？会看的看门道，不会看的看热闹，反正，大概其他人觉得数据本身没有问题，格式什么的都是小事。正是因为他们觉得格式是小事，所以那个格式乱套的表格其实数据也有重大的纰漏。因为我是一个很手贱的人，所以可以复制粘贴的地方我绝对不会敲键盘，如果我需要敲键盘，那个数据我需要起码三次以上的复核。在一个合并单元格里，她怎么又可能把数据轻松地复制粘贴过去呢！这些逆天的格式，她是在整死自己，也在整死别人。

之所以我会有这种看法，之所以我会有这种思路，因为我除了是个搞统计的，我也是个搞编程的。我完全明白前台跟后台的区别，我也完全明白明细数据跟汇总数据到底是什么鬼东西，而这些他们不懂，他们没想过要把这些搞懂，因为他们完全没有意识到自己应该在那方面努力，又或者即便意识到了，也觉得既然可以得过且过，无所谓了。聪明这种东西，如果不用在正路上，始终一天会被笨鸟超越。我觉得，我就是其中的一只笨鸟。

但是，也正是因为我知道得太多，所以当我看到别人的所作所为以后，我会实在忍不住吐槽或者发飙。