我的天

写VBA的这段日子，我觉得自己的脑子越来越习惯用那种方式思考。如果你要把一件经常做的事情程序化，你就得抓住一些关键点。虽然流程大概差不多都那样的，但实际上人在操作的过程中还是有一些关键。如果想把那些流程标准化、自动解决问题，你就得把那些模糊的关键点全部都明确，比如看到什么关键词进行什么操作，这得一清二楚，而且这些关键词的选择还得考虑不容易被干扰。这些关键词的选取对一般人来说是没什么概念的，他们觉得大概应该那样，但实际上你要在一堆东西里面选取关键词，绝对不能像在一些标准序列里面选其中一个那么自然。

有一天同事发微信过来说我上报的某个数据好像不对，因为他筛选出来的结果不是那样的。我不知道为什么会发生这种事情，因为在上报那个数据之前，我已经再三核对。又过了一段时间，他又发微信过来告诉我，是他筛选的时候出现了一些干扰项，之前他没看到。他在去向字段筛选的关键词是Q3，理论上那是一个仓号，对绝大多数人来说，如果只说这两个字，也会觉得这是一个仓号，但问题是那天刚好遇到某个车的车牌里有这个Q3这两个字，于是他筛选到的结果跟我计算Q3的数量当然就有区别了。这个时候，如果他筛选的关键词不是Q3，不是Q3-01就不会有这种问题，因为没有一个车牌会有“-”。如果他选的是Q3-01，那么那些Q31、Q35的仓号也不会干扰到他的筛选结果。我不知道浪潮那些筛选项是如何设置的。如果是以前的那个系统，以前的那个需要运行exe的系统筛选，你还得选择到底是什么形式的筛选，是等于大于还是包含。现在浪潮那个在网页上运行的系统筛选词就只是模糊匹配。如果去向那里必须精确匹配，你不写Q3-01就返回不到你要的结果，他也不会遇到车牌号这种事情。把车牌和仓号按照流向放在来源和去向，从一开始我就觉得这很逆天。如果一开始就给我这样的数据，最后我还得通过入库和出库去判定到底哪个是车，哪个是仓。如果我的同事查找数据的那个界面没有这种来源和去向，只有流向、仓号、车船号，显然他一定会在仓号那里选Q3，而不会去车船号那里输入Q3，这样的话也不会遇到他碰到过的问题。

对编程的人来说，尤其是对那些专门要把某些程序自动化的人来说，非常在乎关键词的选择。因为把一些老表格自动化的过程中你会发现那些东西根本不是标准的字段模式。要怎么把那些非标的东西标准化，你就得绞尽脑汁选择关键词，怎么才会不重复？怎么才能实现你的目的？当然了，之所以这么说是因这些标准化是基于Excel工作表的，如果那本来就是一个数据库里面的东西，即便他们不愿意标准化，有些东西也不得不标准化。

当你强迫自己以某种方式去思考以后，经过一段时间的锻炼，你会觉得自己在不知不觉之中有了那种条件反射的能力。

当我终于把功能做出来以后，我却嫌弃出结果太慢了，居然要好几分钟。明明最终我想要的是一个表的合并，为了更快，我不得不拆分为两个查询。第2个查询以第1个查询的结果为基础。其实这么操作，无非我是想利用第1个查询已经得到的缓存结果。那个结果已经被我用表格输出。之前我试过从零开始弄第2个查询，结果发现实在太慢了。如果没有那么多的分组，速度还会那么慢吗？如果只是一个求和，根本无需分组，但问题是，每个批次的东西必须分开计算，然后才可以出现分段的结果。说白了，让我纠结的是一个累计求和。

累计求和这种东西的思路在PQ里通常都意味着新增一列，参数设定匹配某行的某些东西，符合条件就把某列的数据求和。所以实际上这是一个筛选的过程。如果数据很多，筛选肯定会很慢，但除了这样，还能有什么方法吗？据说可以用索引的方法。据说索引的方法比筛选的方法快非常多。如果用python的思路去考虑，我觉得筛选是一个列表的操作，而另外一个是字典的操作。如果不用二分法。历遍列表是非常慢的，但如果要立片字典，历遍是轻而易举的事，而且字典的效率比二分法还要高。所以我应该如何建立索引呢？如果筛选的是多条件，索引大法还能继续管用吗？我觉得现在我遇到的问题那些经常接触数据库的人估计已经纠结过了。这不仅仅是Power Query的问题，这是如何运用数据进行弯曲折叠的问题。只要是数据库，无论是SQL还是其他形式，都会有这种烦恼。

昨天我终于经历了一个Excel要跑好几分钟甚至十几分钟才能出结果的东西，我感觉那没多少数据。我曾经试过把那些东西输出，结果发现输出速度非常慢，每秒钟只处理了不到100个。那些数据粗略计算了一下，可能有超过2万条。为什么加载2万条数据会这么慢呢？这是一个令我纠结的结果，如果把最后的分组都做了，输出的数据只有365条，但如果不做最后的分组，有超过2万条。不做分组的话，那个结果可以在软件里直接展示出来，顶多只需要几秒的运算时间，但是不做分组，把数据输出却有超过2万条，即便我不输出表格只输出数据透视表，依然在输出的时候速度非常慢。为什么对2万条数据进行分组会这么慢呢？除了分组，还有其他快速的方式可以对某条件进行求和吗？整个操作之所以这么慢，除了因为分组，还有排序，还有一些，null转化为0，或者把0转化为null的操作，最后，还有一条我自己都觉得应该会很作死的向下填充。那个结果我花了好几分钟才计算出来，如果让高手去解答，估计运行时间会会是毫秒级的，顶多不会超过三秒钟。

一方面，我很想知道如何提升运行速度，直接拿去问人显然是最显而易见的办法，但在这之前，我想自己先思考一下，毕竟走到这一步已经很不容易，我不想在最后一步认输。这让我想起了高中数学老师的某句经典语录，学习数学几个境界里的最后一句——全而不好（前几句是“不懂不会，会而不对，对而不全”）。

昨天在设计某个Power Query查询的时候，我遇到了个问题。只需要做一个非常简单的IF判断，但貌似是不能直接用IF处理步骤。那些不过是非常简单的东西而已，如果符合这个条件，用这个步骤，如果不符合这个条件，用另外的步骤。我之所以被拦在那里，大概是因为我还没搞清IF使用的场景关系。判断步骤从理论上说再普通不过了。我该怎么做到这个呢？之所以有这个困惑，因为IF的判断，在举例子的时候，大都用在添加列这个功能里面。如果符合这个条件，就添加这种，否则就是另外一种，当然你也可以添加一大堆筛选。我正在开始构思这篇东西的时候，突然意识到，我要处理的实际上是一个列表。既然是一个列表，在后面引用的时候我就没必要把所有东西都摊开，我在前面就做好判断，后面直接一个判断好的列表扔过去就可以了。有些步骤我进行了排序，但是实际上排不排都无所谓，因为最后这些东西会到达数据透视表。月份参数必须排序，理论上那个参数不仅仅要排序，而且还应该以日期的数据格式展示出来。昨晚上我发现同样引用同一个数据表，如果我在展开的时候，不加以说明，反而会得出正确的东西。如果纯粹用可视化的操作，会有画蛇添足的效果。我的数据必须得用我想要的方式表达出来，如果默认的东西不对，我应该改到对为止。这一次我运气好，我没有解释某一列到底是什么东西，系统读对了，但有些时候情况不是这样的。当然，也会有我昨天下午遇到的那种情况，系统默认的不太靠谱。最终，我忍耐了那个不太靠谱，但是。既然有了晚上的的经历，系统默认画蛇添足的部分根本不应该存在。

一开始我只想实现某个功能，但在实现某个功能的过程中，我发现以前我的那种分类有点想太多了，因为根本没有必要。那些东西都是独立的存在。与其进行二级分类，不如多做几个一级分类。一级分类的非重复计算实际上用的都是一个模板。既然是模板，我当然可以用外部引入数据的方式实现动态筛选。关于非重复计算这种东西，加入了模型的数据透视表能轻而易举地做到，但经过这段时间的摸索以后，我发现Power Query只要能打开，基本上不会出错，但是Power Pivot我搞不懂为什么会出错，为什么会卡机。那个东西卡机的概率我感觉太高了，之所以有这么高的概率，也可能因为我用得比较少。有时我只是写了个非常简单的度量值，出来了以后，度量值不知道为什么选不上，不知道为什么选上了以后电脑就弹出了某些界面，关掉了以后Power Pivot的选项卡就消失了，但是你依然可以进入。关掉Excel，再次打开，Power Pivot的选项卡没有了，你得在加载项那里把那勾去掉，再重新加回去。实在说不准为什么会这样。如果不把那个曾经导致问题的文件的模型删掉，打开那个工作簿的时候永远存在这种问题，其它工作簿不也会被连累。删掉那个错误后，还得重启电脑才能解决问题。很久以前Power Query也是Excel的插件，但后来，那个东西已经不再是独立的选项卡，而直接内嵌到软件了，而Power Pivot在Microsoft 365里依然是个选项卡，依然要借助COM加载下。这就意味着这个东西还没有到非常成熟的地步。所以或许某一天我要玩Power Pivot的时候，我不在Excel里面玩，而会跑到Power BI里折腾。因为起码那样的话，我就不用烦恼Excel的加载项老是消失这个问题了。

越研究就越知道自己什么都不知道。

前几天，我的一个同事跟我说她现在用的是WPS，在筛选数据的时候，一个数据源每一次筛选出来的东西都不一样，今天是一个总数，明天又是另外一个总数，问我会不会遇到这种事情。首先我跟她说，我根本不用WPS，因为它不能满足我的要求。其次，我用Excel时候，从来不会发生这种事。她跟我说，筛选少量数据的时候，没有这种问题，但是数据量一大，就会出现状况。我没遇到过这种问题，我信任我正在使用的软件，同时，我的软件，也没有背叛过我。然后就没有然后了。她没有叫我去她那里实地给我演示一下WPS是怎么把她整死的，我也没有主动要求去看一下，到底WPS在搞什么鬼。我觉得，不是WPS搞什么鬼，是她的数据格式有问题。最大的可能性是不够规范。非常有可能出现了合并单元格之类的东西，也有可能数据粘贴过去，某些单元格里出现空格之类的玩意。各种各样奇怪的现象都有可能发生。之所以有这种感觉，是因为几乎每次她给我看一个新表，里面都有一些奇怪的东西。

对我这个Excel控来说，那些瑕疵是完全不能存在的，比如说我最讨厌的类型——明细表格里有合并单元格；也比如表格的标题模棱两可，让你不知道那到底是什么；第三次是逻辑思路混乱，根本搞不懂一个表格里勾稽关系到底是怎么样的。于是这也难怪为什么领导布置下来的东西，她不得不一次又一次交上去，因为领导要觉得不满意，叫她一再返工。别说领导不满意，我这个路人甲也看不过去。领导为她好的话，怎么会不让她返工呢？一方面我觉得，其实领导的这个做法挺好，因为他没有给你设定好你到底要怎么干，你按照我思路去干就可以了。他给了你一个思考的空间让你琢磨，这是个让你进步的好机会。但你交上去的东西老是不合他的要求，谁都会上火。

之所以会发生这种事，其中一个原因我觉得是在她自己设计那些表格之前，见过的表格太少了，尤其是非常复杂的。什么东西应该放在一起，什么东西不能放在一起，她没有一个很明确的思路。自己的知识库容量不够，当然不可能折腾出知识库范围以外的东西。其他人是怎么处理这些数据的呢？他们用的是什么工具？什么表格？什么方法？领导是这么要求的，但是我觉得我的这套方法比领导要求的更清晰，更不会出错，我可以跟领导解释我的用法，如果合理的话，我觉得领导不会有意见。情况就像我们做毕业答辩的时候，就应该有这么一个底气，在这个课题上，我花的时间和精力都很多。比台下评分老师了解的还要透彻，虽然他们的经验比我丰富。所以，在我的这个课题上，我应该很有信心。但是，绝大多数人都不会这样，于是就会出现毕业答辩的时候被下面的老师批得一塌糊涂却哑口无言。有可能是他们对自己的课题根本不清楚，也有可能纯粹是因为太紧张了，脑子转不过来。

规则在你手，数据由你去整理。如果你都没有一个靠谱的处理方法，别人怎么会放心。不觉得自己不靠谱的方式有问题就是最大的不靠谱。

昨天研究了一个晚上的Excel。其实也没折腾出什么高端的东西出来，都是一些大路的功能。用我以前的方式，也能实现，不过昨天晚上我把它更进一步，让使用者更直观简单。之所以要改进自己，很重要的一个因素是我发现单位的仓号命名会导致筛选一些比较小的仓号的时候如果用输入的方式会误杀。比如说我选1仓的时候，当我输入1，那些什么11，13，16全部都会中招。要避免出现这种低级错误，最简单的方法我觉得是全部用两位数字，甚至直接用上三位。001，002这种东西不会在999之内重叠。但其实，以我们单位的占地，应该达不到三位数字。一个10万吨的立筒仓群里面有18个立筒仓，10个星仓。如果有5个以上的立筒仓群，两位数的命名就会出状况，但显然我们单位没有那么多的地方建这么多组立筒仓。至于浅圆仓，至少是1万吨一个，现在新建的那些甚至达到了2万吨。再怎么牛逼位，我们单位也规划不下100个浅圆仓。因为这就意味着起码有150万吨以上的仓容。加上立筒仓，要达到200万吨几乎不可能。以我们单位的占地，以及所建厂房的仓容，即便到达200万吨也用不上三位数字的编码。

以普通人的思路去考虑，从1-99编码是再正常不过的事，但是从一个不重叠数字的角度考虑，如果用的是CTRL+F的搜索，尚且可以选择单元格匹配，但是如果那是一个列表里面的筛选项，效果就会很尴尬。当然，也有一个不会中招的方式，就是用手动单选。如果你手头上有100个仓，你要单选其中一个。无论如何，这都比不上你直接输入数字快。点到某个单元格的下拉菜单里面去挑选某个东西是一个非常没有效率的做法。昨晚我突然领会到在这种时候，我需要使用切片器。其实切片器跟传统的筛选没什么区别，但是切片器可以直接放在工作表外面，你可以把它拉得很长。在普通的下拉菜单里面，某个视图你可能只有5-10个选项，但是只要你的电脑屏幕足够大，你的切片器就可以很大，极限情况下，一列估计能排下20个。5个选项和20个选项的区别在于下拉的滚动条被大大缩小了。Office 2003没有切片器，我不知道2010有没有，因为我几乎没有用过2010，但我知道2013年以后的Office具备这种功能，除了切片器以外，还有日程表。日程表这个东西我试用了一下，感觉能实现我的某些功能，但是为什么那个东西只能用滑动条而不能手动输入数据控制呢？如果要做到自由的控制，难道我要为那个日程表写个宏？

洗澡的时候我一直在考虑。计算堆存费这个东西最根本的是判断起始时间。决定了开始与结束，中间的那些东西就只是重复得做同样的事情而已。可悲的是，我脑子里只有python，没有Excel VBA。几乎不假思索地，我就已经设定好了有了开始结束以后，中间的循环在python应该怎么写。虽然我完全不知道要怎么让python读取我的Excel文件。python能实现的功能，Excel VBA应该也能实现，顶多是语句比较麻烦而已。做好了前期准备以后，计算那些东西就只是一个秒杀的过程。

当别人在想用什么程序可以解放自己，策划这要为之付多少钱的时候，我想的却是怎么自己写一个程序，解放生产力。