我的天

花了几乎一天的时间去研究什么把Access VBA里的自定义函数移植到Excel的VBA里面。大家都是VBA，大家都是 office家庭的，听上去好像没什么难度，但实际上前人已经碰壁阵亡，确定这是不可能的，我只是在做垂死的挣扎。经过这么多年office的发展，在数据格结构上，会不会只有那么一点改进呢？毕竟即便是在Excel里，如果我用的是VBA+ADO+SQL，实际上我是把数据以数据库形态进行SQL的加工。于是我就想，万一他们的数据格式是一样的，万一Excel已经进化了那么一点点呢。但现实告诉我，虽然都是VBA，虽然都是自定义函数，但是因为他们操作的是SQL，所以出来的效果完全不一样。

SQL的语法结构非常类似，无论你用的是什么类型的数据库，但在一些细节上，大家的处理是有区别的，我觉得Excel里面和Access里SQL最大区别在于因为我在Excel里面SQL用的是ADO的方式，所以这就意味着虽然我写的是SQL的语法，但实际上那是以字符串的名义存在的东西。在Excel VBA的数据格式里，我写的结构化语言全部都是字符串，但是在Access里，在SQL的查询界面里，那个东西不是字符串。我没有认真看某些单词有没有高亮，因为那是特殊字段又或者是保留字段。当我直接把Access VBA里的那个自定义模块挪到Excel VBA里，发现打开记录集的方式根本不一样，语法不一样。因为在Access里本来就是一个数据库，但在Excel VBA的ADO里是通过一些特殊的语句打开那个记录集的。

回到一开始，为什么我得这么折腾呢？因为一直以来我都发现，从来没有一个人能在Excel VBA+ADO+SQL的模式之下在分组聚合的时候把文本以某些字符去重连接成字符串。要实现这个功能，只能最后把结果输出，然后在VBA里通过字典的处理，再把那些合并好的东西与其它东西结合在一起形成一个新的数组，最后往单元格里面输出，而不能像其它SQL查询结果那样直接就在单元格里全部输出。先输出到字典，然后再用字典合数组合并的难易程度跟那个数据最终的查询结果复杂程度有关。在高端的数据库里，文本聚合连接有直接的函数可以做到，比如在MySQL里面直接group_concat就可以做到，在其它专业数据库里，那个函数的名字各有不同，但都能实现同一个效果，就是把字符聚合拼接。在Power Query里，他们没办法在窗口界面让你实现这个，但可以在高级编辑器里面通过text.combine的方式实现这种功能。在Power Pivot里，concatenatex也能实现这种文本的拼接。让人觉得非常无语的是，都到了Microsoft 365时代，Access这个东西依然是office大家族的一部分，但这种肯定有需求的东西居然没有一个官方函数实现，但你又可以通过在模块里用自定义函数的方式达成。Excel的VBA里不能秒生成这种东西，但在函数层面textjoin+unique+filter可以。为什么就不能在Excel VBA支持的SQL里面出现这个文本拼接的官方函数呢？如果他们真觉得没有必要的话，为什么Power Bi的软件就可以实现呢？我不知道Power Bi软件是一开始就能实现，还是后面慢慢进化出来实现的，反正我第1次看到Power Bi相关软件的时候，他们已经能实现了。

一整天的挣扎下来好像没什么进展，但我在这些问题上又仔细思考了一番。

我觉得编程会让人上瘾，尤其是当你实现了自己的目标以后，你就会有很多想法，比如之前我已经做过，而且已经实现了东西，能不能更进一步，再改进一些，让程序跑得更快一点？一开始的时候，只要能实现某个功能就可以了，无论用的是什么方法。在这个初级阶段，我是不会考虑别人到底行不行的，反正我行就可以，但是当自己包里面的工具越来越多以后。到底要选择什么工具，也会变成我一个纠结的地方，虽然有些工具已经很成熟了，肯定能实现我的效果，但是我还会想有没有更快捷的方式呢？

我已经不记得我是什么时候开始认识Power Query了，大概是在office2016的时候吧。那个时候我觉得那个东西可以做文本拼接太厉害了，而且厉害之处就像是跟数据透视表一样，当你的原数据发生了变动，刷新一下结果就出来了，但实际上那只是教程的效果，你完全按照教程这么干，的确能出结果。还记得几年前当我要算某些库存的时候，我用了一些很笨的方法。为了要实现区间日期里面的累计库存我用了一些非常耗费电脑的步骤。本来数据的量就不小，又外加要实现这样的效果，所以真的得算上很长时间才终于得到结果。那个很长时间意味着可能要等5分钟以上，在等待的过程中，我都怀疑自己的电脑是不是死机了。后来我也有算累计库存，但大概我已经不用一开始的那些方法了。我也有试过在VBA里计算累计库存。如果是在其它软件下的SQL里，计算累计数可以有很直接的方法，因为他们有现成的函数可以套用，但是在VBA里面的SQL，貌似至今为止，我尝试成功的也就只能硬着头皮做一个笛卡尔积。如果数据量比较大，那将是一个噩梦。噩梦归噩梦，数据还是能算出来的，如果我只是算一个月的库存，顶多就是几秒钟的事，通常情况下如果业务量不大，一秒就差不多了，但是如果要算一年的数据，那就要跑上几十秒。在VBA层面需要跑几十秒，而如果在PQ里我简直不敢想象得多久。

试过VBA，试过PQ，在PQ里我知道我要什么，它的透视和逆透视功能让我省掉很多麻烦，但这两个便捷功能也会默认带出一些意想不到的反效果，比如默认透视的是来源去向，万一筛选区间只有入没有出，但后续处理又默认有出入，这就会卡住。Excel 的SQL里，透视就是最后一步，所以如果中途要实现这种功能只能通过添加条件字段，手动添加字段的好处是不会有PQ透视法的那种透视不出来后面没法干。就可控程度来说，VBA更容易，能把多个操作在一步里秒杀实现，比如修改某个字段的数据和增加某个字段，我就可以把它们在一步里实现，外加同时搞个什么排序。这些步骤在PQ里面，如果不是高级玩家用嵌套的方式，也就只能一步一步慢慢来。我不知道，PQ里面嵌套一步到位跟一步一步慢慢来到底效率差了多少。估计这会有运行时间的差别，但到底差别了多少，这个我没有研究过，因为我还没到的那种可以混搭在一起，一步到位的水平。处理同样的数据，使用类似的步骤，PQ就是比VBA要慢，我也不知道到底慢在哪里，为什么会那么慢？其实数据量不大，但关键是PQ载入的时候很容易出错，但那个出错到底是什么，没人说得清，因为上一次刷新不行，下一次刷新可能又可以了。在VBA里，除了去年年末的某段时间，我经常出现这样那样的奇怪现象，其它时候基本上行就行，不行就是不行。不会出现同一个数据，同一个宏，前一次可以，后一次不行。在PQ里可能得转上半分钟以上的事情，在VBA里非常有可能0.5秒以内就解决了。以前做字幕的时候，我就知道人的反应时间通常是0.3秒，如果一个VBA脚本只需0.3秒就能结束战斗，对普通人来说，那就是眨眼的事而已。

以前我没想过要这么干，以前想着怎么方便怎么来，但是当VBA有点上瘾了以后，我逐渐的把之前用PQ处理的东西全部都用VBA的方式再整了一遍。出来的效果非常好，干净利落快如闪电。让我觉得舒服的是VBE界面是被我调整过的，调整过VBE的布局和颜色，但是在PQ里，那个小得要死的高级编辑器字体实在让我看得很不舒服，但通常某些高端的功能只能在那里敲代码，所以这就很痛苦。

不把某些事完成，心里总会一直念惦记着，把这些事情都干完了，我就可以好好睡觉。

又花了整整一天的时间去改进之前的两个转换程序，一个是用PQ写的，另外一个是用VBA写的。之前以现有的数据进行测试，没有发现问题，但实际上今天再去纠结，还是有个问题，就是当业务类别为轮换，出库的时候损耗的计算方式。损耗应该放在商品粮的账本，这个没有问题，之前也是这么处理的，但是商品粮的账本还有一个。储备粮油转入，这个东西就应该包含损耗和销售两方面的数据。之前只包含了销售的数据，忽略了损耗的那一部分。同样，在储备粮的账本，在转作商品粮油的数据那里也应该包含商品粮账本里面的损耗数据。这个东西平时做的时候一定会记得，因为单仓数据如果处理不到位无法清零，但是当要考虑的事情有很多的时候，就忘记了。在做这个程序的时候，我就已经考虑到这种损耗是一个很特殊的情况，但是我却没有进一步的考虑到这个东西特殊到要一变成三，通常情况下，一变二就可以了。

除了这个问题，以我现有的数据，基本上那两个程序都能运行出我想要的效果，但实际上，今年到现在为止，单位产生的那些数据还有一些业务类型没有包含进去，那些业务类型有些我可能会用到的，有些我是几乎用不到，但我用不到，不代表其他人也一定不会用到，所以从大的层面考虑，我还要把那些东西都考虑进去。

之前无论是在PQ还是VBA，某些字段的生成实际上是条件筛选，有可能是一个条件，也有可能是多个条件，那些条件里面会有很多个情况。在PQ里做条件筛选，还有个填写界面，但是在VBA里就纯粹靠iif的不断套叠。首先你得知道怎么套叠，然后当你套到一定程度的时候，自己也会被套进去，比如数着数着括号就对不上了，什么逗号双引号之类的偶尔也会制造幺蛾子。使用这种套叠可以实现我想要的效果，但是真的非常虐，而且一旦要进行数据维护，那简直就是个深渊，所以首先我想到的是要不要做另外一个索引的表，通过左外连接的方式指定某些字段必须匹配，然后就能获得我想要的新增字段。从可维护性来说，这样非常好，从代码的实现来说，这也很方便，但是后来我还是决定不在VBA里面实现这种左外的索引和直接在原始的表格里面就索引数据得出一个大表，然后再用大表进行后续的整理，因为要处理的大表其实数据不多，一年肯定不超2000条。之所以要这么干，首先是因为我考虑到可能使用这套方案的人会更容易接受这种直观生成的大表，他们可以直接核对数据，如果觉得不对，可以进行手动更改，但如果我把那个东西做在了VBA层面，程序运行不出来，或者运行出来的效果不是大家想要的，那么需要结果的那个人肯定不知道该怎么办。这种直接通过Excel的索引，先得出一个大表的方式，同样也会让PQ的程序不那么复杂，不需要搞那么多条件筛选。虽然PQ的条件筛选有界面，可以下拉选择，但需要选择的东西多了，很容易就会选错。

最后，事实证明我的这个做法是合理的，我把需要考虑的因素全部都考虑进去用全面的测试数据都模拟过以后，发现两个程序都能满足我的要求。当然了，在最终成功之前，我经历了不知道多少debug。你永远都不知道你会被什么卡住，又或者在什么地方被卡住，但被卡的次数多了，你就会觉得这很正常，继续死磕就行。

星期天的晚上，跟往常一样，吃过晚饭我就回单位了。跟平时有区别的地方在于在我即将出门的时候开始下雨，天气预报说雨还会下得不小，但实际上我的运气还不是太糟糕，起码一路上虽然有下雨，但不算很大。下雨好像没有影响20路车来得非常不准时，虽然跟平时相比晚了几分钟，过猎德大桥的时候车速缓慢，估计在桥上等了好几个灯才终于通过，但起码下了猎得大桥以后那个红绿灯没有等太久。搭上地铁的时候大概是18点，所以出了地铁之后，我还可以悠闲地先上个厕所，然后再去转618。

当我去黄埔新港公交站坐618的时候，出现了个屌丝情况。那段路不知道为什么，反正就是被围蔽了起来，不知道到底要干些什么，如果要干这种事，起码要把公交站牌挪到围蔽外面，还有一个是起码地铁站的另外一头围蔽之外的地方，得留个口，给人走出去，但实际上没有任何指示。

到上面为止，一切情况，虽然有些意外，但还不算太糟糕。当我坐上了618，车开动了以后，我接到了个电话。跟我说起了上周五上午要我提供的某些数据。那是巡视组要求的数据，在我印象之中，那个数据的提交时间应该是周日的晚上18点还是20点，我接到那个电话的时候已经是周日晚上接近19点。首先是一个省储跟商品粮的数据，很容易就能说得清到底该怎么分开，但另外一个中转代储的数据，是一个扯半天都扯不清的问题，从合同上来说，没有一个数据应该属于代储，但实际上我们的人又总是默认那是代储。所以那个表应该填写什么数据上去呢？填表的时候没有任何的说明。填表的那些数据都是汇总数据，明细数据都有，但是要以什么方式汇总，是不是所有数据都得体现在上面？这是一个很诡异的表。我周五中午就得走，周五上午接近11点半的时候，那个表才出现在我眼前。我以我理解的方式把表也填完了，但以防万一我也把明细表发给了单位同事，以防他们有什么特殊要求，还能从那个表里面获取数据，重新填写。这种事情我是有准备的，但关键是在周日晚上19点之前，没有任何一个人找过我。电话打过来的时候，我就觉得隐隐不妥，因为对方问我在家里还是在单位，然后我回答说是我在回单位的路上，这就意味着，可能对方是要我提供某些数据，但关键是我这样一个状态意味着这很难实现。即便我在路上，我依然能找到原始数据，支撑她填写那个表，但关键是你要我得出明细数据的汇总数据，我实在没办法。先是一个人找我，然后第二个人也找我，你叫我怎么更新那个数据呢？我在路上一点办法都没有，没有电脑，我的手上只有一台手机，我尝试过用手机进行数据的汇总。但关键是Microsoft 365更新了以后，我一直没打开，没有登录，密码我不记得，我得去浏览器里找一下，但显然我手机的浏览器也不会保存我的密码，所以要登录Microsoft 365是不可能的，登录不了也就意味着那个文件打不开。小米手机默认的Excel文件打开方式是小米的文件管理，那个东西只能筛选，只能查看，如果要得到汇总数，就得使用编辑功能，编辑功能需要下载完整的WPS。我也不知道我到底进行了什么设置，反正在流量的情况之下我是没办法完成APP下载的，所以这意味着我即便手机上已经得到了明细数据，但我依然没办法把它汇总出来。

时间很紧迫，正常情况之下，20点之前我能回到单位，但是下雨的情况真的很难说，所以我也就只能让两个有明细数据的人得出一个结果，然后对碰出大概就是那个数了。

人算不如天算，到达滨江左岸的时候，是19点32，但我要等的那台611据说还有19分钟才到，结果是在接近20点的时候，611才到达滨江左岸。当我回到单位打开电脑，已经接近20点20了。

这么焦虑的事情到底是如何造成的呢？星期五上午就已经报出的数，我们单位是什么时候把那个交给上级单位的的呢？上级单位又是什么时候才发现数据不对劲？所有的这些东西，直到他们最终把数据提交前的一个小时才找到提供数据的那个人。这样的工作方式，实在让我觉得不可思议。另外一个问题是，虽然我手机可以打开Excel文件，但关键是那个APP能不能脱机使用？能不能在关键的时候用起来？这是我之前一直没有留意过的，因为绝大多数情况之下，别人都只是要我提供文件，而不需要我在手机上做核对，毕竟如果我把文件给他了，数据他自己搞就可以。

这是工作上的事，但完全发生在错误的时间错误的地点。

有时候我也搞不懂自己是不是真的有编程的天赋，还是说不知道为什么我对这方面会特别感兴趣。之所以这样，我觉得一定程度上跟我过往的经历有关。我不讨厌数学，但因为自己的计算能力有问题，经常会因为这样那样的原因出错，所以越往上学，我的成绩就越会出现提不上去。知道那个思路，但是却算不出那个答案。这种情况在某些只需要答案不需要过程的考试里面就很吃亏。即便需要计算过程，但如果我在第一个部分就算错了，后面也就没有什么意义了，因为根本算不下去。

编程好像一定程度上弥补了我的计算失误。因为计算结果是由机器完成的，而我只需要提供思路。在简单的问题上，那种百发百中的感觉真好。不过当问题遇到的越来越多，思路不是一下子就能畅通，我需要碰过很多壁以后才能出结果我会觉得刺激。在考虑很多因素的时候，总是有这样那样的不到位。有些步骤可以做在前面，也可以坐在后面，但是哪个会更优呢？最终都能得到同样的结果，那个时候我就得用机器的方式去考虑，怎么样才能最大程度节省资源，提高运算速度。

如果说写脚本的话，高中的时候我已经在干，那个时候是写网站，现在写CSS，然后是 HTML，再到后来当我接触WordPress以后是PHP。一开始用的CSS 那个时候就完全只是控制网站的部分格式而已。CSS可以控制很多东西，但是核心的部件是没办法修改的，有些控制封装在核心部件里，于是自定义CSS无法到达，那个时候我感觉到有一点点的无力。相对而言，WordPress控制方面可以说只有你想不到没有做不到。哪怕有些部分可能CSS真的无能，但实际上当你得知那个控制手段以后，你还可以配合其它的脚本实现某些格式的自定义。

最终让我觉得自己的编程技术总算是用到了点子上是近几年Python，Power Qurey和Power Pivot以及VBA的使用。这几个东西是从Excel的数据处理开始的。我基础的东西都齐全了，但是我怎么才能快捷获取某个成品的结果呢？我知道那个事情该怎么干。但是天天都干，又或者是在很短的时间内要我干那个事情，首先是觉得很烦，其次是非常容易出错，于是这让我想到为什么我不能用编程的手段把它们高度的结合起来。要用什么编程语言？其实一直我都在摸索。用过了一段时间，大家都尝试过了以后，我觉得大部分情况下，无论哪个语言，都能获得类似的结果，但复杂程度不一样，在不同设备上的运行速度不一样，需要的设备基础也不一样。我要用什么编程实现那个结果，我就得考虑这些东西。我是不是经常要用，是不是我一个人用，是不是我还得给别人用。最终我觉得稳定性首先必须保证，最终那个结果也是，必须得以某个我要求的方式输出的，第三点就是看看我的第一感觉是哪个编程软件。

可能某一天，某些软件用不了了，我只能用其它方法去替代，虽然这很麻烦，但是我也相信，我有能力可以做出替代，但我希望不需要有那么一天。