我的天

花了两天时间，又做了另外一个PQ的跨文件查询。这一次思路我感觉相对比较简单。某一个大表基本已经满足了所有需求，唯一需要查询的是某个类别的合同号，另外一个类别的合同号在大表里已经有，所以需要做的只是研究该怎么分组。分组这个东西也是个学问。东西一旦分组就可以节省很多，然后你再把大表里面的列删减到你需要的范围，又能节省很多。这些东西节省下来必定意味着效率提高，最后我只把最终的版本输出，其它脚手架查询仅限连接。删除列有两种方式，一个是直接删除，另外一个是在分组的时候直接不理睬，这就意味着分组出来以后那些不被理睬的列被删除了。

一开始之所以想做这个跨文件查询，是因为很早很早以前，准确来说大概是2017年的时候我就考虑过应该用什么方式把客户跟数量，再把同一天的多个客户数量连接起来。这个东西思路简单，但以我当时的知识是没办法做到的。我现在用PQ、PP或者python都可以实现。首先是让客户数量已经称量单位无缝连接，接着是把一天内多个客户数量通过分组结合在一起。我觉得PQ的分组挺奇怪。文本没有给出聚合的方式，但实际上通过生成代码后修改公式，实际上可以把文本聚合，为啥就是不让可视化一步到位呢？？？同样，明明某些数字是可以用计数的方式表达出来，但是聚合的界面就只有行计数，对某些列来说那又是不可选的，但实际上同样先选择sum或者average生成代码以后，把那个东西改为count就能实现功能，没有任何问题，所以为什么在可视化生成的时候，就是不给我这样的选择呢？分组这个东西本来是很自由很牛逼的，但我估计很多人会被PQ这种阉割的可视化逼退，觉得可能那样做不到。

在这两天的研究中，有两个东西耗费了我比较多时间。一个是有时间区间的查询，比如说一段时间之内是第一个合同号，另外一个时间段是另外一个合同号。这就意味着你要查询某天对应的合同号，首先你得先知道某天是落在了哪个时间范围之内，然后在找到相应的合同号。有人在知乎上说这样的解题思路是先对那些一段时间内的合同号生成一段连续的日期，然后再对需要索引的时间以及合同号做日期以及客户的索引。这样的思路没有问题，但是这太劳民伤财了吧。如果需要被用作索引的合同号很多，那得浪费很多连续日期做索引。直接的解题思路应该是先以客户单因素做合并查询。查询的结果将是一批时间段和合同号，然后用新增列的方式再次定位需要索引出合同号的日期的时间段。筛选的结果将是一个列表，最后只需要把列表深化出来。需要注意的是深化出来的列表可能包含不只一个合同号，这样就需要做文本聚合。每次说到深化，PQ总会有两个可视化的选项，一个人是直接列出结果，另外一个是聚合，但是聚合的那个地方除非是数字，否则就只有计数，但实际上跟之前的分组一样，完全可以把文本用分隔符连接起来。

第二个让我耗的比较多时间的是怎么替换某一列的多个内容，而不需要先建立一个条件列，然后删除原列，最后再改条件列的名称为原列名称。这样的思路一点问题都没有，但是既然我可以在原列上修改，为什么我要这么折腾分三步呢？要说到这个就得好好研究用作替换的那个公式。玩好了替换的公式可以自己列的内容自己换、其它列的内容决定自己列怎么换，也可以换一遍又一遍嵌套着换。

上周折腾PQ主要是以实现功能为主，这一次除了实现功能以外，我也对代码进行了整理，比如最大程度简化代码，把步骤的名称变得更人性化等等。

两天的时间就把一天到晚都得做的事情直接规范化了，虽然这其中的某些细节还是无法做到，但起码那是极少数的特例，所以两天的努力，我感觉已经解脱了95%以上的日常工作。

我觉得自己已经迷上了PQ，沉迷于那种盘曲折叠的状态，一发不可收拾。我不知道为什么，如果要生成某个表格的话，我首先想到的是PQ，大概是因为出来的东西相对于PP来说PQ更像个表格，但是PQ又不是一个普通的表格。虽然到现在为止，我还没搞清楚到底限制PQ性能的到底是什么。还有另外一个让我很抓狂的是我在PQ的高级编辑器里面写了好多东西，除了进到里面复制粘贴以外，我还可以通过什么手段获取那些脚本呢？若某一天我换上了个低版本的office，可能用不PQ，所以我可能需要用Power Bi来代劳，那个时候如果得把脚本一点一点贴过去就实在太痛苦了，有没有一个脚本导出的方式呢？虽然实际上我问这个问题是因为其实我也没搞清楚如果我在某个Excel文件里面设置了宏，我该用什么方法把那个脚本复制出来。毕竟实际上Excel就是一个幌子，脚本才是最核心的部分，同样的疑惑，我在PP上也有。所以，微软到底是怎么想的呢？实际上无论是PQ、PP还是VBA，最终都是用某些脚本去控制Excel本身。把那些脚本在这个Excel可用，在另外的Excel也可以。我自己用VBA的习惯，就是喜欢把脚本都丢在某一个下文件里，那个东西里面什么都没有，只有脚本。当我打开这个文件，我再打开其它文件，我就可以在其它Excel文件上运行我想要的脚本。所以实际上那些脚本是些独立的东西，我甚至可以觉得，如果脚本编辑器能单独放出来，把文件拖进去以后就可以直接展示结果，有可能是直接把最终数据展示出来，也有可能是生成一个文件。对于小型的图表直接展示数据显然是最方便的，但是对一些比较长篇的东西，直接生成一个结果文件才是我们想要的，但是Excel没有把这个脚本控制器单独放出来。根据我自己的运用习惯，我觉得把PQ、PP跟VBA一起单独，变成一个就像Word、Excel、PowerPoint之类的独立 office套件完全说得过去。但显然，可能微软并不想这么干，因为一旦这样把高深的东西都暴露出来，很快就会被抄袭。因为实际上这些功能并不是office这三剑客独有的，其它编程软件也能实现。还有另外一点就是显然三剑客不是给普通人用的，因为对一些很新很新的手来说，Excel甚至不是用公式的，而是用来单元格加单元格加单元格获取结果的，还有就是把单元格设置成手动彩虹的颜色。如果那里用的是条件格式的色带我觉得很靠谱，但是某一天当我看到某人Excel设置成手动彩虹的时候，我彻底震惊了，他们直接把Excel变成了画板。

不是人人都会着迷于编程，但因为我的算力不好，我老会粗心大意，叫我一个一个单元格叠加，加这加着我就点漏了。所以我得让机器帮我做重复的工作，而我则躲在远远的控制端负责发号逻辑命令。

当我把python的脚本修改完毕，觉得没什么问题了之后我把那发给我的同事，理论上她的电脑上已经安装过python，但实际上当她双击打开py的时候，会默认弹出VSCode，并不能运行python本身。这是我之前从来没有遇到过的，因为我安装的都是python的官方程序，启动器在安装的时候只要你默认，基本上都会装上，但问题是我同事安装的是anaconda。现在的python教程通常都会推荐用anaconda，那里自带的编辑器是jupyter notebook。jupyter notebook到底怎么用实际上我没搞懂的，虽然实际上py文件也能运行，但jupyterr notebook默认的保存文件不是py，所以用普通的python到底能不能打开jupyter notebook保存的文件我还真没试过。从我开始学习python，我用的就是VSCode。当我很长时间不用VSCode以后，当我再次打开，我会发现VSCode里面默认帮我装上了jupyter notebook的插件。

双击点py文件就用VSCode打开，然后还得找终端，但实际上因为可能anaconda安装python的时候并没有默认安装启动器，所以在那里双击没有运行cmd，双击打开py文件的时候，依然是VSCode本身，变成一个运行不了的死循环。 VSCode本身没有问题，问题是py文件的关联没做好，这才是问题所在。

要做到的不过是双击就能直接打开py文件运行，所以把py文件默认用cmd打开运行就好了。在cmd里输入python会显示拜访的版本，这没有问题，这意味着电脑已经安装了python，但问题是当输入where python的时候显示的是一个C盘很长很长的地址。按照那个地址打开文件夹，的确是有python的。再把这串地址上面的exe文件输入到py文件的打开方式的时候，py文件就终于可以双击运行了。双击的确可以弹窗运行，但问题是如果py文件运行的时候出现状况，比如说一闪就没了，就意味着可能文件没有正常运行，而是遇到了某个东西中断了。第一次成功设置好双击的时候，的确就出现了这种情况，直觉告诉我肯定是出状况了。在py文件所在的那个文件夹里输入cmd，然后再运行py文件，结果发现提示没有安装pandas插件。我的同事觉得很不可思议，因为anaconda本身理论上这些插件都是齐全的。我觉得之所以会这样是因为anaconda把插件安装在了自己的那个地方，而现在是单独运行python本身，而python本身的文件夹里面没有这个插件，所以这就导致了插件缺失。需要安装插件，要怎么个装法，对我这种人来说，我第一个想到的就得先设定插件下载来源为清华的镜像。如果你使用python官方路径下载，估计要很长时间，即便花了很长时间也可能会下载不全，因为非常有可能因为时间太长，网速太差丢包。虽然安装一个pandas的插件，但实际上要支持电脑运行，也要安装其它的插件，任何一个不齐全都可能会导致最终无法运行。在知道她得重新安装pandas的时候，我就已经把清华镜像的设置发给了她，但是她还要是没有意识到必须得先设置国内的镜像路径，然后再去下载。虽然单位的网速进行了限制，但是下载清华大学的镜像还是很快的，相比于python官方的下载来说清华基本上可以说是一些典插件安装的必然选择。如果你安装的是一些开源性自行设计小众插件，清华的镜像可能没有，那时候你就只能通过开发者提供的路径去下载。

其实我并不需要她完全按照我的思路来，我告诉她要什么，她只需要实现就行了，现在挺反映出来的状态是她大概知道我要做什么，但是她没有反应到用她的方法应该怎么做，有可能是她没想过要去想。一半他的一半的最终结果就是，我不知道她到底卡在了什么地方，因为以我的方式是完全不会卡的，她估计也会觉得我带她走了不少弯路。

不是人人都天生喜欢自发创新，该怎么找到这种人呢？

花了一整天的时间去做python版本的发跨表查询，最终还真的被我做到了，唯一有点小瑕疵的就是出入进度里我还没有实现批次小计。我基本已经想好需要一个什么样的数据处理，但是怎么把那些东西结合起来我还没有一个成熟的思路，估计会有一些类似的案例，我可以参考一下。

之所以这个脚本居然用了一整天，是因为最后我算了一下字数，居然有4000多字。因为我用的是VSCode，所以实际上敲代码已经很高效了，因为几乎所有符号都会配对出现，一旦有手误的地方基本上都会提醒，但是有些东西是VSCode不会提醒我的，比如我要用到pandas各种格式的数据，有些事不能直接用print打印出来的，必须要用个循环才能把那些东西展示出来。如果我用python处理Excel，我会用xlwings进去，然后用pandas。之所以用xlwings，因为这个东西支持Excel的版本比较多，老一点的插件有的只支持xlsx有些不支持xlsb，有些仅仅支持xls，而我选择的这个xlwings基本上我用的Excel格式都支持了。现在我主要用xlsx和xlsb。因为做这个python查询之前，我已经在PQ和PP上做了两遍，所以我完全知道自己要做些什么，但具体那些东西该如何实现，应该用什么样的表达式去实现，是我花时间的地方。

昨天之前我对pandas里面的dataframe并不太熟悉。我知道那个结构很类似于Excel的表格，但实际上用起来又跟表格不太一样。我觉得那个东西最好的地方就是不像PQ那样，经常被高手套叠起来，于是你想半天都搞不懂那到底是什么。作为一个不是python新手的人，我还是喜欢用短语句完成，然后再连接起来。自学python让我觉得最成功的地方在于我喜欢用for循环，而且还非常习惯使用套叠循环。如果在我大二学C语言的时候，我也能把循环玩得这么溜。估计我就不会为冒泡法这种东西发愁了。

虽然花了一整天时间，才终于把这个东西整出来，但我个人感觉还是比较愉快的，尤其是敲代码的过程，因为相对于在Microsoft 365的PQ或PP的编辑器里面敲代码，VSCode里敲代码实在太爽了。PP会经常提醒我公式错误，因为PP那个你看不到的循环实在会把你整得很惨。PQ里我不过是删了个文字，不知道为什么它会自动给我加半边括号，所以搞了半天，我都搞不懂自己到底哪里错了，最后发现不知道为什么，多了个括号，又或者在调整某些语句的时候多了或少了个逗号。英文和中文逗号在编程的世界里是有区别的，在VSCode里可以看得很清楚，但在PQ的高级编辑器里。因为字体太小，你还没办法快捷变大，非常折磨我这种眼睛不太好的老人家。

高中的时候我的数学老师经常一节课就只讲一道题，他会用很多方法把那道题解出来。现在，我也喜欢上了这种别人可能非常难理解的行为。

上周开始我就在用Power Query跟Power Pivot做跨表的数据合并。与其说是数据合并，不如说是数据查询。一开始我用的是PQ，因为从感觉上来说好像 PQ做这个就够了，但当我把东西都做出来了以后发现PQ很多规则都非常奇怪。让我觉得要试一下PP到底怎么样。根本原因是明明数据量很少，但是PQ的运行效率却很低，而且运行效果很不稳定。从0-1生成PQ的过程比较挣扎，虽然整体的思路我都有，我知道我要有什么后效果。但是该如何实现还是花费了我不少时间，比如查询参数应该用什么格式的表格表达出来。一开始我把4个日期和3个文本以左右的方式表达。的确这样的取数没有什么问题。虽然实际上PQ是用列去进行各种魔法运算的，但要精确定位到某个单元格也就是某条记录一点问题都没有。后来当我要用PP，那个东西至今我不知道如何在某列混杂着各种内容的单元格里获取我需要的数据。要顺畅用起PP，我得把日期参数跟文本参数拆分为两个表格。文本参数我不是直接给PP用，而先给PQ，所以横的竖的都无所谓。日期参数是直接在PP里做限定，所以必须以PP的规格去设定表格的形式。这仅仅是参数的表达，是最简单的东西。如果以普通人的视角考虑，某一列数据日期和文本混搭一点问题都没有，但是从机器的角度考虑，从我使用的那两个软件的规范考虑，显然这样是不行的，又或者说不是不行，是你为什么非得以一种如此随意的方式去做这么简单的设定呢？混搭的方式，肯定也会得到你想要的结果，但是对软件新手来说，绕那么一大圈显然就比较费劲了。

用PQ和PP的方式做出来的两个查询都能实现我的目标。数据都是没有问题的，但是一个文件体积很大，一个查询时间很长，且查询效率忽高忽低不稳定。这两个都不是我想要的。我不过是想做一个查询而已，很简单的东西，实际上我就只需要一个结果。那个结果以我想要的方式输出，后续的格式化纯粹是让我自己觉得比较顺眼好看而已。但是这两个Microsoft 365内置的Power都不能达到我的预期目标。

在挣扎之前，我觉得应该用PQ实现目标，但实际上出来的效果跟我想象的相差挺远，最根本的原因是我实在不太理解PQ的数据处理。PQ是用来做数据清洗的，所以从某个大表里获取数据，然后进行各种筛选，接着以各种目标形式输出表格，理论上这是很简单的事情。这大表的查询几乎可以这么说，一定是引用外表，因为源数据已经很大，你不可能在上面直接运行，虽然其实一直以来我都是这么干的，但是那个时候我并没有进行跨表操作。从现在的运行效果看来，即便是同一个代表同一个源数据，最终需要以几种方式输出分组筛选后的结果，最终要生成多少个查询效果，我就得把那个源数据查询多少次。理论上怎么会干这么傻的事情呢？直接把大的源数据查询一次缓存起来，往后就不需要调用了。但问题是从我现在的观察看来。最终我要多少个查询结果，他们就同时开始查询多少遍，于是有些时候就会导致有些查询结果失败，你得刷新再来。原因是这个查询正在使用那个源数据，那个查询也在用那个源数据，为了抢那个源数据打架了，抢不赢那个就刷新失败。都是查询一个源数据，我考虑过既然无法避免它们一次又一次查询，那么我就把那几个查询按顺序来，完了一个再到下一个，但实际上这个也是无法控制的。都说VBA是单线程的，但是PQ是多线程的，单线程虽然慢，但是多线程这样打架，最终反而得不到我想要的效果。从理论上说，我把那个大表一开始就缓存起来，后面的都用内存缓存，这很正常啊。我设置查询的优先等级，先刷新一些，然后再刷新另外一些，这也很正常啊，为什么却没有一个很直接的实现方式呢？有些人想到要用VBA去控制PQ的刷新顺序，但是VBA却很难判定某个刷新是不是完毕了，VBA也很难做到这个刷新完毕了再开始下一个。

接下来我要试一下python方案，我的目标是查询时间小于10秒，生成的文件小于100K。