我的天

花了一整天的时间去做python版本的发跨表查询，最终还真的被我做到了，唯一有点小瑕疵的就是出入进度里我还没有实现批次小计。我基本已经想好需要一个什么样的数据处理，但是怎么把那些东西结合起来我还没有一个成熟的思路，估计会有一些类似的案例，我可以参考一下。

之所以这个脚本居然用了一整天，是因为最后我算了一下字数，居然有4000多字。因为我用的是VSCode，所以实际上敲代码已经很高效了，因为几乎所有符号都会配对出现，一旦有手误的地方基本上都会提醒，但是有些东西是VSCode不会提醒我的，比如我要用到pandas各种格式的数据，有些事不能直接用print打印出来的，必须要用个循环才能把那些东西展示出来。如果我用python处理Excel，我会用xlwings进去，然后用pandas。之所以用xlwings，因为这个东西支持Excel的版本比较多，老一点的插件有的只支持xlsx有些不支持xlsb，有些仅仅支持xls，而我选择的这个xlwings基本上我用的Excel格式都支持了。现在我主要用xlsx和xlsb。因为做这个python查询之前，我已经在PQ和PP上做了两遍，所以我完全知道自己要做些什么，但具体那些东西该如何实现，应该用什么样的表达式去实现，是我花时间的地方。

昨天之前我对pandas里面的dataframe并不太熟悉。我知道那个结构很类似于Excel的表格，但实际上用起来又跟表格不太一样。我觉得那个东西最好的地方就是不像PQ那样，经常被高手套叠起来，于是你想半天都搞不懂那到底是什么。作为一个不是python新手的人，我还是喜欢用短语句完成，然后再连接起来。自学python让我觉得最成功的地方在于我喜欢用for循环，而且还非常习惯使用套叠循环。如果在我大二学C语言的时候，我也能把循环玩得这么溜。估计我就不会为冒泡法这种东西发愁了。

虽然花了一整天时间，才终于把这个东西整出来，但我个人感觉还是比较愉快的，尤其是敲代码的过程，因为相对于在Microsoft 365的PQ或PP的编辑器里面敲代码，VSCode里敲代码实在太爽了。PP会经常提醒我公式错误，因为PP那个你看不到的循环实在会把你整得很惨。PQ里我不过是删了个文字，不知道为什么它会自动给我加半边括号，所以搞了半天，我都搞不懂自己到底哪里错了，最后发现不知道为什么，多了个括号，又或者在调整某些语句的时候多了或少了个逗号。英文和中文逗号在编程的世界里是有区别的，在VSCode里可以看得很清楚，但在PQ的高级编辑器里。因为字体太小，你还没办法快捷变大，非常折磨我这种眼睛不太好的老人家。

高中的时候我的数学老师经常一节课就只讲一道题，他会用很多方法把那道题解出来。现在，我也喜欢上了这种别人可能非常难理解的行为。

如我所料，当我把xls替换x1sb以后，单位的数据从每天15MB左右变成了只需要5RMB，而这个还因为前天的数据比较多，所以才有这个量。如果每天需要更新的其他文件没那么多，甚至，还不会达到5MB。我的这个转换策略是正确的，但问题是，当我把文件发上微信群，对方如果只用手机，就会打不开那个文件。那个文件没办法下载到手机，你也没办法用手机上的其它APP打开（WPS的APP可以打开）。因为微信根本就没有那个选项，于是这就很郁闷了。我不明白微信为什么会有这种设置，如果是QQ，也会这样吗？也会无法下载吗？微信的图片可以下载，语音我没试过，但记忆之中好像不可以，但那已经是很久以前的事了。视频可以下载，但问题是上传的视频跟下载到的视频质量会相差很远，而其它文件，比如Excel的，貌似我翻遍所有都是无法下载的。如果是典型的Excel文件，比如xls或者x1sx，微信可以打开，默认用QQ浏览器打开，但是你也可以选择用其他APP，但是，我这个xlsb他们无法识别。可能他们根本不知道这是Excel文件。之前已经说过，xlsb是微软的二进制工作簿，通用性不强，所以如果我的同事要打开我的文件，他们就必须通过电脑端下载。微信的这种特性一个相当神奇的存在，但这样的操作是不是意味着手机下载到乱七八糟病毒的机会会大大降低了呢？为了安全性而放弃便捷性，这也是无奈之举。

于是，摆在我面前，就有一个问题。保存在我电脑上的文件当然可以用xlsb，但是我发给别人的文件，估计每天都得转一个格式，虽然这也不是很麻烦。反正我现在已经不把文件每次都另存为然后加个日期进去了，因为那样更浪费我的空间。平时我都是在一个文件上修改，然后把那个文件用右键复制，然后粘贴到其他地方，再换一个名字再发上去。现在我的操作不过是把右键复制变成了在Excel里面的另存为而已。跟文件斗争，跟文件大小斗争，跟上传流量斗争。之所以要这么纠结，归根到底这都跟钱有关。如果单位愿意给我付每个月不到20块钱的坚果云个人版费用，我就不需要这么操心，但问题是，我懒得向他们提要求，也懒得猜测他们会不会答应我的要求。他们指望新的智能系统能赶快上线。据说这次为我们做系统的是世界上第三大的服务器生产商。从实力上说肯定牛逼，但问题是他们给出的东西能不能满足我们的要求，这就很难说，而我不会把所有希望都寄托在他们身上，我需要他们给我做到的只是我需要的原始数据他们都可以给我导出，只要能做到这点，我就没意见了。原始数据下载回来，我还可以进行各种加工，如果你要他们在一个界面里实现你所有的分析诉求，显然这是不现实的，因为人是会变的，人是有创造性的。今天想到用这个方法，或许一段时间以后会想出更好的。他们的界面不可能随着我的需求改变而千变万化。虽然，我写软件需求的时候的确已经提到了我需要一个多层次可变的操作界面，在那里，我需要用我的筛选方式调用及汇总数据。要把他们的东西做成像神一般的数据透视表和数据透视图那样，实在太难为他们了，因为那意味着不是一个固定的模板，那个模板要适应各种类型的数据排列组合。所以，当他们的软件很难实现我的目标的时候，我的唯一要求就变成了起码数据你可以给我，我自行加工。

昨天我稍微思考了一下该如何写我的某篇统计分析。仔细想了一下，发现原来我想挖掘的东西还是挺多的，那些东西不能通过很表观的数据看得出来。我需要进一步的排列组合。现在这些数据还不完整，但是我应该开始着手考虑要怎么展示这些东西了。毕竟，离年末需要交作业的时间不远了。

昨天我把平时都要更新的大型数据文件都从xls转变为xlsb。之前的那个文件没有删掉，而是把它记下最后的日期，放到某个地方，今天开始在新的文件里更新数据。到昨天为止，这个月坚果云的使用量是899MB。经过这样的数据转换以后，理论上，单位每天更新的数据应该不会超过5MB，除非有特殊情况，比如说要写一个比较大型的报告之类的，而里面又有很多图。如果Excel表格里面有很多图，估计就没办法缩小体积了吧。Excel可以在后面加个b缩小体积，那么Word可不可以也这么干呢？真的能把图片压缩吗？估计今天我得研究一下。格式转换的操作我是在Office 2003上面完成的，当然这必须得装一个转换插件才能正常运行，我顺便在WPS 2019上测试，打开xlsb文件没问题。我也把那个东西发给了在用WPS 2016的同事，她打开也没有问题。最后我在我的新笔记本电脑上也试着打开一下，同样没有问题，当我把xls文件转变为xlsx文件，在新的笔记本电脑上进行各种复制，结果发现数据透视表没有绝对相对引用的问题。也不知道是前天还是昨天我看到这么一条消息说Office 2016推荐的系统版本是Win10，几乎可以说，那个东西是Win10的定制版本，而Win7和Win8推荐的Office系统是2007或2010。于是这也就容易理解为什么我新笔记本电脑上的Office 2016没有数据透视表绝对引用的问题，但是在Win7上面哪一台机都有问题。不只是2016，2013也存在同样的问题。所以得出这么一个结论，如果要顺畅地使用2016，我的系统最好用Win10。估计这不是Office补丁补丁的问题，它们是配套使用的，虽然Win7和Win10都有32位和64位两种系统，但鬼知道Win10在Win7的基础上又改动了些什么。Office 2016之所以出现绝对引用地址的问题，是Windows的office模板那里有毛病。我不知道笔记本上的预装Windows以及office系统是怎么装上去的，估计不是人手一台一台来，但显然他们装上去的步骤是一个整套的流程，是一体的。现在卖的笔记本电脑基本上都是正版的家庭版Win10外加家庭版的Office2016。虽然现在最新的office应该是2019，但是微软最推荐你使用的是Office365。显然，买笔记本电脑的人估计不会愿意每年都给一笔费用使用Office365，所以2016就算是个比较稳定靠谱的选择。之前我已经听同学说过她的一些同事有些人用Office 2016没问题，但有些人有问题，我觉得估计不是软件版本的差异，而是他们Windows系统的差异，因为有些人用的Win7，而有些人用的Win10。

今天我之所以选择xlsb，而不选择更通用的xlsx是因为我知道xlsx文件在2016上用数据透视表，有可能出现绝对引用的问题，但现在显然在我唯一一台装了2016的电脑上没有问题。我需要把它换回来吗？其实没这个必要，因为xlsb文件的体积大概只有xlsx的一半。b和x的区别在于，b是二进制的工作簿，在一些软件上打不开，在没有安装office的前提下，x文件你还可以改它的后缀，改成zip文件，然后解压浏览里面的东西。x文件的通用性显然更强。但对我来说，我是不装office会死星人，所以这根本不成问题。b结尾的文件一般软件打不开，所以一定程度上是不是二进制的工作簿安全性更好呢？而之所以一个体积比另外一个大，是因为x文件里除了数据本身还有各种各样的xml格式。

微软这个博大精深的东西，即便我愿意花钱买2016，但只要我的Windows系统还是win7结果还是会死得很惨，所以想花钱也不能随便花。

这个月我突然发现一个很惊恐的现象，我的坚果云的1GB免费上传流量几乎爆掉了，为什么会这样呢？这一个月下来，米叔的东西是有点多，但是我整个文件夹都只有不到300MB，不可能会发生这种情况，而我每天都进行更新的就只有单位的统计数据的东西了。理论上坚果云是增量同步的，所以如果是同一个文件，我在里面新增了东西就同步那些，旧的东西不会再给我同步，但实际上，周末经过两天的观察，我发现情况不是这样的。每天我都会增加十几MB的上传数据，但显然我每天都加进去的东西不可能那么多，每天我加进去的东西顶多几MB而已。为什么会有几倍甚至十几倍的差别呢？昨天晚上我终于发现了原因！因为实际上它并没有传说中的那么神奇，坚果云直接把我更新过的文件重新上传覆盖上去了，不管那个文件里面之前有没有我已经存储过的内容。于是呢，这就让我比较惊恐了，因为我每天都要更新的文件里面有几个文件是MB级的，最大的那个甚至接近9MB，如果每天我都要更新数据，更新的文件达到15MB也就没什么奇怪的了。以每天15MB计算，一个月30天，即便我什么东西都不往里面添，450MB是跑走不掉。我该怎么解决这个问题呢？

这些数据文件绝大多数都是Excel数据表，我用的系统是Office 2003，所以文件是xls。以前我就发现用2007以上的xlsx更大大能节省空间，至于为什么我不知道。之所以仍然选择老版本，一定程度是因为我觉得用的习惯，而另一方面是因为我也曾经试过用Office 2013或者2016，结果发现他们的数据透视表有严重的绝对引用问题。我不知道那个东西在经过一轮又一轮的升级以后有没有得到改善，但显然我今年早几个月做测试的时候，那还相当糟糕，出来的东西完全不是我想要的。幸好那是年头，我只是改了几个数据表而已。据说这是因为xlsx看上去是一个Excel文件，但实际上是一个压缩文件，核心是xml所以它的体积要比传统的xls小起码一半，尤其是但文件里有缓存数据库的时候。xml不是微软自己的东西，有人曾经调侃，在2007版本以上出现的那个xml的绝对引用问题是临时工搞出来的，微软还没有完全吃透那个东西，就把它用在数据里面了。但是，据说如果用的是xlsb，就没有那个烦恼，虽然那个跟xlsx是同一代的产品，但是xlsb是微软自创的二进制的数据表，所以没那么多毛病。用xls保存文件大小是8.5MB，如果用x1sx，大小是二点多，如果用xlsb。文件就只需要一点多。这就意味着，那个东西能做到接近八倍的压缩，所以，如果平时我每天有15MB的数据量，经过这么一压缩，就会只剩下几个MB而已，一个月下来，那些东西顶多200MB就包住了。之前我一直觉得没什么问题是因为单位的数据量远远没有现在这么多，而另外一个情况是我一直很相信坚果云，我觉得xls是很普通的文件，增量同步应该没什么问题的，但显然，他们只是检测了文件有没有变化，如果有变化就整个换掉。到底什么文件上他们才可以做到增量同步呢？难道只能是txt文件吗？如果那样的话就实在太恐怖了。我还要测试一下在新版本的Office 2016环境下，是不是真的用xlsb就没有绝对引用的问题。xlsb对使用office软件的人一点问题都没有，但是如果对方使用的是WPS，非常有可能他们就打不开文件了。之所以这样是因为之前已经说过，那是微软自创的二进制模式，WPS没办法攻克这个也很正常。如果真的这样，我也就只能把只是我自己使用的文件转格式，而发给别人的文件还是用原来的样子。

之前我从来没试过坚果云单月超上传流量，但现在单位的数据真的把我逼上绝路了。