机器学习与环境气象:空气质量预报:4业务生产

July 2017 · 1 minute read

建立模型和方案的最终目的是能够应用于未来每天的实际预测业务生产中。因此,很重要的一点必须记住,那就是未来可用于预测的特征必须能够和之前建模训练时采用的特征保持完全一致。也就是说,如果建模训练时采用的特征在后来不可获取了,那么模型也就无法应用到实际的日常生产中去了。所以,在建模训练的时候就必须关注这个问题。在条件不能再满足的情况下,重新建模训练甚至重新做特征工程都是有可能的。

模型方案确定可行之后,要做的就是业务化部署了。这一部份工作就是对预报方案的封装,然后设定定时自动化任务并记录运行日志。如果是在linux系统上,crontab较为常用。如果实在windows上,也可以配置任务计划。此外,python也有软件包(常用apscheduler)可以做定时任务配置。

既然是业务化生产,就要监控各种可能出现的异常情况,用python的logging模块可以很好的承担这个工作。对于各种异常情况造成的数据缺失情况,也应有相应的处理措施,具体问题需要具体分析,以保障日常生产。

作为完整的业务流程,每天的预报结果通常以文件存储或写入数据库,这些方法一并封装在程序中就可以了。用python做这些工作通常都是非常简单的。