算法如何应用，思路都在这

news2024/11/15 6:57:14

目录

01 问题定义

02 问题建模

03 特征工程

04 模型选择

05 模型融合

本文深入探讨了算法在不同领域的应用方法和背后的思考逻辑。作者夏师傅通过丰富的案例分析，揭示了算法如何助力产品决策、优化业务流程，并提供了实用的策略和技巧。无论您是技术专家还是对算法应用感兴趣的读者，本文都将为您提供全新的视角和启发，希望对你有所帮助。

算法如何应用，思路都在这© 由人人都是产品经理提供

专业成就职业大家好，我是策略产品夏师傅。

策略产品当中涉及到大量算法模型的应用，比如召回，排序策略的设计，除了规则逻辑之外，算法模型是很多体量比较大的业务必备的。所以有必要跟大家聊一下实际工作中，我们是如何利用算法模型来解决业务问题的。

了解这些也有助于大家熟知算法工程师的工作流程大概是什么样的，降低沟通成本。

算法模型解决业务问题整体上可以分为如下几步，接下来我将分别讲一下每一步具体做点什么。

算法如何应用，思路都在这

算法如何应用，思路都在这© 由人人都是产品经理提供

01 问题定义

不能为了上模型而使用模型。

所以首先，我们需要明确我们要解决的问题是什么？

问题可以是具体的用户需求，比如：用户希望看到自己感兴趣的商品排到前面；也可以是目前业务面临的问题，比如：目前平台GMV渗透率高的品类曝光流量不足，这些其实都是问题。但是对于使用算法模型来解决的话，关键点在于如何把这个问题变成算法模型能理解，能解决的问题。

因此这里面必然涉及到一个如何从感性的问题描述转变为一个可以让模型去理解和预测的问题。

这就到了第二个环节：问题建模。

02 问题建模

问题建模的关键其实就两个：业务指标定义和模型预测目标定义。

业务指标定义即根据当前业务核心场景去定义核心业务指标，这块涉及到一些数据指标体系搭建。

模型预测目标主要用于根据该目标去设定模型的收敛目标，也就是模型要预测什么，输出什么值。典型的比如ctr预估，实际上就是输出了ctr这个值。

在问题建模阶段，还有两个重要的事情：样本选择和交叉验证。

简言之，我们从原始数据（日志）当中选择跟当前模型预估指标相关的样本，然后把这些样本分为训练集和测试集，然后通过交叉验证的方法对模型进行训练和评估。

这块不得不提一下关于模型评估的指标。指标的分类有很多，最常见的其实就是准确率，召回率，AUC曲线等，包括常见的NDCG是对排序模型的衡量关键指标。

03 特征工程

完成了问题定义和问题建模，接下来就进入了很关键的特征工程，从大量的数据当中进行特征抽取，核心目的是为了将特征输入给模型，让模型从数据中学习规律。

关于如何做特征选择，再实际工作当中，最为关键的是下面两个方面：

算法如何应用，思路都在这© 由人人都是产品经理提供

第一点好理解，特征是为目标服务的，因此选择出来的特征必须能够表征目标；第二点的意思是这个特征要在不同的物品之间有相当明显的差异。比如销量，有的高，有的低；评价，有的是100%好评，有的是80%好评，这些都可以称之为特征。

但是，如果你们业务的基本上99%的物品好评率都在100%，那基本上这个特征就不用加了。

有差异才有区别，有区别才能作为一个决策的因素。

什么情况下我们需要进行特征选择？

训练数据包含许多冗余或无用的特征，移除这些特征并不会导致丢失信息。

其中冗余是指一个本身很有用的特征与另外一个有用的特征强相关，或它包含的信息能从其它特征推演出来；特征很多但样本相对较少，也就是某一个维度的信息数据量太少，覆盖度较低。

关于特征选择的4个步骤：

以下是模型特征选择的4个步骤，策略产品经理以了解为主：

产生过程：产生特征或特征子集候选集合；
评价函数：衡量特征或特征子集的重要性或者好坏程度，即量化特征变量和目标变量之间的联系以及特征之间的相互联系。为了避免过拟合，可用交叉验证的方式来评估特征的好坏；
停止准则：为了减少计算复杂度，需设定一个阈值，当评价函数值达到阈值后搜索停止；
验证过程：在验证数据集上验证选出来的特征子集的有效性。