如何成为一名合格的风控算法工程师?

246 2024-09-27 11:56

一、如何成为一名合格的风控算法工程师?

“风控算法工程师”这个职位按字面意思可以拆成3个词:风控、算法、工程师,对应的能力就是业务知识、算法理论、编程能力。

如果经过一定时间的学习和培养你在这三个方面还有特别明显的短板,那很难称之为“合格”。

1. 业务知识

熟悉业务知识是基本功。

了解业务才能够建立实际可用的模型,目前还不存在解决所有问题的万能算法,还是回到现实,从业务学习开始。

互联网金融领域有着非常丰富的业务场景,同时它和传统银行业务场景差别非常大。用户没有面签不直接见面,依赖的数据是弱数据、大数据,是数据和技术驱动的业务场景,但这并不代表你不需要去理解业务的内涵。

每一个现实场景就是一个应用题,作为算法人员需要理解题干,从场景中抽象出需要解决的问题,将它翻译成算法问题,然后再使用合适的算法去解决它。

很多时候对业务问题的理解和抽象,相当于在设定模型开发的大纲。比如在白条场景中,我们想要预测授信用户的信用风险,我们首先就需要考虑以下问题:

我们要观察多久的订单?

逾期多少天才算坏用户?

逾期定义中是否需要考虑金额限制?

好用户怎么定义?

需不需要考虑样本不均衡的问题?

为了保证模型的稳定性如何进行窗口验证比较科学?

针对业务的一些变动,比如订单制和账单制的调整,我们如何去修正模型的目标变量?

总之基本的信贷概念和业务模式是必须去了解的,有助于你设计开发大纲。除了大纲,风控模型的开发也需要知道业务细节。这在Y变量定义,X变量加工,模型评估都会涉及。

以Y变量定义为例,一般金融行业会把样本分为四部分:G(好用户);B(坏用户);I(不确定用户);E(剔除用户)。

实操中对这四个群体通常会有不同定义的微调。有的时候是从算法角度考虑,但更多时候是从业务需求角度考虑。预测用户未来的白条消费金额,止付用户就会被划入E类用户;预测欺诈用户,因为样本很少,信用风险用户也被划入了B类坏用户。X变量除了根据业务知识挑选数据源外,更多时候业务知识指导特征构造。

这里我插一句,不要轻视特征工程,特征工程仍然是非常重要的内功,不是你搞一个深度学习框架就可以解决一切。

金融行业的业务复杂通常和时间挂钩,必须掌握业务概念的细节。对于白条业务,就有下单,到账,应还款,实际还款,最低还款,逾期,退款等一系列细节概念,它们都是在一个时间轴上的,特征加工很讲究这些细节。

只有清楚这些概念,而且知道这些行为如何产生和被记录,才能够构造相关的有效特征。好的特征不但可以提高模型效果,也便于从业务上把握模型的跨时间有效性。

业务场景很多时候还决定了你模型效果评估的方式,因为业务很灵活,可以做到有取有舍。有些场景需要模型是为了在误杀尽可能少的情况下抓住更多的坏人;有些场景需要模型需要有更好的排序能力但并不注重绝对值预测;有些场景需要模型需要有很准确的数值预测。

了解场景,挑选合适的评估方式,才能够构造出合适的模型,当然争辩是免不了的。

2.算法

首先,算法很多,没有人能够面面俱到,重在基本功。

对于转行的同学,推荐两本入门的基础读物:周志华的“西瓜书”和李航的“蓝皮书”。

作为算法工程师,对算法本身在公式的层面并不一定像考试那样需要死记硬背。比如工作中不会有人问你LBFGS算法对于海森矩阵是怎么估计的的(即便在面试中背出来都未必是加分项)。但是,LR的基本公式,SVM的基本原理还是需要去熟练掌握。

对各个算法的优缺点、适用范围以及可能失效的场景需要了熟于胸,某种程度上算法掌握深度和灵活度跟场景以及场景下数据很有关系。

企业工作时风控算法工程师的典型工作是在面对场景需求进行建模,理论深度是有一定必要的。因为实际工作没有时间让你研究理论,但是需要你掌握理论。

算法工程师搭建算法模型的时候,往往没有充分的时间去扫参调优,于是这会导致与在学校的时候建模发paper是完全不同的工作模式。

需要考虑的可能更应该是算法的鲁棒性,即算法模型在数据和计算环境一定幅度的波动下,仍然能够保持稳定的工作。

不然的话,支持线上工作的算法模型一旦崩溃,轻则是大半夜不定的报警短信把你招到公司改bug,重则是造成重大财产损失——想想某业务本来大体只会授信一半的用户,结果被奔溃的模型完全放行了……这将会是什么画风?

因为没有太多的时间扫参数空间,所以最好对于各个常用模型的“性能”以及主要工作的参数空间有一个清晰的概念。

这意味着,你不能像以前在学校一样,对于每个模型都用效果最佳的参数,而需要“常见”的参数,去实现基本的业务功能,日后业务方有需要再去优化。工程上,过度的算法“洁癖”和“强迫症”都会耽误很多事情。

特征工程还得再强调一遍,虽然它看上去不像理论那么高大上,但其实很多时候模型效果还就得靠那么一点特征工程作为作料。在算法里面我们更强调特征工程的一些处理手法和技巧,比如点击流数据的处理方法,怎么设置窗口,一些缺值数据的处理技巧,噪声数据的去除等,都能提升模型的效果。

而且这其实有其近乎“艺术”的一面,正所谓“戏法人人会变,各有其奥妙不同”。

评价指标要选好,评价指标的坑很多,并不是说当你建好了模型之后,算一算precision、AUC、KS、F-measure就好了。

要对这些指标的原理,特别是局限性了然于心。

再强调一遍,特别是他们的局限性!甚至有时候你可能需要自己组合设计一些指标,来更好适应你的问题。

关于深度学习框架,目前各大厂小厂都在积极尝试,但是尚且没有全面推开在金融领域,我们在某些环节使用这些技术,同时也在向业务方普及这些技术。深度学习作为趋势,日后广泛应用是一定的,所以我们坚定看好它。

传统概率论和数理统计方面的知识也不能丢。即便我们不去参与贝叶斯派和频率派的撕逼,古典概型在考虑问题的时候也很有用。另外还有诸如随机变量及其分布、随机过程、大数定理、中心极限定理等等。毕竟,金融产品的普遍是建立在人们对“未来”的预期上的,而这一过程则需要基于概统来理解。

3.编程

首先,总的来说,算法工程师需要的是处理大数据和实施高性能计算。这在工程层面有多种实现方案,下面简单罗列一下常见的部署场景,大家可以各自去攀相应的科技树:

• 在数据层面,sql必不可少。

可以说SQL是数据的魔法石,让数据流动,转化,融合,迸发出巨大的威力。对于sql的熟练使用,以及一些小技巧的应用,能够给下一步的特征工程省很多事。在这个过程中,数据倾斜是要尤其关注的,拉数据或者计算过程中进程一直被卡在99%是一件很尴尬的事儿。

• 目前主流的编程语言越来越集中于python和R。

有新闻上说,有的中学已经在开始普及python了。所以至少最好能有所了解。这包括一些常用的库,如pandas、sklearn等。

当然,其他语言也可以有,C++在我们非常追求性能时会去考虑,JAVA也会在我们提供服务的时候使用。

• 关于高性能的并行计算,Spark是一中常见的构架,它包含一个数据挖掘的库MLlib。

• GPU(集群)是实现更高性能并行计算的另一个流行的方案,同时考虑到一些CNN、RNN模型的使用,所以学习注入TensorFlow、Caffe等等算法框架是很有必要的。

当然对于风控来说这是比较高阶的应用。

• 在建模过程中,对数据的简单统计分析进行可视化是非常必要的。

数据直观的展示出来之后,有些问题/方案就一目了然了。在这方面,python的可视化工具、R、Matlab等各有各的优势,大家可以按习惯取用。

• 最后,作为基础,写shell脚本的基础是必须的,要有一定的linux知识。

其次,特别是大型金融科技公司对编码要求已经和互联开发没有什么本质区别,因此要求在编程的过程中,工程考虑是一定要有的思维习惯。

这里的“工程考虑”并不仅仅是指算法的性能方面,还有考虑你自身的数据结构、表关系依赖关系、计算环境、服务器性能、可用资源等等,很多问题需要与研发或者平台的同学仔细沟通才能够提供一个真正的风控算法服务。

因为风控的敏感性,网上其实很少有相关的资料。尤其是现在金融科技公司中的新技术和传统银行技术差别较大,使得这个行业带有一定的神秘性。

其实,风控算法工程师和推荐系统算法工程师、搜索算法工程师等等没有太本质的区别,个人认为仍然属于互联网+下的算法工作,但是同金融科技这个新生业务产生了交集,对人才有了更复合的要求:同传统风控人员相比,它更强调了算法能力和工程能力,同普通算法人员相比,它更强调了金融业务理解能力。

从招聘的情况看,市场上目前具备这种综合素质的人才很少,是一个很有发展前景的职业。

二、如何成为一名合格的店长?

★ 一:积极

不要事事等人交代,一个人只要能自动自发地做好一切,哪怕起点比别人低,也会有很大的发展,自发的人永远受老板欢迎。

  1、 从“要我做”到“我要做”;

  2、 主动分担一些“分外”事;

  3、 先做后说,给老板惊喜;

  4、 学会毛遂自荐;

  5、 高标准要求:要求一步,做到三步;

  6、 拿捏好主动的尺度,不要急于表现、出风头甚至抢别人的工作。

★ 二:负责

勇于承担责任的人,对企业有着重要的意义,一个人工作能力可以比别人差,但是一定不能缺乏责任感,凡事推三阻四、找客观原因,而不反思自己,一定会失去老板的信任。

  1、 责任的核心在于责任心;

  2、 把每一件小事都做好;

  3、 言必信,行必果;

  4、 错就是错,绝对不要找借口;

  5、 让问题的皮球至于你;

  6、 不因一点疏忽而铸成大错。

★ 三:效率

高效的工作习惯是每个可望成功的人所必备的,也是每个企业都非常看重的。

  1、 跟穷忙瞎忙说“再见”;

  2、 心无旁骛,专心致志;

  3、 量化、细化每天的工作;

  4、 拖延是最狠毒的职业杀手;

  5、 牢记优先,要事第一;

  6、 防止完美主义成为效率的大敌。

深圳标杆营销商学院

,赞8

★ 四:结果

“无论黑猫、白猫,抓得到老鼠就是好猫!”,无论苦干、巧干,出成绩的店长才会受到众人的肯定。老板重视的是你有多少“功”,而不是有多少“苦”。

  1、 一开始就要想怎样把事情做成;

  2、 办法永远要比问题多;

  3、 聪明地工作而不仅仅是努力工作;

  4、 没有条件,就创造条件;

  5、 把任务完成得超出预期。

★ 五:沟通

不好沟通者,即便自己再有才,也只是一个人的才干,既不能传承,又无法进步;好沟通者,哪怕很平庸,也可以边干边学,最终实现自己的价值。

  1、 沟通和八卦是两回事;

  2、 不说和说得过多都是一种错;

  3、 带着方案去提问题,当面沟通,当场解决;

  4、 培养接受批评的情商;

  5、 胸怀大局,既报喜也报忧;

  6、 内部可以有矛盾,对外一定要一致。

★ 六:团队

团队提前,自我退后。不管个人能力多强,只要伤害到团队,公司决不会让你久留——不要认为缺了你一个,团队就无法运转!

  1、 滴水融入大海,个人融入团队;

  2、 服从总体安排;

  3、 遵守纪律才能保证战斗力;

  4、 不做团队的“短板”,如果现在是,就要给自己“增高”;

  5、 多为别人、为团队考虑。

★ 七:低调

才高不必自傲,不要以为自己不说、不宣扬,别人就看不到你的功劳。所以别在同事面前炫耀。

  1、 不要邀功请赏;

  2、 克服“大材小用”的心理;

  3、 不要摆架子耍资格;

  4、 凡是人,皆须敬;

  5、 努力做到名实相符,要配的上自己的位置;

  6、 成绩只是开始,荣誉当作动力。

★ 八:成本

节约不是抠门,而是美德。不要把公司的钱不当钱,公司“锅”里有,员工“碗”里才有;同样,“锅”里多,“碗”里也自然就多。而掌勺的,恰恰就是你自己。

  1、 报销账目,一定要诚信;

  2、 不耍小聪明,不贪小便宜;

  3、 不浪费公司的资源,哪怕是一张纸;

  4、 珍惜工作的每一分钟时间;

  5、 每付出成本,都要力争最大收益;

  6、 记住:省下的,就是利润!

★ 九:感恩

为什么我们能允许自己的过失,却对他人、对公司有这么多的抱怨?再有才华的人,也需要别人给你做事的机会,也需要他人对你或大或小的帮助。你现在的幸福不是你一个人就能成就的。

  1、 老板给了你饭碗;

  2、 工作给你的不仅是报酬,还有学习、成长的机会;

  3、 同事给了你工作中的配合;

  4、 客户帮你创造了业绩;

  5、 对手让你看到距离和发展空间;

  6、 批评者让你不断完善自我。

三、如何成为一名合格的园长?

做一名优秀的幼儿园园长最为重要的一件事就是要明晰职责,只有做到了职责的明晰,才能够成为一名合格的幼儿园园长。幼儿园园长具体来说有对内和对外两个职责,接下来我们就一起来分析一下幼儿园园长该如何应对职责。幼儿园的对内指责最为主要的一点就是为幼儿园制定发展规划,这个发展规划包括园所规划和教师成长。具体的措施如下:

1、抓好教学教研,提高教学效果教学是幼儿园老师的主要职责,园长要经常性的组织老师们进行教学教研的练习,从而为提高教学效果奠定基础。在教学教研的学习上,跨世纪教育的直营园做得十分优秀。跨世纪直营园的老师们在教研教学方面做到了天天练,周周连,月月练,取得了爆发式的教育成果。因此,想要成为一名合格的园长一定要严抓教研教学。

2、制定制度、执行制度制度是约束老师、孩子、家长有力的方法。幼儿园园长要想使幼儿园井然有序必须要做的就是制定合理的制度,并且严格执行。有了制度不仅能够方便园长的管理,还能够营造良好的幼儿园氛围,获得家长的口碑。

3、建设园本文化,做好思想工作思想永远是先行者,幼儿园在对内职责中最为重要的就是思想的统一了。如果老师不认可幼儿园的教育理念,如果家长不认可幼儿园的教育理念,对于幼儿园的发展是有十分大的威胁的。这就要求园长在招聘老师和选择孩子的家长要慎之又慎。跨世纪直营园为此特地为每个幼儿的家长进行了面试,排除了那些不认可幼儿园教育理念的家长。这才有了市级示范园、省级示范园的优秀称号,才有了幼儿园和睦融洽的氛围。

4、抓好幼儿园营销,保证生源招生永远都是幼儿园的大事,幼儿园园长做好了幼儿园的招生才可能被业界称之为一名合格的园长。跨世纪直营园在招生过程中采用了跨世纪营销系统的方法,每到招生时间就会出现生源爆满,排队入园的盛况。介绍完园长的对内职责就要介绍对外职责了,园长的对外职责其实只有两个方面。一方面是与周边园所搞好关系,另一方面就是按照上级领导的要求开展各项工作,不能违规违纪。总而言之,做一名合格的幼儿园园长还有些很长的路要走。

四、如何成为一名合格的IPQC?

有这样一个问题:品质是 1. 设计出来的,SA2. 管理出来的,3. 制造出来的,4. 检验出来的 ? 答案是3你信服吗?不错,我们不能否认其它三个方面对于产品的质量有很大的影响,但是,工厂中,最重要的人不是厂长,也不是工程师,而是那些默默的在锁合螺丝或是放垫片的普通员工,这多少有点损伤高级干部的自尊,但------这就是事实,正是这些最最普通,默默无闻的人,支撑起这表面宏伟工厂.在如此重要的制造过程中,质量管理的人员更加责作者重大,要求格外认真,切不可因为做"熟"了而对每次检查抱例行敷衍的态度,大家都知道,东西要一次做好,关键就在这里,若等到错了再来返工,损失巨大而无谓!下面介绍的就是IPQC如何做好制程检验及制程稽核: 一. 制程检验与测试之规划1.1 对新产品、新制程或新合约而牵涉及制程的新设定或变更时,研发部门、工程部门、质量部门等相关单位应共同考虑产品特性、物料或环境的状况,于制程中的重要点验证其质量状况。

每一阶段的检验与测试作业均应直接与成品规格或作业要求相关。1.2 应在制程中适当定点实施检验与测试作业,设置的位置与检验频率,应依据产品的重要特性与验证的难易而规划。1.3 制程中检验与测试应依产品之特性、制程之型态规划于特定产品制程检验与测试作业中,并采用下列之一种或数种方法;

a) 自主检查-作业人员本身所作的检验与测试,依据QC工程图与各作业指导书执行之。

b) 自动化检验与测试-使用自动量测减少人为失误,为现代化工厂大量使用。

c) 检验站检验与测试-依据IPQC制程检验标准执行100%检验或抽样检验。

d) 巡回稽核-由品管员巡回稽核以监测特定之制程,巡回稽核之作业应定于制程检验与测试作业程序中。

e) 首件检验-依据各作业指导书与IPQC制程检验标准执行每工令正式生产前之第一件检验。

(首件定义为每日生产前或换线,羿常停止后重开或每工令的第一件)1.4 应规划在重要制程点使用管制图表,并规定于「QC工程图」中。1.5 各作业指导书应说明圆满达成工作、符合良好工艺标准与规格之准则。1.6 各作业指导书应以书面标准、图面或实体样品说明必要的程度。二 .检验与测试作业的实施2.1 完成制程检验作业流程。2.2 新机种及产品初次生产、制程初次设立或间隔一段时间再生产时,应依产品试产之规定实施验证。2.3 首件检验: 每批首件产品须经制程品管人员检验合格后,始可继续生产,检验结果记录于首件检查表。若首件不合格﹐应立即通知制造现场主管重新设定与调整。2.4 制程检验工 a) 每工段作业完后, 造现场人员将再制品放置待验区待制程品管人员检验﹐检验前应确认半成品追踪单基本数据填写是否详实。b) 制程品管人员使用最新版本的相关质量文件,如图样、QC工程图、IPQC制程检验标准或各作业指导书﹐并确认检测仪器均经校正合格﹐始可执行制程检验与测试作业并作记录。c) 检验完成后﹐如为质量合格产品﹐需于检验合格批上贴上”IPQC PASSED“标签与盖章﹐移至特定标示区域以便入库或作下一制程加工。

d) 检验完成后﹐如为质量不合格产品﹐需于检验合格批上贴上”REJ“标签与盖章并加一退货单﹐移至退货区域﹐作不合格品之重工或维修处理﹐参考第三项作业。

e) 各种IPQC标示均需注明日期﹐且经由检验人员签章后﹐始为生效。2.5 制程稽核a) 品管员每天至少一次至各作业站、测试站稽核作业者所使用的材料、作业方式及仪器设定是否正确?同时依据IPQC制程检验标准抽验在制品、以随时了解质量状况,适时发掘问题,做好防治不良作业;巡回稽核的结果填于制程稽核巡检表。b) 各制程稽核质量记录﹐包含制程设定条件﹐以符合各作业指导书。2.6 依据QC工程图与各作业指导书的规定,于制程之重要点使用管制图,以点线的变动监视产品及制程状况,并提供查问题与解决对策之有用信息。三 . 不合格品之处理3.1 作业人员或测试员于发现产品不合格时,应依各作业指导书的规定予以标示或移离生产线,并放置于红色容器内待处理。3.2 当发现属制程不良,亦即有重复产品(如连续三次)不良发生时,应向主管报告,并经主管确认后,立即进行改善措施。3.3 制程检验发现不合格品时a) 制程检验发现不合格品时,而须采取矫正措施以防止事件之再发时,制程品管人员应发行产品质量异常单,给相关责任单位并要求在期限之内处理完毕。b) 如因情形特殊拟予特采时﹐应按照特采作业程序作业。c) 良品/不良品应作明显之区分与标示﹐以免混杂一起。3.4 制程稽核发现不符合事项时a) 当有下列情形时﹐应实施改善:1) 当制程统计管制图超过管制线时。2) 当制造流程与工作指导书之规定不一致时。3) 当严重失误发生时。4) 当制造流程不当可能对产品质量造成影响或导致严重失误时。b) 当制程在稽核中要求改善时﹐制程品管人员提出异常通知单﹐生产线负责人或制程主管必须立即反应﹐改善行动须在同一天采取行动﹐并尽速完成。c) 制程品管人员在改善行动后必须追踪是否全然遵守规定实施﹐并提出评估成果。3.5 制程变异对产品质量有严重不良影响时,经制造单位主管确认后,立即停止生产。待问题解决,并经制程品管人员确认后,始得继续生产。3.6 停线若有争议时,应由厂长仲裁;如有涉及技术问题,必要时通知研发部门或制造工程部门处理。3.7 制程品管人员于发行异常通知单后,应主动跟催处理情形与结果,并将处理结果记录与归档,作为质量回馈与分析改善之资料。3.8 产品若经制程检验不合格而批量退回时,应依不合格品管制程序之规定处理之。3.9 如决定重工时,应依据重工之规定办理;重工后之产品应再行检验与测试合格后,始可放行。3.10 制程中如因紧急用料或特采时,应将产品予以鉴别与记录其方式可于相关文件予以记录,便于发生间题时,得收回或追溯。3.11 如作制程变更时,制程品管人员应验证变更后应符合原规格要求,并做成记录。四. 制程质量数据分析4.1 制程品管人员每日应将各IPQC质量报表键入计算机﹐每周向品保主管提报周报表﹐每月提报月报。4.2 制程品管人员每月应依上述数据制作IPQC不良项目统计,计算月不良率并绘制图表,同时将主要不良项目作要因分析图,研拟改善对策并作成不良检讨报告。

五、如何成为一名合格的站长?

谢谢

顶一下
(0)
0%
踩一下
(0)
0%
相关评论
我要评论
点击我更换图片