架构师的信仰系列文章，主要介绍我对系统架构的理解，从我的视角描述各种软件应用系统的架构设计思想和实现思路。 从程序员开始，到架构师一路走来，经历过太多的系统和应用。做过手机游戏，写过编程工具；做过大型Web应用系统，写过公司内部CRM；做过SOA的系统集成，写过基于Hadoop的大数据工具；做过外包，做过电商，做过团购，做过支付，做过SNS，也做过移动SNS。以前只用Java，然后学了PHP，现在用R和Javascript。最后跳出IT圈，进入金融圈，研发量化交易软件。 架构设计就是定义一套完整的程序规范，坚持架构师的信仰，做自己想做的东西。 关于作者： 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/data-analysis-factor-top9/ 前言 现在我们正处于大数据时代，处处都产生数据，大部分数据已经不在稀缺，分析方法和算法模型都也写在了教课书中，如何挖掘出数据的价值，让数据分析落地，把数据价值转换为业务价值，是数据分析师核心要考虑的。数据分析要解决实际业务场景问题，伪需求、不清晰的目标，都会造成项目失败。 本文总结了影响数据分析落地的9大影响因素。 目录 影响数据分析的因素 无处不在的伪需求 目标不明确 口嗨 自我陶醉 业务理解不到位 炫技 只用自己会的技术 模型是万能的 既要..又要..也要..还要 1. 影响数据分析的因素 影响数据落地的因素有很多，可能数据分析做着做着，就会偏离原先既定的目标。 做数据分析项目，通常在开始时，第一步，我们都要先设定分析目标是什么，要解决一个怎样的问题。第二步，要思考如何用数据来解决，能产生什么结果，这个结果对于我们目标有什么样的促进作用。第三步，方法路径是什么，用什么技术，用什么模型，怎么做数据，怎么进行训练。第四步，是对模型结果进行验证，是否结果是有效的，是否正确，又是否准确的。 一个目标明确的数据分析项目，我们通常把具体做什么，提前设计技术框架，来保证数据分析的稳定执行。 但是，在执行过程中，会遇到各样的问题。可能有我们自身思路的限制的影响，也有外界市场变化，甲方领导带来的影响，导致我们在做分析时，会有各种各样的偏差。 2. 无处不在的伪需求 伪需求是指那些表面上看起来像是需求，实际上并不是真正必需的需求，通常是由于外部压力、误解或者不合理的预期所产生的。简单来说，伪需求并非真正影响项目目标的关键需求，它可能会浪费时间和资源，导致不必要的复杂性。在一些领域，特别是在产品开发或项目管理中，伪需求可能会引发团队的误方向。比如客户可能要求一些看似有用但实际无关紧要的功能，而这些功能最终并没有为项目带来实际价值。 很多人都不能分辨，什么是真正的需求和伪需求。以为自己需要的，自己想到的，就是真正需求，而并不关心，客户想要什么。这样提出的需求，就很有局限性，通常就不是一个共性问题。 在数据分析领域，伪需求通常表现为对数据的误解或不必要的分析，导致资源浪费和效率低下。以下是一个具体的例子： 案例：缺陷状态数据分析 某公司要求数据分析师对产品缺陷的状态进行详细分析，包括每个缺陷的当前状态、历史状态变化等。然而，深入分析后发现，这些状态数据并未对产品质量改进提供实质性帮助。真正有价值的指标是缺陷的严重程度、发生频率以及修复时间等。对缺陷状态的过度分析反而分散了团队对关键问题的关注，导致资源浪费。 在上述案例中，对缺陷状态的详细分析被认为是必要的，但实际上并未对产品改进带来实际价值。这类伪需求可能源于对数据价值的误解，或是未能准确识别业务需求。为了避免陷入伪需求的陷阱，数据分析师应与业务部门密切沟通，明确分析目标，聚焦于能为决策提供支持的关键指标。 通过识别和避免伪需求，数据分析团队可以更有效地利用资源，专注于真正能推动业务发展的分析工作。 3. 目标不明确 数据分析的核心，是就数据思路解决实际的业务问题。在不了解业务的时候，可能提不出来明确的目标。另一方面，在做数据分析的过程中，可能一会儿想一个，一会儿又想一个，造成目标很多。一直就不能定位到核心目标是什么。比如，我们的目标是从期货市场赚到钱。首先，要研究期货数据，然后研究策略，然后进行交易，最后赚到钱。 但目标不明确，导致分析方向不明确，难以得出有价值的结论。 如果甲方没思路，让你来提供思路，恭喜你，你不做出10个版本，甲方是不会放过你的。如果传达不准确，领导开会一句话，你为了这句话，绞尽脑汁，也不可能想到他的心理去。如果多个决策人，A处说一，B处说二，C处说三，都对，都是领导，后面就可以自行脑补了。 4. 口嗨 口嗨：大厂的人都说了能实现，所以这个技术一点也不难。 由于现在的短视频很发达，我们经常会刷到各种神乎其神的技术，解决了人类一大痛点问题。现在可能只是一个很小的突破，未来真的有可能解决。也被自媒体放大或者错误解读，让大家就真的感受到未来已来的幻觉。 有了这种幻觉后，就感觉自己作为数据分析的从业者，也能做出和报道中一样的效果。 有些大公司团队，甚至把这种虚幻的内容，当成碾压小公司的亮点技术，在客户这边打散吹嘘。一旦甲方领导信了这些飘在天上的，就会对自己的下属，乃至其他的乙方团队提出相当大的质疑。 为什么大公司都说，这个实现起来很容易，你们就是不会做呢？最后领导找大公司来做了，并花费了不少的钱，搞几年烂尾了，终于知道当时那些大厂销售，是一时的口嗨。 这个故事在不断的重复。 5. 自我陶醉 …
Read more →