每日精选：如何采集数据数据的收集方法6种

(相关资料图)

如何收集数据(6种数据收集方法)

编辑导读:随着“数字智能”时代的到来，数据在我们生活的方方面面都是不可或缺的，你真的了解数据吗？本文将为您重新解读数据的概念和价值，以及在“数字智能”时代，数据的价值是如何一步步被应用和升华的；因为内容很多，作者分几期给大家讲解。

在上一篇文章中，我们了解到“数据”是一个庞大的系统(如下图所示)。本文对数据进行了透彻的解释(1):数据来源；以菜市场为例说明数据源的含义。今天，陈骁主要告诉我们到达指定的“菜市场”后如何“买菜”，也就是数据采集的过程。

首先简单分类介绍一下数据采集的方法，然后介绍每种数据采集形式需要注意的点。

线下(问卷、实地调研)——要点:遵循五要素！

5个要素:

1)聚焦研究主题和目的。

评价问卷调查质量的一个最重要的标准就是问卷的内容是否符合研究主题，即使问卷设计精美，如果与主题无关，也毫无价值，因为进行问卷调查的本质目的是调查相关要素与研究群体之间密不可分的联系。

例如，调查用户满意度一般涉及两个维度:产品本身(价格、包装等)。)和受众的特点(年龄、地域、心理满意度等。).

2)标题易读、易懂、概括。

问卷发放后，需要观众填写，所以问卷的可理解性也最终决定了问卷的质量。

问卷不是学术论文，也不需要涉及很多专业的、晦涩的词汇才能体现专业性。调查人员能否真正理解是关键。

而概括性是指这个问题的设置是否对所有受众都具有普遍意义。比如在调查居民出行方式的问卷中，你认为最安全的交通工具是A火车、B飞机、C宝马汽车、D电动车。我们可以看到，选项C没有普遍意义，也不是有A、B、d的维度选项。

3)充分考虑受访者的特点。

在使用问卷调查法时，要充分结合转岗群体的特点来设置问卷；例如，对于学龄前儿童和老年人，采取书面问卷的形式是不合适的。我们要充分考虑他们的语言偏好(有些老年人可能普通话不标准但方言流利)和理解内容的能力，然后派采访和研究小组进行研究。

4)充分考虑问题排序(循序渐进)

问卷的设置除了考虑每个问题的规范性和合理性外，还需要考虑问题之间的逻辑性和连贯性，避免在时间、空、人物等维度上频繁跳跃。

5)充分考虑统计的便利性。

除了考虑问卷调查的受众，问卷设置还需要充分考虑后期问卷回收后的统计分析；尽量减少下班后的压力。不应设置太多变量。我们应该使用尽可能少的变量来有效地获取标签信息，并帮助研究后的定性分析。

在线(按数据采集端口分为APP端和web端)

APP端(主机)-数据埋点获取相关数据:

首先和大家聊聊科普。数据埋点是什么？以及为什么APP端要特别注意数据埋点。

所谓埋点，其实就是收集用户在使用APP优化产品和运营过程中的一系列行为数据；然而，大多数应用程序都有自己的服务和盈利能力(如淘宝、Get等)。)，所以要想实现转化和引导购买，就需要在具体的交互组件中埋下“点”(例如，点击跳转链接、购买按钮等)。)，然后分析PV、UV；停留时间、跳出率、购买率等指标均量化。

就埋点的形式而言，主要分为以下三种类型:

代码嵌入点:当控制操作发生时，数据通过预写代码发送。目前，百度统计和优盟提供这项服务。

这里有一个例子。比如我们要统计淘宝APP中“添加购物车”按钮的点击次数，点击时可以调用该按钮对应的OnClick函数中SDK提供的数据发送接口发送数据。

优点:控制数据发送时间，详细记录事件自定义属性；缺点:时间和人力成本高，数据传输不及时。

可视化埋点:利用可视化交互手段，通过可视化界面配置控制操作与事件操作的关系，通过后台截屏采集数据；比如在用户多次刷新时，结合大数据算法，计算用户偏好并切换推送的内容和产品，然后通过视觉嵌入自动切换对应的个性化推荐内容页面。

优点:成本低，速度快，有产品、市场等部门参与；缺点:行为记录信息少，支持的分析方法少，开发负担小。

无埋点:用户显示UI界面元素时，平台会通过控件绑定触发事件，当事件被触发时，系统会有相应的接口供开发者处理这些行为；上传UI界面后，系统可以自动识别生成控件的唯一ID，该ID在程序内部生成。只要这些id在不同手机上相同，就可以实现无埋点的用户端数据采集。

优点:无需埋点，方便快捷；缺点:行为记录信息少，传播压力大。

网站-网络爬虫(python，C…):

就具体语法而言，由于使用的工具不同，无法对具体语法提供指导(大家根据自己的语言搜索CSDN)，但其整体方法论是一致的。

方法学:手动确定抓取信息维度→分析目标网站URL构成→确认抓取工具→编写编程语言→获取数据→本地保存→跟进数据挖掘。

本期，笔者通过一个“买菜”的例子，带大家了解了几种数据收集的方式，相信大家都有收获！