大数据背景下的移动运营商内容精细化推送技术应用研究

2022-09-11

1 引言

随着移动互联网的发展, 产品的运营日渐趋于精细化。在精细化的运营过程中怎样与用户之间进行有针对性的沟通和对话是产品运营的核心。这就需要对用户有一个全面且准确的认识, 同时在针对特定的用户群的沟通过程中寻找用户群体感兴趣的热点内容作为话题, 通过多种渠道和用户之间建立联系, 实现精细化运营目的。在全面合作发展策略下, 运营商与互联网公司共同开发业务, 并且通过智能化的终端, 以带来网络数据流量的激增。运营商流量经营的关键在于提升流量的价值, 最终方向是将流量与智能管道结合起来, 形成基于运营商核心能力及客户洞察的流量经营细分模型。

2 研究内容

从移动互联网行业来看, 精细化运营已经成为大势所趋。中国移动2009年开始在全国范围建设VGOP (增值业务综合运营平台) , 广东移动开展增值业务精确营销效率大大提升;江苏电信基于手机上网行为数据, 建立了客户偏好和产品视图, 3G手机上网流量精确营销高于自然发展2个百分点, 内容偏好精确营销响应率11.5%;淘宝、腾讯等互联网公司建设大数据运营体系, 实现内容精准投放和交叉营销。

因此, 本研究实现对移动互联网领域的用户日常上网行为的研究和分析, 服务内容的精确推送, 及时捕捉移动互联网端的热点等内容, 以此来支撑其他线上渠道端的精细化内容运营策略。

本项目研究内容主要如下:

(1) 实时地采集海量访问数据, 进行清洗和过滤、数据分析和数据挖掘等;

(2) 动态刻画用户偏好动态标签;

(3) 实现根据用户偏好动态标签来提取内容精确推送目标用户功能;

(4) 实时向分群用户推荐热点内容信息;

(5) 基于用户偏好动态标签, 对外开放标准的内容偏好策略接口, 支撑业务平台或其他线上渠道的精细化内容运营。

3 项目设计

3.1 项目体系架构设计

本研究涉及海量网络及用户流量数据与网络运行数据的处理。

项目架构设计关键点, 如图1所示:

(1) 系统处理能力。系统处理能力的高低, 一是取决于系统是否能够对大量数据进行快速采集和处理;二是通过处理机制的分布式应用, 实现对硬件平台的集群化管理。

(2) 系统可靠性。系统使用集群化硬件平台, 数据存储架构与分布式处理架构, 使得系统具有较好稳定性和可靠性;需考虑冗灾系统, 对于异地极端情况灾难, 比如数据备份丢失等情况的考虑;来源数据的质量检查。

(3) 系统扩展性。系统采用数据存储架构与分布式处理架构, 使系统存储空间和计算能力能有序扩充;集群化硬件平台, 使得系统更加可扩展。

(4) 系统吞吐能力。运用文件系统结合数据库系统等多层次存储策略, 对大量数据进行分析, 使系统具有更好的性能。

系统功能实现的关键点如下:

(1) 需要定期同步IT系统的全业务客户标签;实时获取手机上网行为采集系统的用户上网日志清单 (用户, URL, 时间点) ;实时采集集团和省内重点增值业务平台和基地业务平台的内容资讯和用户访问日志的数据来进行平台构建。

(2) 核心存储采用分布式文件系统与分布式数据库相结合的多层的存储体系。

(3) 基于数据模型规则的运算分析, 随着需求的深入可对模型层不断地丰富。

(4) 开放式的应用框架, 可根据不同部门、不同时期的应用需求搭建新组件。

(5) 多层次的数据分享接口。

(6) 元数据管理与严密的数据质量核查机制。

3.2 项目功能架构设计

项目采用要求至少二层功能架构, 第一层为数据处理层;第二层为应用功能层, 具体架构如图2所示:

平台架构要解决以下几点技术关键:

(1) 开发统一数据对接接口, 迅速与集团内部各个系统 (如采集系统、院线通等) 进行高效数据传输;

(2) 建立自动标签体系, 支持各个系统数据标签的自动填充, 并对日后系统标签扩展能自动适应并做出全体系标签更新, 偏好标签颗粒度要求做到对用户行为的每条记录 (如每次访问产生的URL、每次订购业务的种类等) 进行标签;

(3) 数据处理层部分必须具备从大量的、不完全的、有噪声的、模糊的、随机的数据中提取系统的基本数据, 并对业务数据进行抽取、转换、分析和其他模型化处理。

3.3 系统流程设计

系统总体流程, 如图3所示:

(1) 定期采集移动用户上网行为和电信业务数据;

(2) 基于用户上网清单 (用户, URL, 时间点) , 建立面向内容运营和特定产品运营的用户偏好标签, 形成覆盖全用户的营销标签库;

(3) 根据实时热点捕捉及用户标签进行内容精确推送或展示, 有效支撑业务的精细化运营;

(4) 收集用户响应数据, 并进行分析评估, 完成对营销活动的评估及对用户偏好标签的优化、调整;

(5) 支撑业务平台对用户标签的调用, 实现业务内容针对性投放;

(6) 比较固定的用户标签可以输出到IT系统, 成为全业务标签的一部分。

3.4 软件功能设计

(1) 动态客户偏好标签体系建立。动态刻画基于URL访问的用户偏好动态标签:

首先, 要求通过爬取有效的URL内容, 对URL进行分类;要求支持URL多级分类, 例如, 对网易网站的“科技”板块, 能分类到三级内容“科技”—“移动互联”—“智能硬件”;这样, 就能建立URL所属网站的网站库及分类库。再根据目标群体用户对网站库的访问记录, 比对网站分类库, 解析目标群体用户类型, 通过统计目标群体用户对网站分类库访问内容的各项数据, 例如类型、频次、操作等, 以此描绘目标群体用户偏好。

其次, 按照三级分类结构对偏好标签进行设置。级数及内容可根据用户需求进行诸如添加、删除、修改等动作。基于有效URL, 是对URL分类的基础, 比如URL的格式是否有效、URL含有内容是存在等等, 还需要排除一些无效页面, 比如广告、导航、错误页面等。对已分类内容网址, 能够过滤有效内容及管理;对未分类网址的有效内容, 进行语义分析和爬取工作, 将内容自动分类, 辅助人工分类, 作为备份使用。

动态刻画基于搜索关键字的用户偏好动态标签:

一是要求通过获取热门关键字, 对关键字进行分类, 即建立具体某个关键字属于哪类的分类库, 然后, 根据用户搜索网站访问记录, 解析出用户的搜索关键字, 通过与关键字分类库进行比对, 解析出用户搜索偏好类型。功能包括:

第一, 关键字分类库。需参考主流搜索网站的分类, 同时具备维护功能, 即添加、删除以及修改等。

第二, 自动化。关键字实现自动分类;同时辅助人工分类, 作为备份使用。

第三, 提供白名单机制。对指定号码, 不做分析。

第四, 系统不记录具体某个用户的搜索关键字, 仅记录该关键字的类别及搜索信息。

二是系统能对营销内容 (包括主题、商品、目标等) , 提供人工界面, 指定目标用户搜索关键字。然后, 系统根据关键字集, 自动识别对该营销内容有一定偏好的用户。功能包括:

第一, 系统记录目标用户对营销内容 (包括主题、商品、目标等) 是否有偏好, 而无须记录该目标用户的搜索关键字, 也不记录该目标用户的搜索历史信息。

第二, 在人工界面, 支持对营销内容 (包括主题、商品、目标等) 的增加、删除、修改等操作, 对应关键字的增加、删除、修改操作。关键字匹配功能, 需支持模糊匹配, 即支持一定的语义模糊匹配。

第三, 系统搜索引擎应包含百度搜索、必应搜索、360搜索等国内主流搜索引擎, 同时应包含包括新浪、网易、腾讯、搜狐等主流网站的站内搜索。

第四, 要求能记录对目标用户进行内容推送后的响应数据, 同时, 能根据此响应数据, 优化对该目标用户的偏好标签设置, 形成推送内容响应偏好标签;基于该目标用户的偏好标签和推送内容响应偏好标签, 综合生成该目标用户新的偏好标签。主要功能应包含:

(1) 可根据营销内容 (包括主题、商品、目标等) , 对目标用户对内容推送的响应类别, 进行增加、删除、修改等操作。

(2) 可根据营销内容 (包括主题、商品、目标等) 的实际变化情况, 通过人工界面或者自动采集方式, 记录目标用户进行内容推送后的响应数据。

(3) 具备营销轨迹视图和管理功能。记录目标用户进行内容推送后的响应数据, 刻画用户的营销轨迹视图。营销记录需包括推送类别 (可分级管理) 、推送内容、推送时间、是否响应等。

(4) 对于还未能标记偏好标签的用户, 通过已经标记标签用户的基础数据特征 (如年龄、性别、流量, 终端等基础资料) 近似预测其偏好标签。使用数据挖掘工具和方法, 利用历史数据生成用户基础数据特征与偏好的对应关系的模型, 通过此模型预测所有用户的偏好。

(2) 根据用户偏好动态标签来提取内容精确推送目标用户。根据客户动态兴趣偏好, 结合客户属性、终端、流量等, 根据条件筛选出目标客户群, 导出用户清单。任意选择提取区间、任意选定客户范围进行提取;从客户属性、终端构成、兴趣偏好等维度, 一步一步地个性化进行选择提取条件;各个兴趣偏好之间支持与 (and) 和或 (or) 关联提取;整个提取过程要记录开始时间和结束时间, 以及做营销提取的责任人和所属部门。根据业务流程, 建立需求申请、审核、操作等流程模块;导出任务, 要做到良好的用户体验, 在后台自动跑任务, 完成后通过邮件告知提取人员。提取人员不需要即时等待。

(3) 实时热点信息与目标用户捕捉。基于目标用户的偏好标签, 建立用户子群, 实时监测目标子群用户偏好的热点数据, 经过数据分析, 在偏好度高的前提下, 向其余该目标子群用户, 进行热点数据信息的实时推送。

实时进行热点自动监测。监测主流网站 (例如新浪、网易) 8个以上, 主要搜索引擎 (例如百度、必应) 2个以上。目标子群按照主流网站划分为20个左右的目标客户子群。获取目标用户的上网行为清单和有效应用下载清单, 根据营销业务要求进行数据计算、转换和清洗工作, 生成目标用户偏好信息报告;基于目标用户偏好信息报告, 对目标用户进行分群管理。根据数据分析得到的偏好度分析值, 对偏好度高的热点数据信息, 系统针对其余未关注该热点数据的目标子群用户, 自动推送热点数据信息。该功能需经系统自动提醒审核人员, 审核人员在管理界面审核后, 调用对应推送渠道系统 (短彩信) , 再进行推送。本系统需具备与推送渠道系统必要的实时交互接口。对于实时热点、用户群的推送, 要实现高级细分功能, 能最大限度对目标范围内的用户进行精准推荐, 并能够记录推送点击/关注效果。

4 结语

综上所述, 平台建设以后会实时的处理用户上网清单和电信业务数据, 在此基础上建立面向内容运营和特定产品运营的用户偏好标签, 基于用户标签, 进行内容精确推送或展示;同时需要收集用户响应数据, 对用户偏好标签进行优化;支撑业务平台对用户标签的调用, 实现业务内容针对性投放, 比较固定的用户标签可以输出到IT系统, 成为全业务标签的一部分。

系统通过处理手机上网行为采集系统中的用户访问清单 (用户、URL、时间) 来达到精细化运营的目的, 该清单的核心是用户访问的URL, 通过设计的URL分析引擎建立用户偏好标签, 实现用户分群, 检测群组中的热点内容, 捕获目标用户, 用于业务内容的针对性投放。系统需要收集营销反馈的数据用于事后分析, 动态的优化和调整用户的偏好标签, 进一步的刻画用户特征。并且在用户特征标签的基础上建立用户内容偏好引擎供其他业务平台或是线上渠道使用, 实现多渠道运营的目的。

摘要：未来运营商的流量增长动力来自移动互联网, 用户手机上网是流量经营的关键所在。因而需要进行内容的精细化运营, 综合目标用户的上网行为相关数据, 提取目标用户对增值业务潜在需求。同时, 移动运营商为目标用户推荐合适的内容, 以此培养用户的使用习惯。本文对移动互联网用户上网行为及偏好进行分析, 实时精确推送互联网热点信息等工作, 用以提升移动运营商在其他内容渠道的运营效益, 目的是结合大数据技术对非结构化数据, 即网站的内容数据进行知识发现, 进而了解用户的行为特征, 并进行针对性服务和营销。

关键词：大数据,移动运营商,内容精细化,推送技术