大数据相关较好的项目

发布于:2021-07-31 10:38:50

项目宁波今日新闻网热点分析系统
????软件架构:Flume+KafKa+Hbase+Hive+Spark+Mysql+SpringMVC+Mybatis+AugularJs+Echarts


项目描述


?在当今的社会,每天都会发生很多事情,每天都有很多的新闻报道,为了能够在这么大量的新闻及大量的点击阅读量中获取一些有价值的信息,以便于在不同的时间段投放不同类型的新闻,管理新闻的投放时间,从而提高新闻的投放质量,因此开发了这个宁波今日新闻网热点分析系统。


在这个系统开发中,使用了flume完成日志采集。编写kafka消费端脚本,消费从flume传过来的消息。之后Kafka与spark集成,把spark的输入源设为kafka,通过编写代码进行数据的实时处理。把处理完的数据通过网页展示出来。离线方面就把Hive集成了HBase同步了HBase中的数据,然后在Hive中进行各种离线数据分析。


责任描述


    编写Spark Streaming程序进行实时数据处理编写HiveSQL进行离线数据分析数据的采集传输

项目快联网站流量日志分析系统
????软件架构: Flume+ Hadoop+ Hive+ sqoop+MySQL+ SSM+ echarts+azkaban


项目描述


????随着业务的不断发展,网站有越来越多的点击流量,但是这些流量中又有多少转化为公司实际收益呢,还有流量来 源等,为了解决这些问题,让公司更好更快地发展,我们开发了该系统。该系统可以对网站流量日志进行多维度的分 析,并通过网页显示成图表来帮助公司高层来进行决策。


首先利用flume进行数据采集;然后编写mr程序进行数据的预处理;建立数据仓库把预处理之后的数据导入到 数据仓库中利用HiveSQL进行数据分析;用sqoop导出结果到MySQL中;编写一个基于SSM框架的web工程引 入Echarts把数据以成图表的形式展现出来。


责任描述


    负责数据的采集传输;对数据进行预处理去除和整理杂乱的数据;编写Hive SQL语句来进行数据分析;

一、本地宝系统模块实时分析*台


1.项目描述: 该项目依托本地宝综合性门户网站系统建立, 主要是根据访客的浏览点击行为, 完成网 站各模块的综合性分析。通过实时监控访客的行为来获取访客行为数据, 并经过数据采集, ETL 清洗, 指标数据分析汇总等处理后, 进而进行一系列的指标值实时展示, 实现各模块的 流量数据可视化, 为网站的模块及内容调整优化提供一系列的数据和指标.


2.技术架构: flume+kafka+spark+redis+hdfs+hive+mysql+sqoop


3.责任描述:


1) 使用 SparkStreaming 从 kafka 拉取数据并进行业务处理;


2) 使用 redis 进行数据缓存处理;


3) 使用 hive 进行离线数据分析, 并通过 sqoop 将数据导出至 MySql 中


二、本地宝综合日志管理*台


1.项目描述: 通过对上线的各个业务系统的运行情况进行日志内容监控, 并设置过滤筛选规则对内 容进行匹配, 当内容触发规则时, 进行分类匹配, 从而进行相应的告警信息周期性发送, 以 及时对问题及信息进行处理, 保证系统的运行情况能够被及时监控及掌握


2.技术架构: flume+kafka+spark+redis+mysql


3.责任描述:


1) 使用 flume 完成数据采集及下沉


2) 使用 spark 完成数据的规则匹配, 完成异常数据的处理


3) 部署 kafka 完成消息数据的中转


三、本地宝实时推荐系统


1.项目描述: 该系统基于用户的实时点击及历史行为两部分数据进行处理, 并生成页面各部分的内 容及广告推荐结果. 用户的实时点击主要利用 storm 进行数据的推荐处理, 历史行为数据通 过 hive 完成清洗后, 经过相应的算法进行计算后, 得出用户的推荐结果. 通过推荐引擎完成 两部分推荐结果的展示.


2.技术架构:hadoop+storm+mahout+mysql+redis+mysql


3.责任描述:


1)使用 hive 进行相应的数据清洗


2)使用 storm 进行数据的预处理


?


项目二


    项目名称:嘛雀电商网站分析系统系统架构:Nginx+Flume+Hadoop+Hive+Sqoop+MySQL+SSM项目描述:该项目是针对网站访问者各方面的信息来源进行各种形式的数据统计,从而根据这些统计方便网站管理者对网站的进行管理。该系统可进行:访问量统计分析、访问者统计分析、页面统计分析、流量统计分析、IP数量统计分析、会话数量统计分析、时间段统计等。该项目主要利用网站埋点技术,通过Nginx集成Lua进行自定义采集网站日志,通过Flume将采集到的数据进行预处理导入到搭建好的数据仓库中,使用Sqoop将分析好的数据导入到MySQL数据库中,用Echarts进行数据报表展示责任描述:1.搭建Flume采集数据服务器和Nginx服务器2.编写MapReduce程序对采集到的数据进行预处理3.用Hive进行业务指标的计算4.使用Sqoop将数据导入到MySQL中

?


项目二:2017/9?2018/1


项目名称:格力商城实时推荐系统


开发环境:IDEA+JDK+Maven


系统架构:Flume+Kafka+Zookeeper+SparkStreaming+Redis+Hbase+Echarts


项目描述:


为了增加公司产品销售额,提升用户体验,需要建立一个实时推荐系统,通过采集商城系统用户的浏览商品、关注商品、加入购物车商品、下订单商品、评论商品等行为日志来进行实时分析,最后推送给用户喜欢的商品。


使用Flume工具从商城系统的日志服务器上采集日志,采集数据下沉到Kafka,Kafka的数据有两个流向,一个流向HDFS存储,一个流向Spark通过Spark程序进行实时计算用户偏好,将计算好的数据存储到Redis和Hbase数据库记录用户的偏好值,然后通过推荐引擎将推荐商品结果展示在商城首页上给用户浏览购买。


责任描述 :


    利用Flume日志采集工具,把采集的数据存放到Kafka中;根据业务逻辑需求开发编写SparkStreaming代码,进行数据分析计算;设计数据库将计算用户的偏好值数据存储到Redis和Hbase

?


?


项目三:2017/1?2017/7


项目名称: 格力商城用户行为数据离线分析系统


开发环境:?IDEA+JDK+Maven


系统架构:?Flume+Kafka+Zookeeper+Hadoop+Redis+Hbase+Echarts+?Azkaban


项目描述:


商城首页产品TopN展示通过用户性别、年龄、地域、已经购买的产品以及访问网站商品页面点 ?击的行为日志数据,以及线下渠道反馈回来的产品销售订单数据,每个礼拜进行采集分析各个分类商品Top10,然后将这些热销、爆款、新品等产品展示在商城首页。


分析用户购买的产品订单数据指导新品研发生产:定期采集订单数据库数据,以及线下渠道反馈回来的产品销售订单数据,通过分析用户购买商品订单数据进行离线分析,计算出畅销产品清单,然后制定调整生产计划,缓解库存压力以及制定新品研发策略计划。


使用Flume采集商城服务器上户行为日志数据,将采集数据以及外部线下渠道返回的销售订单数据存储到HDFS文件系统,将数据进行结构化预处理,然后将清洗后的数据存储到Hive仓库中,通过HiveSql语句进行统计分析各个分类商品的点击购买量,同时分析商城分类商品的Top10,然后把分析结果存入Hive仓库中,使用Sqoop从Hive仓库将数据导入到MySQL数据库,最后通过数据展示管理*台展示。


责任描述 :


    协助搭建Flume采集数据服务器,把采集的数据存放到Kafka中;协助搭建Kafka、Redis、Hadoop集群环境(3台Kafka + 5台Hadoop);根据业务逻辑需求开发编写MapReduce代码,编写HiveSql语句,进行指标分析计算;

?


项目金融仓监管预警系统
????软件架构: Flume + Kafka + Spark+ Redis + Mysql


项目介绍


金融仓实时预警系统采用传感器,物联网,自动控制和计算机网络等技术实现了金融仓储过程监管的自动化、大 数据和智能化。该系统为金融仓储的风险把控提供了切实有效的解决方案,降低了银行信贷风险提高利润,项目模块 包括监控管理系统,业务管理系统,实时预警系统。


?


责任描述


负责开发实时预警系统模块,通过flume采集金融仓中标的物的各项指标,结合数据库、人工录入的信息, ETL填充入数据仓,通过spark实时处理数据,将满足触发条件的数据存入mysql,此模块集成了短信邮件功能, 便于对于报警信息及时处理


?


项目企业销售审计系统
????软件架构: Flume + Kafka + Hive+ Redis + hbase?+ Mysql + JavaScript+ Echars


项目介绍


由于经销店汽车销售业务竞争激烈,经销商各种违规操作层出不穷,其中利益牵涉广泛,传统的审计耗费人力 物力且收效甚微,开发该系统主要针对大型企业对于汽车销售业务的专项审计,收集企业数百万条销售数据,财务数 据,深挖深层的管理漏和风险。


数据来源主要是后台部门导出的原始直销数据和dol清单,财务部提供的报表,业务部门提供的手工统计信息等。通过数据的清洗分析找出存疑数据,将存疑数据导入数据库并推送至企业办公系统,便于核对和采集证据。


该系统同时通过对于销售周期的分析,统计出了客户在购车,保养,维修等各个环节的流失率,对于不同品牌车型的喜好程度,为企业优化业务流程提供了有力的参考。


?


责任描述


负责原始数据的清洗,Hivesql的编写。


参与部分数据分析工作。


?


项目质押物管理*台
????软件架构: Spring + SpringMVC+ MyBatis+ Mysql+ Easyui+Dubbox+Tomcat7.0


项目介绍


该*台是企业定制化线上管理*台,为金融仓储中存在的业务复杂问题,流程不规范问题,合同风险,处置风险等提供了综合性的解决方案。*台主要分为仓储物流模块、信息化办公模块、用户管理模块、风险预警模块等。


仓储物流模块主要包含仓库管理,物流运输,增值业务,设备管理等,风险预警模块主要是对各项业务指标进行扫描,及时发现问题并以邮件短信方式发出预警,同时记录日志。


责任描述


主要负责仓储模块中的仓库管理,包括对质押物的入库、出库、盘点、移库等,加入了RFID非接触式自动识别 技术实现了信息录入的便捷化,保证入库信息的真实性。


同时参与风险预警模块开发,负责预警短信邮件接口开发。


?


项目安信OA办公系统
????软件架构: Spring + SpringMVC+ MyBatis+ Mysql+ Easyui+Dubbox+Tomcat7.0


项目介绍


传统OA系统,主要有行政管理(公告发布,会议管理,通知管理,印章管理等),流程审批(申请发起,待办 申请,已办申请,进度查询,流程监控等),个人办公(待办业务,已办业务,业务管理,业务监控,日程管理,工 作日志),人力资源(人事,招聘,合同,考勤,工资,培训,薪酬等),文件共享,邮件中心,企业文化,系统设 置等模块


责任描述


负责开发个人办公和邮件中心模块,及相关技术文档的编写

相关推荐

最新更新

猜你喜欢