051 日志案例分析(PV,UV),以及动态分区

news/2024/7/7 21:25:01

1.实现的流程

  需求分析

    时间:日,时段

    分区表:两级

    PV

    UV

  数据清洗

    2015-08-28 18:19:10

    字段:id,url,guid,tracktime

  数据分析

  导出

2.新建源数据库

  

 

3.新建表

  

 

4.加载原始数据

  

5.查看部分结果

  

 

6.建立清洗数据表(方便下面的分区表的建立)

  

  

 

7.为清洗表加载数据

  

8.展示部分清洗过后的数据

  

 

9.建立分区表

  

 

10.加载数据

  

 

11.展示部分结果

  

 

二:动态分区表的建立

12.动态分区的配置修改 

  <property>
    <name>hive.exec.dynamic.partition</name>
    <value>true</value>      ---》》默认是true,不需要再修改
    <description>Whether or not to allow dynamic partitions in DML/DDL.</description>
  </property>

  <property>
    <name>hive.exec.dynamic.partition.mode</name>
    <value>nonstrict</value>
  </property>

  

 

13.新建分区表

  

 

14.加载数据

  

 

15.查看部分结果

  

 

 

三:数据分析,实现需求

16.实现需求

  

 

17.把结果存入result中

  

 

17.导出数据进入mysql

  1.新建表

  

  2.整体输出结果

  

  3.查看结果(mysql中)

  

 

 

 

 

 

 

  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  

 


http://lihuaxi.xjx100.cn/news/243526.html

相关文章

自制绘图之坐标轴

写代码之前得先了解坐标轴的一些属性&#xff0c;坐标轴有范围&#xff0c;每隔多少显示一条数值信息。然而间隔信息有时并不确定&#xff0c;一旦设置不准确&#xff0c;图形会乱掉。最好的方法是使用另一个参数&#xff1a;分隔符总数。这样可以利用坐标范围计算出间隔。 首先…

Java培训好不好?零基础可以学吗?

5g时代的来临&#xff0c;越来越多的人开启智能时代&#xff0c;互联网行业的发展速度越来越快&#xff0c;高薪行业一直受到很多人的关注&#xff0c;尤其是java这一块&#xff0c;很多人都想学习&#xff0c;那么参加Java培训好不好?零基础可以学吗? Java培训好不好?零基础…

史上最全的“大数据”学习资源

2019独角兽企业重金招聘Python工程师标准>>> 资源列表&#xff1a; 关系数据库管理系统&#xff08;RDBMS&#xff09; 框架 分布式编程 分布式文件系统 文件数据模型 Key -Map 数据模型 键-值数据模型 图形数据模型 NewSQL数据库 列式数据库 时间序列数据…

《Linux内核设计与实现》读书笔记 第三章 进程管理

第三章进程管理 进程是Unix操作系统抽象概念中最基本的一种。我们拥有操作系统就是为了运行用户程序&#xff0c;因此&#xff0c;进程管理就是所有操作系统的心脏所在。 3.1进程 概念&#xff1a; 进程&#xff1a;处于执行期的程序。但不仅局限于程序&#xff0c;还包含其他资…

SDK开发日积月累(二)

WM_NOTIFY消息和WM_COMMAND消息在一个对话框中&#xff0c;子控件可以有两种方式与父对话框通信。1.向父对话框发送WM_COMMAND消息&#xff0c;但这种消息传递的信息量比较少。2.向父对话框发送WM_NOTIFY消息&#xff0c;信息量比较大。idCtrl (int) wParam; pnmh (LPNMHDR) …

零基础学习Java培训有什么攻略

零基础学习Java培训有什么攻略?java是主流编程语言之一&#xff0c;我们在学习Java的时候需要制定Java学习路线图&#xff0c;Java涉及到的知识点非常的多&#xff0c;我们该从何学起呢?怎么系统的学习呢?来看看下面的详细介绍。 一、Java学习阶段 将Java学习过程分为3个阶段…

笔试算法题(58):二分查找树性能分析(Binary Search Tree Performance Analysis)

议题&#xff1a;二分查找树性能分析&#xff08;Binary Search Tree Performance Analysis&#xff09; 分析&#xff1a; 二叉搜索树&#xff08;Binary Search Tree&#xff0c;BST&#xff09;是一颗典型的二叉树&#xff0c;同时任何节点的键值大于等于该节点左子树中的所…

深入理解Java内存模型(四)——volatile

2019独角兽企业重金招聘Python工程师标准>>> volatile的特性 当我们声明共享变量为volatile后&#xff0c;对这个变量的读/写将会很特别。理解volatile特性的一个好方法是&#xff1a;把对volatile变量的单个读/写&#xff0c;看成是使用同一个锁对这些单个读/写操作…