HIVE-用户自定义函数
HIVE-用户自定义函数
HIVE-用户自定义函数
前言
更多往期文章请查看
大数据学习目录
当 Hive 提供的内置函数无法满足实际的业务处理需要时，可以考虑使用用户自定义
函数进行扩展。用户自定义函数分为以下三类：
UDF（User Defined Function）。用户自定义函数，一进一出
UDAF（User Defined Aggregation Function）。用户自定义聚集函数，多进一出；类似于：count/max/min
UDTF（User Defined Table-Generating Functions）。用户自定义表生成函
数，一进多出；类似于：explode
UDF 开发
继承org.apache.hadoop.hive.ql.exec.UDF
需要实现evaluate函数；evaluate函数支持重载
UDF必须要有返回类型，可以返回null，但是返回类型不能为void
UDF开发步骤
创建maven java 工程，添加依赖
开发java类继承UDF，实现evaluate 方法
将项目打包上传服务器
添加开发的jar包
设置函数与自定义函数关联
使用自定义函数
需求：扩展系统 nvl 函数功能：
nvl(ename, “OK”): enamenull => 返回第二个参数
nvl(ename, “OK”):enamenull or ename=="" or ename==" " => 返回第二个参数
创建maven java 工程，添加依赖
<!-- pom.xml 文件 -->
<dependencies>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>2.3.7</version>
</dependency>
</dependencies>
1
2
3
4
5
6
7
8
代码
package com.adou.udf.hive;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
/**
* @author: yehw
* @date: 2021/4/25 下午9:03
* @description: 自定义函数nvl
*/
public class nvl extends UDF {
public Text evaluate(final Text t, final Text x) {
if (t == null || t.toString().trim().length() == 0) {
return x;
}
return t;
}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
打包
把jar包上传到/opt/data/目录下
添加开发的jar包（在Hive命令行中）
add jar /opt/data/hive_demo-1.0-SNAPSHOT.jar;
1
创建临时函数。指定类名一定要完整的路径，即包名加类名
create temporary function mynvl as "com.adou.udf.hive.nvl";
1
执行查询
--基本功能还有
select mynvl(comm, 0) from mydb.emp;
1
2
--测试扩充的功能
select mynvl("", "OK");
select mynvl(" ", "OK");
1
2
3
退出Hive命令行，再进入Hive命令行
执行步骤6的测试，发现函数失效。
备注：创建临时函数每次进入Hive命令行时，都必须执行以下语句，很不方便：
add jar /opt/data/hive_demo-1.0-SNAPSHOT.jar;
create temporary function mynvl as "com.adou.udf.hive.nvl";
1
2
3
可创建永久函数：
1、将jar上传HDFS
hdfs dfs -put hive_demo-1.0-SNAPSHOT.jar jar/
1
先在hdfs创建/user/root/jar目录
在Hive命令行中创建永久函数
create function mynvl1 as 'com.adou.udf.hive.nvl' using jar 'hdfs:/user/root/jar/hive_demo-1.0-SNAPSHOT.jar';
1
查询所有的函数，发现 mynvl在列表中
show functions;
1
退出Hive，再进入，执行测试
————————————————
版权声明：本文为CSDN博主「没有眉毛的阿斗叶」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_43957143/article/details/116138104