045 介绍UDF，以及完成大小写的转换

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

一：概述

1.UDF

用户自定义函数，用java实现自定义的需求

User Defined Function-----UDF。

2.UDF的类型

udf：一进一出

udaf：多进一出

udtf：一进多出

3.udf的实现步骤

继承UDF类

实现evaluate的方法

所有的方法都必须有返回值

推荐使用Text，LongWritable等类型

二：配置准备

1.导入新的包括hive的jar包

需要新的本地repository库。

然后在eclipse中选择更新。

在windows下新建maven工程。

2.修改pom.xml中的依赖，

主要是增加hive的依赖，当然hadoop依赖必须有。

 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

   <modelVersion>4.0.0</modelVersion>

   <groupId>com.cj.it</groupId>

   <artifactId>hiveUdf</artifactId>

   <version>0.0.1-SNAPSHOT</version>

   <packaging>jar</packaging>

   <name>hiveUdf</name>

   <url>http://maven.apache.org</url>

   <properties>

     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

   </properties>

   <dependencies>

       <dependency>

           <groupId>org.apache.hadoop</groupId>

           <artifactId>hadoop-client</artifactId>

           <version>2.5.0</version>

       </dependency>

       <dependency>

           <groupId>org.apache.hive</groupId>

           <artifactId>hive-exec</artifactId>

           <version>0.13.1</version>

       </dependency>

       <dependency>

           <groupId>org.apache.hive</groupId>

           <artifactId>hive-jdbc</artifactId>

           <version>0.13.1</version>

       </dependency>

     <dependency>

       <groupId>junit</groupId>

       <artifactId>junit</artifactId>

       <version>4.10</version>

       <scope>test</scope>

     </dependency>

   </dependencies>

 </project>

三：程序完成

1.需求

大小写的转换

0：表示转换为小写

1：表示转换为大写

默认是转换为小写

2.程序讲解

3.源代码

 package com.cj.it.hiveUdf;

 import org.apache.hadoop.hive.ql.exec.UDF;

 import org.apache.hadoop.io.IntWritable;

 import org.apache.hadoop.io.Text;

 public class UdfTest extends UDF {

     public Text evaluate(Text str) {

         return evaluate(str, new IntWritable(0));

     }

     public Text evaluate(Text str, IntWritable flag) {

         if (str != null) {

             if (flag.get() == 0) {

                 return new Text(str.toString().toLowerCase());

             }

             if (flag.get() == 1) {

                 return new Text(str.toString().toUpperCase());

             }

             return null;

         }

         return null;

     }

     public static void main(String[] args) {

         System.out.println(new UdfTest().evaluate(new Text("asssf"), new IntWritable(1)));

     }

 }