自定義表生成函數表生成函數概述自定義表生成函數使用自定義表生成函數01

表生成函數概述表生成函數概述UDTF，是UserDefinedTable-GeneratingFunctions，一眼看上去，貌似是用戶自定義生成表函數，這個生成表不應該理解為生成了一個HQLTable，貌似更應該理解為生成了類似關系表的二維行數據集。

什么是UDTF表生成函數概述繼承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF。實現initialize,process,close三個方法如何實現UDTFUDTF首先會調用initialize方法，此方法返回UDTF的返回行的信息（返回個數，類型）。初始化完成后，會調用process方法，對傳入的參數進行處理，可以通過forword()方法把結果返回。最后close()方法調用，對需要清理的方法進行清理。02

自定義表生成函數自定義表生成函數實現代碼：public

class

ExplodeMap

extends

GenericUDTF

{//進行清理

@Override

public

void

close()

throws

HiveException

{

//

TODO

Auto-generated

method

stub

}

//initialize,process方法｝

自定義表生成函數

@Override

public

StructObjectInspector

initialize(ObjectInspector[]

args)

throws

UDFArgumentException

{

if

(args.length

!=

1)

{

throw

new

UDFArgumentLengthException("ExplodeMap

takes

only

one

argument");

}

if

(args[0].getCategory()

!=

ObjectInspector.Category.PRIMITIVE)

{

throw

new

UDFArgumentException("ExplodeMap

takes

string

as

a

parameter");

}

自定義表生成函數

ArrayList<String>

fieldNames

=

new

ArrayList<String>();

ArrayList<ObjectInspector>

fieldOIs

=

new

ArrayList<ObjectInspector>();

fieldNames.add("col1");

fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

fieldNames.add("col2");

fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

return

ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames,

fieldOIs);

}

自定義表生成函數

public

void

process(Object[]

args)

throws

HiveException

{

String

input

=

args[0].toString();

String[]

test

=

input.split(";");

for

(int

i

=

0;

i

<

test.length;

i++)

{

try

{

String[]

result

=

test[i].split(":");

forward(result);

}

catch

(Exception

e)

{

continue;

}

}

}

03

使用自定義表生成函數使用UDTF函數1、在select中使用UDTF：select

explode_map(properties)

as

(col1,col2)

from

my_table

不可以添加其他字段使用：selecta,explode_map(properties)as(col1,col2)frommy_table不可以嵌套調用：selectexplode_map(explode_map(properties))frommy_table不可以和groupby/clusterby/distributeby/sortby一起使用：selectexplode_map(properties)as(col1,col2)fromsrcgroupbycol1,col2使用UDTF函數2、結合lateralview使用select

src.id,

mytable.col1,

mytable.col2

from

src

lateral

view

e