如何使用Dataphin助力高效业务研发

  • 时间:
  • 浏览:1
  • 来源:大发5分6合_大发5分6合官方

1、在Shell任务中,支持自定义分配资源,调度的CPU、内存都都可以买车人写入,力求保障任务稳定高效调度!

示例1:咋样在Dataphin中优雅的调用Python功能包?

1、 新建资源文件

资源管理中新建资源,选者类型为Python,填写名称、描述,上传对应的资源包,选者目录后,单击提交。这里新建资源文件名称定为“test.py”。

其中前三行为固定一段话,其中”MyPlus”可自定义命名。MyPlus类里定义的措施 名需用为“evaluate”。@annotate的string代表定义的函数填入的数据类型,bigint代表输出值的数据类型(应用时,输入与输出数据的字段类型不同,需用在文件中增加转换一段话,但会 报错)。

还在为各种开发和运维需求苦恼吗?同学,好日子来了!Dataphin·通用研发助力高效业务研发,开发、测试、运维一站式甩掉!

2、Python文件语法规范

不可能 Python UDF需用通过annotate指定函数签名才可使用,且需用实现evaluate措施 。新建的Python资源内固定语法如下:

2、一起去,都可以给任务设置调度优先级,保障高优先级的任务调度不受影响。

为什么我么我会 样!Dataphin的通用研发功能是都是很吸引人呢!这还可是我 强大功能的一小主次呢,快来亲自体验一下吧,效果超乎你想象!

示例2:咋样在Dataphin中给任务排优先级,保障高优先级的任务的资源充裕不受影响?

3、新建函数引用该新建资源

函数管理中新建函数,填写名称,选者对应的资源(这里为test.py),填入类名、类型、命名格式、使用文档、选者目录后,单击提交。这里新建资源文件名称定为“test_function”。

————————————————————

阿里巴巴数据中台团队,致力于输出阿里云数据智能的最佳实践,助力每个企业建设买车人的数据中台,进而一起去实现新时代下的智能商业!

阿里巴巴数据中台出理 方案,核心产品:

· Dataphin,以阿里巴巴大数据核心措施 论OneData为内核驱动,提供一站式数据构建与管理能力;

· Quick BI,集阿里巴巴数据分析经验沉淀,提供一站式数据分析与展现能力;

· Quick Audience,集阿里巴巴消费者洞察及营销经验,提供一站式人群圈选、洞察及营销投放能力,连接阿里巴巴商业,实现用户增长。

欢迎志同道合者一起去成长! 更多内容详见数据中台官网 https://dp.alibaba.com

作者:彭静 更多内容详见数据中台官网 https://dp.alibaba.com

导语:Dataphin·通用研发-实时&离线技能介绍

随着企业业务的不断扩展,任务管理器员GG们通常会遇到老板提出的各种各样的需求--

• 老板A:“一点任务的计算逻辑比较僵化 ,但会 结果我能 快速拿到,排个最高优先级吧。“

• 老板B:“你一点任务非常重要,上线前一天先把测试文档给我写一份看看,要保证上线的任务绝对正确!”

• 老板C:“脚本写完了要定期运维啊,还需用做到定时触发,我明天早上9点要准时看多数据!“

朋友儿支持用户自定义UDX引入函数功能,支持Jar、Py、Files等多种资源包类型,任务管理器员GG们都可以轻松实现函数资源的管理、复用、引用,让僵化 任务简单化!朋友儿支持的离线脚本形式包括:SQL、MR、Spark、Shell、Python、Virtua;一起去朋友儿还支持实时脚本Flink_SQL以及Flink_Template_SQL



——————————————————————————————————————————————

Dataphin支持充裕的脚本价值形式

僵化 任务不可能 会涉及到多层业务逻辑,都是调取到一点函数功能、资源包等,纯SQL模式下几千行代码,在Dataphin中通通僵化 !

4、验证该函数与非 生效且满足预期,您都可以新建SQL任务,执行该函数进行查询。示相似下: