利用Azure Functions和k8s构建Serverless计算平台

题记:昨晚在一个技术社区直播分享了“利用Azure Functions和k8s构建Serverless计算平台”这一话题。整个分享分为4个部分:Serverless概念的介绍、Azure Functions的简单介绍、k8s和KEDA的介绍和最后的演示。

Serverless

Serverless其实包含了两种概念:BaaS(Backend as a Service)和FaaS(Function as a Service)。这次的分享主要针对的是FaaS概念。

FaaS的最大特征就是:无需管理自己的服务器或拥有自己的持续运行的服务应用的情况下运行后端代码。上面加粗的地方其实也揭示了FaaS和PaaS的本质区别:你为了运行后端代码,需不需要拥有一套持续运行的服务端完整应用(不管是WebSite还是Web API)。

另外,FaaS还拥有如下特征:

  • 可以使用任何语言,不需要针对特定框架和函数进行编码

  • 部署方式和传统系统有很大不同

  • 水平伸缩完全自动化、弹性,并由平台供应商管理

  • 函数通常由事件触发,部分平台供应商支持接收HTTP触发

当然判断什么东西不是FaaS也有一些标准:

  • 能否在20ms启动半秒执行完,根本区别在于伸缩性的方式

  • FaaS也可能依赖容器,但是和其他使用容器的应用区别在于伸缩性的自动化、透明和细度

  • 没有传统的Ops,但是应用本身运维过程还是需要,甚至更难(因为不同)

使用FaaS有其优缺点,这里就报喜不报忧,只列一下优点:

  • 降低运维成本

    • 基础设施共享

    • 减少基础设施维护人工成本

  • 降低伸缩成本

    • 按量付费:偶尔请求,流量忽高忽低

    • 优化代码即可省钱

  • 更易运维

    • 伸缩的好处利于降低运维难度

    • 降低打包和部署复杂度

    • 快速投入市场,持续优化

Azure Functions

以官方文档的介绍:Azure Functions 允许你运行小段代码(称为“函数”)且不需要担心应用程序基础结构。 借助 Azure Functions,云基础结构可以提供应用程序保持规模化运行所需的所有最新状态的服务器。函数由特定类型的事件“触发”。 支持的触发器包括对数据更改做出响应、对消息做出响应、按计划运行,或者生成 HTTP 请求的结果。虽然你始终可以直接针对大量服务编写代码,但使用绑定可以简化与其他服务的集成。 使用绑定,你能够以声明方式访问各种 Azure 服务和第三方服务。

Azure Functions包含如下功能:

  • 无服务器应用程序:使用 Functions,可在 Microsoft Azure 上开发无服务器应用程序。

  • 语言选择:使用所选的 C#、Java、JavaScript、Python 和 PowerShell 编写函数。

  • 按使用付费定价模型:仅为运行代码所用的时间付费。

  • 自带依赖项:Functions 支持 NuGet 和 NPM,允许你访问你喜欢的库。

  • 集成的安全性:使用 OAuth 提供程序(如 Azure Active Directory、Facebook、Google、Twitter 和 Microsoft 帐户)保护 HTTP 触发的函数。

  • 简化的集成:轻松与 Azure 服务和软件即服务 (SaaS) 产品/服务进行集成。

  • 灵活开发:直接在门户中编写函数代码,或者通过 GitHub、Azure DevOps Services 和其他受支持的开发工具设置持续集成和部署代码。

  • 有状态无服务器体系结构:使用 Durable Functions 协调无服务器应用程序。

  • 开放源代码:Functions 运行时是开源的,可在 GitHub 上找到。

大家看到了,Azure Functions虽然是来源于微软Azure的技术,但是是使用MIT协议开源的,且已经贡献给.NET Foundation

所以,你可以使用Azure Functions来搭建(甚至定制)自己的Serverless计算平台。开源的不仅是Azure Functions框架本身,还包括了命令行工具(可以支持本地调试)和VSCode的扩展。当然,开发工具除了前面两者,你还是可以使用宇宙第一的IDE:Visual Studio。

下面是相关开源的地址:

  • 框架:https://github.com/Azure/azure-functions-host

  • 命令行工具:https://github.com/Azure/azure-functions-core-tools

  • VSCode扩展:https://github.com/Microsoft/vscode-azurefunctions

只有开源的框架还不行,还需要运行环境,正如大部分开源FaaS框架一样,Azure Functions也把k8s作为运行环境。不过为了达到自动伸缩、不使用就不消耗资源的目标,还需要搭配其他中间件才能达到效果。

k8s和KEDA

众所周知,Kubernetes已经成为最主流的PaaS平台,各大公有云提供商都提供了k8s的服务,比如微软Azure上的AKS或者阿里云的ACK。

为了更好的理解为什么k8s可以作为Serverless完美的运行环境,是需要对如下概念有一些深入的理解的:

  • Pod和Deployment:Pod代表了运行函数的实例,而Deployment用于控制函数的实例数。

  • HPA(Horizontal Pod Autoscaler):k8s内置的水平Pod自动伸缩器,其基于一些度量指标(比如内存、CPU等)来对Deployment的Pod实例数进行伸缩。

  • Helm Charts:一个强大的打包、发布k8s应用的包管理器。我们开发好的函数在编译为Docker Image之后,可以用Helm Charts来打包(当然也可以直接用k8s的yaml文件)。

k8s虽然提供了HPA,但是它无法基于更灵活的事件源来进行伸缩,也无法把Pod的实例数缩到0,或者由0伸到1。这个时候,就需要另外一个开源项目KEDA出场了(贡献者来自微软、AWS等大公司,以及很多社区志愿者)。

KEDA:Kubernetes Event-driven Autoscaling。项目地址在:https://github.com/kedacore/keda。其具有如下特点:

  • 事件驱动

  • 轻而易举实现自动伸缩

  • 内置伸缩器

  • 多种负载类型

  • 社区开源项目

  • 支持Azure Functions

KEDA的架构如下图所示:从这个架构图,我们看到KEDA包含了3个组件,Metric Adapter给k8s的HPA提供度量指标让其进行1-n/n-1的伸缩,Controller控制Pod进行1-0/0-1的伸缩,Scaler侦听配置的触发器所触发的事件。

且支持的伸缩器涵盖了大部分主流云组件或中间件:

  • Apache Kafka

  • AWS CloudWatch

  • AWS Kinesis Stream

  • AWS SQS Queue

  • Azure Blob Storage

  • Azure Event Hubs

  • Azure Monitor

  • Azure Service Bus

  • Azure Storage Queue

  • External

  • GCP Pub/Sub

  • Huawei Cloudeye

  • Liiklus Topic

  • MySQL

  • NATS Streaming

  • PostgreSQL

  • Prometheus

  • RabbitMQ Queue

  • Redis List

演示

既然Azure Functions是开源技术,为了验证技术中立性,在演示过程中特意选择了阿里云的ACK作为运行环境(Kubernetes托管版),并使用RabbitMQ作为伸缩触发器。

同时,我们采用C#/.NET Core来作为函数的开发语言。为什么用这个选择,是因为有第三方对AWS Lambda上的支持的语言进行了性能测试,得到的结论是.NET Core的C#和F#语言性能最高:来源:https://read.acloud.guru/comparing-aws-lambda-performance-of-node-js-python-java-c-and-go-29c1163c2581

环境准备

首先,需要到阿里云上创建一个k8s集群,创建的选项截图如下:

通过如下命令来部署KEDA到k8s:

helm repo add kedacore https://kedacore.github.io/charts
kubectl create namespace keda
helm install keda kedacore/keda --namespace keda

通过如下命令来部署RabbitMQ到k8s:

helm repo add bitnami https://charts.bitnami.com/bitnami
helm install rabbitmq --set rabbitmq.password=PASSWORD,service.type=LoadBalancer bitnami/rabbitmq

这里需要注意(当然也可能是我打开方式不对),阿里云的ACK不能自动创建pv,所以rabbitmq部署后会有问题,所以需要到阿里云的ACK的控制面板里面手动创建pv,并重建rabbitmq所需的同名pvc。

创建Azure Functions项目

访问:https://github.com/Azure/azure-functions-core-tools,安装命令行工具。

在命令行中输入:

func init --docker

来初始化一个带有Dockerfile的Azure Functions项目,worker runtime选择dotnet。

在命令行中输入:

func function create

来创建一个函数,template选择QueueTrigger,输入你想要的函数名称。

使用你喜欢的编辑器(比如VSCode)打开项目文件夹,修改csproj文件中的PackageReference为如下内容:

<ItemGroup><PackageReference Include="Microsoft.NET.Sdk.Functions" Version="3.0.3" /><PackageReference Include="Microsoft.Azure.WebJobs.Extensions.RabbitMQ" Version="0.2.2029-beta" />
</ItemGroup>

修改函数代码为如下内容:

[FunctionName("MyMqFunction")]
public static void Run([RabbitMQTrigger("queue", ConnectionStringSetting = "RabbitMqConnection")] string inputMessage,[RabbitMQ(QueueName = "downstream", ConnectionStringSetting = "RabbitMqConnection")] out string outputMessage,ILogger log)
{Thread.Sleep(5000);outputMessage = inputMessage;log.LogInformation($"RabittMQ output binding function sent message: {outputMessage}");
}

这个函数从一个名为”queue“的队列中读取inputMessage,延迟5秒后,把消息存储到名为”downstream"的队列中。

打开local.settings.json文件,在Values节点下添加RabbitMqConnection:

"Values": {"AzureWebJobsStorage": "UseDevelopmentStorage=true","FUNCTIONS_WORKER_RUNTIME": "dotnet","RabbitMqConnection":"amqp://user:PASSWORD@rabbitmq.default.svc.cluster.local:5672"
},

这里RabbitMQ的地址使用了k8s内部的默认Service地址,为了方便本地调试,你可以获取到RabbitMQ在k8s的公网IP后,给这个域名添加host配置。

在命令行中输入:

func start

就可以进行本地调试了。调试无误,就可以进行发布到k8s的工作了。

以上示例代码可以在这里找到:https://github.com/heavenwing/AzFuncOnK8S

发布函数到k8s并验证伸缩能力

考虑到我用的阿里云拉取Docker Hub比较慢,所以我是编译出Docker Image后,push到了阿里云的镜像仓库当中。另外,我这里还遇到一个问题,就是能在AKS中正常运行的Docker Image在ACK中无法正常运行,出现"Access to the path '/proc/1/map_files' is denied"的错误,我的临时解决办法是修改Dockerfile文件,添加WORKDIR命令。

在把Docker Image推送到镜像仓库后,可以在命令行中输入:

func kubernetes deploy --name azfunconk8s --image-name registry.cn-chengdu.aliyuncs.com/zygcloud/azfunconk8s:latest --dry-run > deploy-funcs.yaml

得到部署的yaml文件后,我们需要对ScaledObject进行一点修改,为rabbitmq的trigger配置添加queueLength,根据需要配置maxReplicaCount属性,如下所示:

apiVersion: keda.k8s.io/v1alpha1
kind: ScaledObject
metadata:name: azfunconk8snamespace: defaultlabels:deploymentName: azfunconk8s
spec:scaleTargetRef:deploymentName: azfunconk8smaxReplicaCount: 20triggers:- type: rabbitmqmetadata:type: rabbitMQTriggerqueueName: queuename: inputMessagehost: RabbitMqConnectionqueueLength: "20"

现在就可以把函数部署到k8s了,在命令行中输入:

kubectl apply -f .\deploy\deploy-funcs.yaml

这个时候应该可以看到k8s出现了名为azfunconk8s的Deployment,且需要实例和运行实例数都是为0:

另外写一个小程序,往RabbitMQ的queue队列里面放一些测试消息,经过30秒(默认pollingInterval时间)那么就会看到这个Deployment的所需实例数在提高,一直提高到你设置的maxReplicaCount。等队列中的消息处理完成,又会看到所需实例数在降低,等没有消息需要处理之后过上5分钟(默认cooldownPeriod时间),所需实例数就会变为0。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/309211.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java格式化输出

Java还提供了格式化输出的功能。为什么要格式化输出&#xff1f;因为计算机表示的数据不一定适合人来阅读。 如果要把数据显示成我们期望的格式&#xff0c;就需要使用格式化输出的功能。格式化输出使用System.out.printf()&#xff0c;通过使用占位符%?&#xff0c;printf()…

基于 abp vNext 和 .NET Core 开发博客项目 - 终结篇之发布项目

系列文章使用 abp cli 搭建项目给项目瘦身&#xff0c;让它跑起来完善与美化&#xff0c;Swagger登场数据访问和代码优先自定义仓储之增删改查统一规范API&#xff0c;包装返回模型再说Swagger&#xff0c;分组、描述、小绿锁接入GitHub&#xff0c;用JWT保护你的API异常处理和…

并发协作模型“生产者/消费者模式“

java提供了几个方法解决线程之间的通信问题 方法名作用wait()表示线程一直等待&#xff0c;直到其他线程通知&#xff0c;与sleep不同&#xff0c;会释放锁wait(long timeout)指定等待的毫秒数notify唤醒一个处于等待状态的线程notifyAll()唤醒同一个对象上所有调用wait()方法…

使用线程池

JDk5.0起提供了线程池相关的API&#xff1a;ExecutorService和ExecutorsExectorService&#xff1a;真正的线程池接口。常见的子类ThreadPoolExecutor void execute(Runnable command):执行任务/命令&#xff0c;没有返回值&#xff0c;一般用来执行RunnableFuturesubmit(Calla…

对 JsonConvert 的认识太肤浅了,终于还是遇到了问题

一&#xff1a;背景1. 讲故事在开始本文之前&#xff0c;真的好想做个问卷调查&#xff0c;到底有多少人和我一样&#xff0c;对 JsonConvert 的认识只局限在 SerializeObject 和 DeserializeObject 这两个方法上(┬&#xff3f;┬), 这样我也好结伴同行&#xff0c;不再孤单落…

Java继承-子类不可以继承父类的构造方法

子类不可以继承父类的构造方法&#xff0c;只可以调用父类的构造方法。 子类中所有的构造函数都会默认访问父类中的空参数构造函数&#xff0c;这是因为子类的构造函数内第一行都有默认的super&#xff08;&#xff09;语句。 super&#xff08;&#xff09;表示子类在初始化…

.Net微服务实战之DevOps篇

技术只是基础该系列的两篇文章《.Net微服务实战之技术选型篇》和《.Net微服务实战之技术架构分层篇》都是以技术角度出发描述微服务架构的实施。如果技术选型篇叙述的是工具&#xff0c;那么架构分层篇讲的就是技巧&#xff0c;而本篇要讨论的就是原则。一直以来我会给身边向我…

阿里云挑战赛

文章目录第一题题目&#xff1a;题解&#xff1a;第二题题目题解第三题题目题解第四题题目&#xff1a;题解第五题题目题解第六题题目题解第七题题目&#xff1a;题解第八题题目&#xff1a;题解;题解赛后出第一题 题目&#xff1a; 【单选】filter 方法意图过滤传入的订单列…

使用C#编写STM32对接物联网平台IoTSharp发送遥测数据

在之前的文章中&#xff0c; 我们阐述了如何用C#在STM32上写第一个Hello world &#xff0c; 有朋友抱怨国内介绍文章&#xff0c; 都是一个 Hello world &#xff0c; 然后再也没有音讯&#xff0c; 写到这里我想提一下我的初心&#xff0c; 那就是告诉所有人C#无所不能&…

JavaMVC之JSON

JSON 8.1、什么是JSON&#xff1f; JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式&#xff0c;目前使用特别广泛。采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。易于人阅读和编写…

Java源文件声明规则

源文件声明规则: 当在一个源文件中定义多个类&#xff0c;并且还有import语句和package语句时&#xff0c;要特别注意这些规则。 一个源文件中只能有一个 public 类 一个源文件可以有多个非 public 类 源文件的名称应该和 public 类的类名保持一致。例如&#xff1a;源文件中…

Java内置数据类型

内置数据类型 Java语言提供了八种基本类型。六种数字类型&#xff08;四个整数型&#xff0c;两个浮点型&#xff09;&#xff0c;一种字符类型&#xff0c;还有一种布尔型。 byte&#xff1a; byte 数据类型是8位、有符号的&#xff0c;以二进制补码表示的整数&#xff1b; …

龙芯团队完成CoreCLR MIPS64移植,在github开源

国产龙芯的软件生态之中.NET不会缺席&#xff0c;毕竟 C# 与 .NetCore/Mono 也是全球几大主流的编程语言和运行平台之一&#xff0c;最近一段时间听到太多的鼓吹政务领域不支持.NET&#xff0c; 大家都明白这是某些人为了自己的利益打压使用.NET技术的公司&#xff0c;我今天写…

alibaba实习生代码大赛

文章目录题目Explanation代码&#xff08;此代码排名13&#xff0c;前十名有奖233333&#xff09;结果题目 在一个风雨交加的周末下午&#xff0c;大部分人都很不开心&#xff0c;因为出行不变&#xff0c;计划的娱乐活动都取消了&#xff0c;但菜鸟快递员小王却异常高兴&…

Java自动类型转换和强制类型转换(隐含)

自动类型转换 整型、实型&#xff08;常量&#xff09;、字符型数据可以混合运算。 运算中&#xff0c;不同类型的数据先转化为同一类型&#xff0c;然后进行运算。 转换从低级到高级。 低 ------------------------------------> 高 byte,short,char—> int —> …

来谈一谈专注力的真相

这是头哥侃码的第205篇原创在日常生活&#xff08;或工作&#xff09;中&#xff0c;你有没有遇上过这样的情况&#xff1f;比如你正在跟小伙伴讨论一个技术方案&#xff0c;聊着聊着&#xff0c;突然小A脑袋一抽筋&#xff0c;问你&#xff1a;“老大&#xff0c;咱们这周五晚…

成功陷阱有感

分享一下看到的关于成功陷阱的段落&#xff0c;关于成功陷阱&#xff0c;主要是最近面试字节跳动时&#xff0c;面试官向我推荐的&#xff0c;虽然也没有找到名叫《成功陷阱》的书&#xff08;后来发现书名应该是叫《能力陷阱》&#xff09;&#xff0c;但看了一些文章 最近听了…

Java访问控制修饰符

访问控制修饰符 Java中&#xff0c;可以使用访问控制符来保护对类、变量、方法和构造方法的访问。 Java 支持 4 种不同的访问权限。 default (即默认&#xff0c;什么也不写&#xff09;: 在同一包内可见&#xff0c;不使用任何修饰符。 使用对象&#xff1a;类、接口、变量…

数据结构与算法专题——第三题 最长公共子序列

一&#xff1a;作用最长公共子序列的问题常用于解决字符串的相似度&#xff0c;是一个非常实用的算法&#xff0c;作为码农&#xff0c;此算法是我们的必备基本功。二&#xff1a;概念举个例子&#xff0c;cnblogs这个字符串中子序列有多少个呢&#xff1f;很显然有27个&#x…