ZKWeb网站框架的动态编译的实现原理

ZKWeb网站框架是一个自主开发的网页框架，实现了动态插件和自动编译功能。
ZKWeb把一个文件夹当成是一个插件，无需使用csproj或xproj等形式的项目文件管理，并且支持修改插件代码后自动重新编译加载。

下面将说明ZKWeb如何实现这个功能，您也可以参考下面的代码和流程在自己的项目中实现。
ZKWeb的开源协议是MIT，有需要的代码可以直接搬，不需要担心协议问题。

实现动态编译依赖的主要技术

编译: Roslyn Compiler
Roslyn是微软提供的开源的c# 6.0编译工具，可以通过Roslyn来支持自宿主编译功能。
要使用Roslyn可以安装nuget包Microsoft.CodeAnalysis.CSharp。
微软还提供了更简单的Microsoft.CodeAnalysis.CSharp.Scripting包，这个包只需简单几行就能实现c#的动态脚本。

加载dll: System.Runtime.Loader
在.Net Framework中动态加载一个dll程序集可以使用Assembly.LoadFile，但是在.Net Core中这个函数被移除了。
微软为.Net Core提供了一套全新的程序集管理机制，要求使用AssemblyLoadContext来加载程序集。
遗憾的是我还没有找到微软官方关于这方面的说明。

生成pdb: Microsoft.DiaSymReader.Native, Microsoft.DiaSymReader.PortablePdb
为了支持调试编译出来的程序集，还需要生成pdb调试文件。
在.Net Core中，Roslyn并不包含生成pdb的功能，还需要安装Microsoft.DiaSymReader.Native和Microsoft.DiaSymReader.PortablePdb才能支持生成pdb文件。
安装了这个包以后Roslyn会自动识别并使用。

实现动态编译插件系统的流程

在ZKWeb框架中，插件是一个文件夹，网站的配置文件中的插件列表就是文件夹的列表。
在网站启动时，会查找每个文件夹下的*.cs文件对比文件列表和修改时间是否与上次编译的不同，如果不同则重新编译该文件夹下的代码。
网站启动后，会监视*.cs和*.dll文件是否有变化，如果有变化则重新启动网站以重新编译。
ZKWeb的插件文件夹结构如下

插件文件夹
- net: .Net Framework编译的程序集
- netstandard: .Net Core编译的程序集
- 插件名称.dll: 编译出来的程序集
- 插件名称.pdb: 调试文件
- CompileInfo.txt: 储存了文件列表和修改时间
- 同net文件夹下的内容
- bin：程序集文件夹
- src 源代码文件夹
- static 静态文件的文件夹
- 其他文件夹……

通过Roslyn编译代码文件到程序集dll

在网站启动时，插件管理器在得到插件文件夹列表后会使用Directory.EnumerateFiles递归查找该文件夹下的所有*.cs文件。
在得到这些代码文件路径后，我们就可以传给Roslyn让它编译出dll程序集。
ZKWeb调用Roslyn编译的完整代码可以查看这里，下面说明编译的流程：

首先调用CSharpSyntaxTree.ParseText来解析代码列表到语法树列表，我们可以从源代码列表得出List<SyntaxTree>。
parseOptions是解析选项，ZKWeb会在.Net Core编译时定义NETCORE标记，这样插件代码中可以使用#if NETCORE来定义.Net Core专用的处理。
path是文件路径，必须传入文件路径才能调试生成出来的程序集，否则即使生成了pdb也不能捕捉断点。

// Parse source files into syntax trees// Also define NETCORE for .Net Corevar parseOptions = CSharpParseOptions.Default;#if NETCOREparseOptions = parseOptions.WithPreprocessorSymbols("NETCORE");#endifvar syntaxTrees = sourceFiles.Select(path => CSharpSyntaxTree.ParseText(File.ReadAllText(path), parseOptions, path, Encoding.UTF8))
.ToList();

接下来需要分析代码中的using来找出代码依赖了哪些程序集，并逐一载入这些程序集。
例如遇到using System.Threading;会尝试载入System和System.Threading程序集。

// Find all using directive and load the namespace as assembly// It's for resolve assembly dependencies of pluginLoadAssembliesFromUsings(syntaxTrees);

LoadAssembliesFromUsings的代码如下，虽然比较长但是逻辑并不复杂。
关于IAssemblyLoader将在后面阐述，这里只需要知道它可以按名称载入程序集。

/// <summary>/// Find all using directive/// And try to load the namespace as assembly/// </summary>/// <param name="syntaxTrees">Syntax trees</param>protected void LoadAssembliesFromUsings(IList<SyntaxTree> syntaxTrees) {    // Find all using directivevar assemblyLoader = Application.Ioc.Resolve<IAssemblyLoader>();    foreach (var tree in syntaxTrees) {        foreach (var usingSyntax in ((CompilationUnitSyntax)tree.GetRoot()).Usings) {            var name = usingSyntax.Name;            var names = new List<string>();            while (name != null) {                // The type is "IdentifierNameSyntax" if it's single identifier// eg: System// The type is "QualifiedNameSyntax" if it's contains more than one identifier// eg: System.Threadingif (name is QualifiedNameSyntax) {                    var qualifiedName = (QualifiedNameSyntax)name;                    var identifierName = (IdentifierNameSyntax)qualifiedName.Right;names.Add(identifierName.Identifier.Text);name = qualifiedName.Left;} else if (name is IdentifierNameSyntax) {                    var identifierName = (IdentifierNameSyntax)name;names.Add(identifierName.Identifier.Text);name = null;}}            if (names.Contains("src")) {                // Ignore if it looks like a namespace from plugin continue;}names.Reverse();            for (int c = 1; c <= names.Count; ++c) {                // Try to load the namespace as assembly// eg: will try "System" and "System.Threading" from "System.Threading"var usingName = string.Join(".", names.Take(c));                if (LoadedNamespaces.Contains(usingName)) {                    continue;}                try {assemblyLoader.Load(usingName);} catch {}LoadedNamespaces.Add(usingName);}}}
}

经过上面这一步后，代码依赖的所有程序集应该都载入到当前进程中了，
我们需要找出这些程序集并且传给Roslyn，在编译代码时引用这些程序集文件。
下面的代码生成了一个List<PortableExecutableReference>对象。

// Add loaded assemblies to compile referencesvar assemblyLoader = Application.Ioc.Resolve<IAssemblyLoader>();var references = assemblyLoader.GetLoadedAssemblies().Select(assembly => assembly.Location).Select(path => MetadataReference.CreateFromFile(path)).ToList();

最后调用Roslyn编译，传入语法树列表和引用程序集列表可以得到目标程序集。
使用Emit函数编译后会返回一个EmitResult对象，里面保存了编译中出现的错误和警告信息。
注意编译出错时Emit不会抛出例外，需要手动检查EmitResult中的Success属性。

// Compile to assembly, throw exception if error occurredvar compilation = CSharpCompilation.Create(assemblyName).WithOptions(new CSharpCompilationOptions(OutputKind.DynamicallyLinkedLibrary,optimizationLevel: optimizationLevel)).AddReferences(references).AddSyntaxTrees(syntaxTrees);var emitResult = compilation.Emit(assemblyPath, pdbPath);if (!emitResult.Success) {    throw new CompilationException(string.Join("\r\n", emitResult.Diagnostics));
}

到此已经完成了代码文件(cs)到程序集(dll)的编译，下面来看如何载入这个程序集。

载入程序集

在.Net Framework中，载入程序集文件非常简单，只需要调用Assembly.LoadFile。
在.Net Core中，载入程序集文件需要定义AssemblyLoadContext，并且所有相关的程序集都需要通过同一个Context来载入。
需要注意的是AssemblyLoadContext不能用在.Net Framework中，ZKWeb为了消除这个差异定义了IAssemblyLoader接口。
完整的代码可以查看
IAssemblyLoader
CoreAssemblyLoader
NetAssemblyLoader

.Net Framework的载入只是调用了Assembly中原来的函数，这里就不再说明了。
.Net Core使用的载入器定义了AssemblyLoadContext，代码如下：
代码中的plugin.ReferenceAssemblyPath指的是插件自带的第三方dll文件，用于载入插件依赖但是主项目中没有引用的dll文件。

/// <summary>/// The context for loading assembly/// </summary>private class LoadContext : AssemblyLoadContext {    protected override Assembly Load(AssemblyName assemblyName) {        try {            // Try load directlyreturn Assembly.Load(assemblyName);} catch {            // If failed, try to load it from plugin's reference directoryvar pluginManager = Application.Ioc.Resolve<PluginManager>();            foreach (var plugin in pluginManager.Plugins) {                var path = plugin.ReferenceAssemblyPath(assemblyName.Name);                if (path != null) {                    return LoadFromAssemblyPath(path);}}            throw;}}
}

定义了LoadContext以后需要把这个类设为单例，载入时都通过这个Context来载入。
因为.Net Core目前无法获取到所有已载入的程序集，只能获取程序本身依赖的程序集列表，
这里还添加了一个ISet<Assembly> LoadedAssemblies用于记录历史载入的所有程序集。

/// <summary>/// Load assembly by name/// </summary>public Assembly Load(string name) {    // Replace name if replacement existsname = ReplacementAssemblies.GetOrDefault(name, name);    var assembly = Context.LoadFromAssemblyName(new AssemblyName(name));LoadedAssemblies.Add(assembly);    return assembly;
}/// <summary>/// Load assembly by name object/// </summary>public Assembly Load(AssemblyName assemblyName) {    var assembly = Context.LoadFromAssemblyName(assemblyName);LoadedAssemblies.Add(assembly);    return assembly;
}/// <summary>/// Load assembly from it's binary contents/// </summary>public Assembly Load(byte[] rawAssembly) {    using (var stream = new MemoryStream(rawAssembly)) {        var assembly = Context.LoadFromStream(stream);LoadedAssemblies.Add(assembly);        return assembly;}
}/// <summary>/// Load assembly from file path/// </summary>public Assembly LoadFile(string path) {    var assembly = Context.LoadFromAssemblyPath(path);LoadedAssemblies.Add(assembly);    return assembly;
}

到这里已经可以载入编译的程序集(dll)文件了，下面来看如何实现修改代码后自动重新编译。

检测代码文件变化并自动重新编译

ZKWeb使用了FileSystemWatcher来检测代码文件的变化，完整代码可以查看这里。
主要的代码如下

// Function use to stop websiteAction stopWebsite = () => {    var stoppers = Application.Ioc.ResolveMany<IWebsiteStopper>();stoppers.ForEach(s => s.StopWebsite());
};// Function use to handle file changedAction<string> onFileChanged = (path) => {    var ext = Path.GetExtension(path).ToLower();    if (ext == ".cs" || ext == ".json" || ext == ".dll") {stopWebsite();}
};// Function use to start file system watcherAction<FileSystemWatcher> startWatcher = (watcher) => {watcher.NotifyFilter = NotifyFilters.LastWrite | NotifyFilters.FileName;watcher.Changed += (sender, e) => onFileChanged(e.FullPath);watcher.Created += (sender, e) => onFileChanged(e.FullPath);watcher.Deleted += (sender, e) => onFileChanged(e.FullPath);watcher.Renamed += (sender, e) => { onFileChanged(e.FullPath); onFileChanged(e.OldFullPath); };watcher.EnableRaisingEvents = true;
};// Monitor plugin directoryvar pathManager = Application.Ioc.Resolve<PathManager>();
pathManager.GetPluginDirectories().Where(p => Directory.Exists(p)).ForEach(p => {    var pluginFilesWatcher = new FileSystemWatcher();pluginFilesWatcher.Path = p;pluginFilesWatcher.IncludeSubdirectories = true;startWatcher(pluginFilesWatcher);
});

这段代码监视了插件文件夹下的cs, json, dll文件，
一旦发生变化就调用IWebsiteStopper来停止网站，网站下次打开时将会重新编译和载入插件。
IWebsiteStopper是一个抽象的接口，在Asp.Net中停止网站调用了HttpRuntime.UnloadAppDomain，而在Asp.Net Core中停止网站调用了IApplicationLifetime.StopApplication。

Asp.Net停止网站会卸载当前的AppDomain，下次刷新网页时会自动重新启动。
而Asp.Net Core停止网站会终止当前的进程，使用IIS托管时IIS会在自动重启进程，但使用自宿主时则需要依赖外部工具来重启。