關於Jenkins集群

在Jenkins上同時執行多個任務時，單機性能可能達到瓶頸，使用Jenkins集群可以有效的解決此問題，讓多台機器同時處理這些任務可以將壓力分散，對單機版Jenkins的單點故障的隱患也有分散作用，今天就來實戰快速搭建Jenkins集群，Jenkins版本是2.190.2；

如何做到快速搭建集群

通過Docker可以省去大部分準備工作，您只需在Linux電腦上安裝docker，在輔以少量命令和操作即可完成集群搭建；

環境信息

本次實戰的環境一共要用三台電腦，它們的設置都是一樣的，如下：

1. 操作系統：CentOS Linux release 7.6.1810
2. 防火牆關閉
3. docker：1.13.1

三台電腦的信息如下：
| 主機名 | IP地址 | 作用 |
|–|–|–|
| master | 192.168.133.131 | Jenkins集群的master節點，提供web服務 |
| agent1 | 192.168.133.132 | Jenkins集群的一號工作接節點，標籤是maven |
| agent2 | 192.168.133.133 | Jenkins集群的二號工作接節點，標籤是gradle |

建議agent2節點的內存大於4G，因為下一篇的實戰操作會用agent2編譯構建spring-framework，對內存的需求略大；

準備工作

1. 後面的所有操作都是root賬號；

2. 在每台電腦上創建文件夾/usr/local/jenkins

   創建Jenkins的master

3. 登錄master機器，執行以下命令：

docker run \
  -u root \
  -idt \
  --name master \
  -p 8080:8080 \
  -p 50000:50000 \
  -v /usr/local/jenkins:/var/jenkins_home \
  -v /var/run/docker.sock:/var/run/docker.sock \
  jenkinsci/blueocean:1.19.0

1. 執行docker logs master，會在控制台显示jenkins的登錄秘鑰，如下圖紅框所示：
2. 瀏覽器輸入地址： ，显示Jenkins登錄頁面，如下圖所示，在紅框位置輸入剛才複製的登錄秘鑰即可登錄：
3. 選擇安裝推薦的插件：
4. 靜候插件在線安裝完成：

5. 接下來是創建管理員和使用實例url的操作，這裏就不多說了，您按實際情況自行斟酌；

   至此，Jenkins的master已經搭建好，接下來將agent1和agent2作為工作節點加入集群；

   加入agent1

6. 在Jenkins網頁上新增節點，操作如下圖，先進入節點管理頁面：
7. 如下圖，新增一個節點，名為agent1：
8. 接下來的節點詳情信息如下圖，注意四個紅框中的內容要和圖中保持一致：
9. 保存成功後會显示機器列表，如下圖，圖標上的紅叉表示機器不在線（此時agent1還沒有接入），點擊紅框：
10. 如下圖所示，紅框中的命令就是agent1的啟動命令，執行該命令的機器會以agent1的身份加入集群：
11. 注意上圖紅框中的agent.jar是個名為agent.jar的文件的下載鏈接，將此文件下載到agent1電腦的/usr/local/jenkins目錄下；
12. ssh登錄agent1電腦，執行以下命令，即可將agent1加入Jenkins集群：

docker run \
  -u root \
  -idt \
  --name agent \
  -v /usr/local/jenkins:/usr/local/jenkins \
  bolingcavalry/openjdk-with-sshpass:8u232 \
  java -jar /usr/local/jenkins/agent.jar \
  -jnlpUrl http://192.168.133.131:8080/computer/agent1/slave-agent.jnlp \
  -secret 44c3e8d1531754b8655b53294bbde6dd99b3aaa91a250092d0d3425534ae1058 \
  -workDir "/usr/local/jenkins"

上述命令中的後半部分，即java -jar ……就是前面圖片紅框中的agent1啟動命令，唯一要改變的是將agent.jar改成絕對路徑/usr/local/jenkins/agent.jar

1. 上述命令的鏡像是bolingcavalry/openjdk-with-sshpass:8u232，其Dockerfile內容如下，可見非常簡單，就是OpenJDK鏡像裏面安裝了sshpass，這樣的容器可以在執行ssh命令時帶上遠程機器的密碼，而不用等待用戶輸入密碼，這樣便於shell腳本執行ssh命令：

FROM openjdk:8u232

ARG DEBIAN_FRONTEND=noninteractive
RUN apt-get update && apt-get install --assume-yes sshpass

1. 去Jenkins的網頁上查看節點列表，如下圖，可見agent1已經成功加入：

   加入agent2

   agent2加入集群的方式和agent1大部分是一樣的，只有以下兩點要注意：

2. 在Jenkins頁面上創建節點，名稱是agent2
3. agent2的標籤是gradle,如下圖紅框所示：

4. 此時agent2也加入成功：

   至此，Jenkins集群搭建完成，這兩個節點帶有不同的標籤，下一篇文章中，我們在這個集群環境創建pipeline任務，並通過標籤被分配到不同的節點上，實現多節點并行執行；

   歡迎關注公眾號：程序員欣宸

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想要讓你的商品成為最夯、最多人討論的話題?網頁設計公司讓你強力曝光

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

單元測試與集成測試

測試必要性說明

相信大家在看到單元測試與集成測試這個標題時，會有很多感慨，我們無數次的在實踐中提到要做單元測試、集成測試，但是大多數項目都沒有做或者僅建了項目文件。這裡有客觀原因，已經接近交付日期了，我們沒時間做白盒測試了。也有主觀原因，面對業務複雜的代碼我們不知道如何入手做單元測試，不如就留給黑盒測試吧。但是，當我們的代碼無法進行單元測試的時候，往往就是代碼開始散發出壞味道的時候。長此以往，將欠下技術債務。在實踐過程中，技術債務常常會存在，關鍵在於何時償還，如何償還。

上圖說明了隨着時間的推移開發/維護難度的變化。

測試框架選擇

在 .NET Core 中，提供了 xUnit 、NUnit 、 MSTest 三種單元測試框架。

以上寫了 MSTest 、UNnit 、 xUnit 的特性以及比較，可以看出 xUnit 在使用上相對其它兩個框架來說提供更多的便利性。但是這裏最終實現還是看個人習慣以選擇。

單元測試

1. 新建單元測試項目

2. 新建 Class

3. 添加測試方法

           /// <summary>
           /// 添加地址
           /// </summary>
           /// <returns></returns>
           [Fact]
           public async Task Add_Address_ReturnZero()
           {
               DbContextOptions<AddressContext> options = new DbContextOptionsBuilder<AddressContext>().UseInMemoryDatabase("Add_Address_Database").Options;
               var addressContext = new AddressContext(options);
   
               var createAddress = new AddressCreateDto
               {
                   City = "昆明",
                   County = "五華區",
                   Province = "雲南省"
               };
               var stubAddressRepository = new Mock<IRepository<Domain.Address>>();
               var stubProvinceRepository = new Mock<IRepository<Province>>();
               var addressUnitOfWork = new AddressUnitOfWork<AddressContext>(addressContext);
   
               var stubAddressService = new AddressServiceImpl.AddressServiceImpl(stubAddressRepository.Object, stubProvinceRepository.Object, addressUnitOfWork);
               await stubAddressService.CreateAddressAsync(createAddress);
               int addressAmountActual = await addressContext.Addresses.CountAsync();
               Assert.Equal(1, addressAmountActual);
           }

   • 測試方法的名字包含了測試目的、測試場景以及預期行為。
   • UseInMemoryDatabase 指明使用內存數據庫。
   • 創建 createAddress 對象。
   • 創建 Stub 。在單元測試中常常會提到幾個概念 Stub , Mock 和 Fake ,那麼在應用中我們該如何選擇呢？
     • Fake – Fake 通常被用於描述 Mock 或 Stub ,如何判斷它是 Stub 還是 Mock 依賴於使用上下文，換句話說，Fake 即是 Stub 也是 Mock 。
     • Stub – Stub 是系統中現有依賴項的可控替代品。通過使用 Stub ,你可以不用處理依賴直接測試你的代碼。默認情況下， 偽造對象以stub 開頭。
     • Mock – Mock 對象是系統中的偽造對象，它決定單元測試是否通過或失敗。Mock 會以 Fake 開頭，直到被斷言為止。
   • Moq4 ，使用 Moq4 模擬我們在項目中依賴對象。

4. 打開視圖 -> 測試資源管理器。

5. 點擊運行，得到測試結果。

6. 至此，一個單元測試結束。

集成測試

集成測試確保應用的組件功能在包含應用的基礎支持下是正確的，例如：數據庫、文件系統、網絡等。

1. 新建集成測試項目。

2. 添加工具類 Utilities 。

   using System.Collections.Generic;
   using AddressEFRepository;
   
   namespace Address.IntegrationTest
   {
       public static class Utilities
       {
           public static void InitializeDbForTests(AddressContext db)
           {
               List<Domain.Address> addresses = GetSeedingAddresses();
               db.Addresses.AddRange(addresses);
               db.SaveChanges();
           }
   
           public static void ReinitializeDbForTests(AddressContext db)
           {
               db.Addresses.RemoveRange(db.Addresses);
               InitializeDbForTests(db);
           }
   
           public static List<Domain.Address> GetSeedingAddresses()
           {
               return new List<Domain.Address>
               {
                   new Domain.Address
                   {
                       City = "貴陽",
                       County = "測試縣",
                       Province = "貴州省"
                   },
                   new Domain.Address
                   {
                       City = "昆明市",
                       County = "武定縣",
                       Province = "雲南省"
                   },
                   new Domain.Address
                   {
                       City = "昆明市",
                       County = "五華區",
                       Province = "雲南省"
                   }
               };
           }
       }
   }

3. 添加 CustomWebApplicationFactory 類，

    using System;
    using System.IO;
    using System.Linq;
    using AddressEFRepository;
    using Microsoft.AspNetCore.Hosting;
    using Microsoft.AspNetCore.Mvc.Testing;
    using Microsoft.EntityFrameworkCore;
    using Microsoft.Extensions.Configuration;
    using Microsoft.Extensions.DependencyInjection;
    using Microsoft.Extensions.Logging;
   
    namespace Address.IntegrationTest
    {
        public class CustomWebApplicationFactory<TStartup> : WebApplicationFactory<TStartup> where TStartup : class
        {
            protected override void ConfigureWebHost(IWebHostBuilder builder)
            {
                string projectDir = Directory.GetCurrentDirectory();
                string configPath = Path.Combine(projectDir, "appsettings.json");
                builder.ConfigureAppConfiguration((context, conf) =>
                {
                    conf.AddJsonFile(configPath);
                });
   
                builder.ConfigureServices(services =>
                {
                    ServiceDescriptor descriptor = services.SingleOrDefault(d => d.ServiceType == typeof(DbContextOptions<AddressContext>));
   
                    if (descriptor != null)
                    {
                        services.Remove(descriptor);
                    }
   
                    services.AddDbContextPool<AddressContext>((options, context) =>
                    {
                        //var configuration = options.GetRequiredService<IConfiguration>();
                        //string connectionString = configuration.GetConnectionString("TestAddressDb");
                        //context.UseMySql(connectionString);
                        context.UseInMemoryDatabase("InMemoryDbForTesting");
   
                    });
   
                    // Build the service provider.
                    ServiceProvider sp = services.BuildServiceProvider();
                    // Create a scope to obtain a reference to the database
                    // context (ApplicationDbContext).
                    using IServiceScope scope = sp.CreateScope();
                    IServiceProvider scopedServices = scope.ServiceProvider;
                    var db = scopedServices.GetRequiredService<AddressContext>();
                    var logger = scopedServices.GetRequiredService<ILogger<CustomWebApplicationFactory<TStartup>>>();
   
                    // Ensure the database is created.
                    db.Database.EnsureCreated();
   
                    try
                    {
                        // Seed the database with test data.
                        Utilities.ReinitializeDbForTests(db);
                    }
                    catch (Exception ex)
                    {
                        logger.LogError(ex, "An error occurred seeding the " + "database with test messages. Error: {Message}", ex.Message);
                    }
                });
            }
        }
    }

   • 這裏為什麼要添加 CustomWebApplicationFactory 呢？
     WebApplicationFactory 是用於在內存中引導應用程序進行端到端功能測試的工廠。通過引入自定義 CustomWebApplicationFactory 類重寫 ConfigureWebHost 方法，我們可以重寫我們在 StartUp 中定義的內容，換句話說我們可以在測試環境中使用正式環境的配置，同時可以重寫，例如：數據庫配置，數據初始化等等。
   • 如何準備測試數據？
     我們可以使用數據種子的方式加入數據，數據種子可以針對每個集成測試做數據準備。
   • 除了內存數據庫，還可以使用其他數據庫進行測試嗎？
     可以。

4. 添加集成測試 AddressControllerIntegrationTest 類。

    using System.Collections.Generic;
    using System.Linq;
    using System.Net.Http;
    using System.Threading.Tasks;
    using Address.Api;
    using Microsoft.AspNetCore.Mvc.Testing;
    using Newtonsoft.Json;
    using Xunit;
   
    namespace Address.IntegrationTest
    {
        public class AddressControllerIntegrationTest : IClassFixture<CustomWebApplicationFactory<Startup>>
        {
            public AddressControllerIntegrationTest(CustomWebApplicationFactory<Startup> factory)
            {
                _client = factory.CreateClient(new WebApplicationFactoryClientOptions
                {
                    AllowAutoRedirect = false
                });
            }
   
            private readonly HttpClient _client;
   
            [Fact]
            public async Task Get_AllAddressAndRetrieveAddress()
            {
                const string allAddressUri = "/api/Address/GetAll";
                HttpResponseMessage allAddressesHttpResponse = await _client.GetAsync(allAddressUri);
   
                allAddressesHttpResponse.EnsureSuccessStatusCode();
   
                string allAddressStringResponse = await allAddressesHttpResponse.Content.ReadAsStringAsync();
                var addresses = JsonConvert.DeserializeObject<IList<AddressDto.AddressDto>>(allAddressStringResponse);
                Assert.Equal(3, addresses.Count);
   
                AddressDto.AddressDto address = addresses.First();
                string retrieveUri = $"/api/Address/Retrieve?id={address.ID}";
                HttpResponseMessage addressHttpResponse = await _client.GetAsync(retrieveUri);
   
                // Must be successful.
                addressHttpResponse.EnsureSuccessStatusCode();
   
                // Deserialize and examine results.
                string addressStringResponse = await addressHttpResponse.Content.ReadAsStringAsync();
                var addressResult = JsonConvert.DeserializeObject<AddressDto.AddressDto>(addressStringResponse);
                Assert.Equal(address.ID, addressResult.ID);
                Assert.Equal(address.Province, addressResult.Province);
                Assert.Equal(address.City, addressResult.City);
                Assert.Equal(address.County, addressResult.County);
            }
        }
    }

5. 在測試資源管理器中運行集成測試方法。

6. 結果。

7. 至此，集成測試完成。需要注意的是，集成測試往往耗時比較多，所以建議能使用單元測試時就不要使用集成測試。

總結：當我們寫單元測試時，一般不會同時存在 Stub 和 Mock 兩種模擬對象，當同時出現這兩種對象時，表明單元測試寫的不合理，或者業務寫的太過龐大，同時，我們可以通過單元測試驅動業務代碼重構。當需要重構時，我們應盡量完成重構，不要留下欠下過多技術債務。集成測試有自身的複雜度存在，我們不要節約時間而打破單一職責原則，否則會引發不可預期後果。為了應對業務修改，我們應該在業務修改以後，進行回歸測試，回歸測試主要關注被修改的業務部分，同時測試用例如果有沒要可以重寫，運行整個和修改業務有關的測試用例集。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想要讓你的商品成為最夯、最多人討論的話題?網頁設計公司讓你強力曝光

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!