Registry Mirror

最近在建置 container image 時,常會踩到 exceeded 的錯誤,這是因為 docker 在 2020 時,公告了新的收費機制,並為拉取 container image 的 API 加上了限制,沒有登入的使用者現在每6個小時只能有 100 個 pull requests可用;有登入且採用免費方案的使用者,每6個小時有 200 個 pull requests 可用。這在初期測試 pipeline 時,根本很容易就用超過。

上網搜尋看有沒有方法可以避過這限制,後來在 gitlab 網站上找到文章:Caching Docker images to reduce the number of calls to DockerHub from your CI/CD infrastructure | GitLab

文章裡有提到兩個方法,第一個簡單的方法就是登入,這樣可以提升到 200 個 pull requests。

因為大部分的 executor 都是使用 docker 或 docker + machine,所以設定方法可以單純的在 pipeline 裏面作 docker login,但這樣還要多塞指令跟 credential 。gitlab 很貼心的提供了一個內建的變數,要用這個變數,需要在 gitlab 專案的 settings > CI/CD > Variables 裡,去增加 DOCKER_AUTH_CONFIG ,那在執行 pipeline 時,gitlab-runner 看到有這個變數,就會自動做 login 的動作。

DOCKER_AUTH_CONFIG 的內容可以透過以下方式取得:

  1. 在終端機用指令先登入 index.docker.io: docker login
  2. 用 docker 指令登入後,在家目錄的 .docker 目錄下就會出現 config.json : cat ~/.docker/config.json
  3. 用 jq 指令讓內容變成一行: jq -c "." ~/.docker/config.json

輸出的結果,就可以拿來填了。

第二個方法,則是建置 Registry mirror。

找一台已經安裝 docker 的主機,然後使用 docker 啟動 registry container。在啟動的時候帶入環境參數 REGISTRY_PROXY_REMOTEURL

docker run -d -p 6000:5000 \
    -e REGISTRY_PROXY_REMOTEURL=https://registry-1.docker.io \
    --restart always \
    --name registry registry:2

然後登入到 gitlab-runner 所在的主機,修改 /etc/docker/daemon.json ,內容如下

{
  "registry-mirrors": ["http://<your-registry-mirror-server:6000"]
}

修改完以後,讓 dockerd 重新載入設定:

sudo systemctl reload docker

再用 docker info | grep -A 1 -B 1 Mirror 確認。

這樣就設定完成了。

那要怎麼知道 gitlab-runner 在建置時有使用這個 registry mirror 呢?這時可以用 curl 指令來檢查

watch -n 60 curl -s http://<your-registry-server>:6000/v2/_catalog

輸出結果大致會是這樣

{"repositories":["library/docker","library/python"]}

至此,就可以算是解決了 exceeded 的問題啦。

刪除TimeMachine備份

一般來說,空間足夠就不用特別管,但如果空間緊迫時,可能就會需要去處理。因為自己遇到了,就上網找看看有沒有人遇過,有找到這些方法,第一種方法是全部重來,第二種方法是用 MacOS 內建的 tmutil 指令。

參考資料:

使用 tmutil 這方法,需要先知道 TimeMachine 掛載到那邊,這時候需要先點選選單列裡的時光機圖示 (若沒有圖示,請到「設定」>「時光機」去勾選選單列中顯示「時光機」),然後選:進入「時光機」

此時,MacOS 會去掛載,然後就可以在 /Volumes 資料夾裡找到「時光機」備份的路徑,時光機備份是以年月日來作為目錄名稱,很容易就可以識別。

要刪除的時候,需要指定完整的路徑,以我的環境為例,就是

sudo tmutil delete /Volumes/「時光機」備份/Backups.backupdb/XXX的\ MacBook\ Pro/xxxxxx

刪除時,有幾點要注意:

  1. 刪除有可能需要不少時間,要視時光機備份儲存媒體的速度而定。像我用的 NAS 比較慢,就會花不少時間。
  2. 刪除有機率導致整個時光機備份都毀掉,我自己就遇到一次,還好是沒關係。

補充一個:https://github.com/emcrisostomo/Time-Machine-Cleanup

關掉 Windows 2019 裡 Internet Explorer 的安全設定

我只是想下載微軟自家的 Edge,想不到 Internet Explorer 一直在那邊該該叫,好像在跟使用者抗議說不應該換掉我的感覺。因為一直跳對話視窗出來說要列入白名單,這實在是太浪費時間,上網找了一下看怎麼關掉。

方法還蠻簡單的:Disable Internet Explorer Enhanced Security Configuration in Windows Server 2019 | by Sumit | Tensult Blogs | Medium

步驟如下

  1. 從開始,找到 Server Manager。
  2. Server Manager 的左邊選擇 Local Server。
  3. 從右邊可以看到「IE Enhanced Security Configuration」,點選這個,此時會跳出對話視窗。
  4. 把對話視窗裡的兩個選項都改為 Off 以後就可以了。

客製化sshd的ciphers (RHEL8)

很多 Linux 系統參數檢核表都有一個項目,就是在 /etc/ssh/sshd_config 裡加入下面這兩行,以禁用 sshd 不安全的 cipher。

Ciphers aes128-ctr,aes192-ctr,aes256-ctr
MACs hmac-sha1,hmac-ripemd160,hmac-sha2-256,hmac-sha2-512

但很有趣的是,RHEL8 sshd_config 裡的 comment 是這樣寫的

# This system is following system-wide crypto policy. The changes to
# crypto properties (Ciphers, MACs, ...) will not have any effect here.
# They will be overridden by command-line options passed to the server
# on command line.
# Please, check manual pages for update-crypto-policies(8) and sshd_config(5).

他說,這系統是依照系統的 crypto 原則,所以在這個設定檔裡加 Ciphers, MACs 是沒有效果的,會被傳遞給 sshd 的 command-line 選項給覆蓋掉。

來看看 sshd.service 的內容

# ...省略...
[Service]
Type=notify
EnvironmentFile=-/etc/crypto-policies/back-ends/opensshserver.config
EnvironmentFile=-/etc/sysconfig/sshd
ExecStart=/usr/sbin/sshd -D $OPTIONS $CRYPTO_POLICY
# ...省略...

首先載入 /etc/crypto-policies/back-ends/opensshserver.config 裡的環境變數,然後再載入 /etc/sysconfig/sshd 裡的環境變數,所以後者蓋掉前者。

那修改方法就很清楚了,就是修改 /etc/sysconfig/sshd 這個檔案就可以,把裏面 CRYPTO_POLICY= 前面的 # 拿掉,加入參數:

CRYPTO_POLICY="-oCiphers=aes128-ctr,aes192-ctr,aes256-ctr -oMACs=hmac-sha1,hmac-sha2-256,hmac-sha2-512"

然後重新啟動 sshd 就可以。

附帶一提,OpenShift CoreOS 也是用類似的方式修改,只是需要透過 MachineConfig。

參考資料:

如何使用VLC存取網路上的UPnP/DLNA伺服器上的媒體

資料來源:How to Access Media from UPnP or DLNA using VLC

該怎麼如何使用VLC存取網路上的UPnP/DLNA伺服器上的媒體呢?打開 VLC 找半天沒找到選單在哪裡,只好求助 Google 大神。

找到的步驟如下:

  1. 開啟 VLC
  2. 在選單上選擇「察看(View)」
  3. 再選「播放清單 (Playlist)」
  4. 在左邊窗格選「通用隨插即用服務(UPnP)」
  5. 右邊窗格就會出現網路上的 UPnP/DLNA 伺服器,再點進去就可以看到囉。

Huge Page與Transparent Huge Page

簡單的說,都跟記憶體分頁管理有關係。要用 Huge Page ,程式需要做調整,為了簡化使用方式,Red Hat 在 RHEL6 引入 Transparent Huge Page ,預設啟用,主要是要讓程式可以不需要更動,就可以使用 Huge Page。

詳情可以參考:

一般來說,若主機主要是執行資料庫,例如 Oracle, Redis, MongoDB, PostgreSQL,就不要使用 Transparent Huge Page。

在 RHEL 6 以後 Transparent Huge Page 預設是啟用,可以用以下指令檢查

cat /sys/kernel/mm/transparent_hugepage/enabled

輸出是 always ,就表示有啟用。若為 never ,就沒有啟用。madvise 是什麼意思呢?

當有啟用 Transparent Huge Page 時,Huge Page 就被禁用,可以用以下指令檢查,若為 0,表示禁用。

cat /proc/sys/vm/nr_hugepages

要禁用 Transparent Huge Page,用以下指令就可以

echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

在 RHEL8 裡,有 tuned,當使用上面設定無法生效時,有可能就是這個 tuned 在搞鬼。這時可以建立一個新的 tuned profile: /etc/tuned/nothp_profile/tuned.conf

內容是

[main]
include= throughput-performance

[vm]
transparent_hugepages=never

執行以下指令就可以生效。

chmod +x /etc/tuned/nothp_profile/tuned.conf
tuned-adm profile nothp_profile

若要永久禁用,可以在 /etc/default/grub 的 GRUB_CMDLINE_LINUX 加入 transparent_hugepage=never

執行 grub2-mkconfig -o 之後,重開機即可。

在 Ubuntu 開發 .Net 應用程式

這幾年微軟大力推廣 .Net core ,把 .Net runtime 鋪到每個 Linux 發行版去,所以現在 Ubuntu、Red Hat Enterprise、Debian、Fedora、CentOS、Alpine 等 Linux 發行版都可以安裝 .Net runtime 跟 .Net SDK 。

以 Ubuntu 來說,安裝方法很簡單,就是照這篇 在Ubuntu 上安裝 .NET SDK 或 .NET 執行時間 來做就可以。

我桌機安裝的是 Ubuntu 21.10 ,所以下面就只節錄 Ubuntu 21.10 的部份

wget https://packages.microsoft.com/config/ubuntu/21.04/packages-microsoft-prod.deb -O packages-microsoft-prod.deb
sudo dpkg -i packages-microsoft-prod.deb
rm packages-microsoft-prod.deb
sudo apt-get update; \
  sudo apt-get install -y apt-transport-https && \
  sudo apt-get update && \
  sudo apt-get install -y dotnet-sdk-6.0 aspnetcore-runtime-6.0

安裝完成以後,就可以使用 dotnet 這個指令來開發應用程式了。

首先建立目錄,然後切換到此目錄下

mkdir -p ~/dotnetcore-hello
cd ~/dotnetcore-hello

然後用 dotnet 指令建立範本

dotnet new webapp -n dotnetcore-hello -o .
  • webapp 表示建立網頁應用程式。
  • -n 是表示專案名稱。
  • -o . 是表示輸出到目前的目錄。

產生完畢,就可以啟動。

dotnet run

啟動以後會有以下訊息

正在建置...
info: Microsoft.Hosting.Lifetime[14]
      Now listening on: https://localhost:7219
info: Microsoft.Hosting.Lifetime[14]
      Now listening on: http://localhost:5063
info: Microsoft.Hosting.Lifetime[0]
      Application started. Press Ctrl+C to shut down.
info: Microsoft.Hosting.Lifetime[0]
      Hosting environment: Development
info: Microsoft.Hosting.Lifetime[0]
      Content root path: /home/user/dotnetcore-hello/

從訊息可以知道,用瀏覽器開啟 http://localhost:5063 或是 https://localhost:7219 就可以開啟網站。

一般在開發時,會把 port 固定起來,以方便開發;或者是禁用 https 。那這樣該怎麼做呢?這時候可以參考 How do I disable HTTPS in ASP.NET Core 2.1 + Kestrel? ,dotnet 應用程式的 port 跟 https 設定是在 Properties/launchSettings.json 裏面去指定的,只要修改裡面的 applicationUrl 即可。

例如 applicationUrl 本來是 https://localhost:7219;http://localhost:5063,改為只有 http,port 8000 並讓網路上其他電腦都可以連進來的話,就改為 http://0.0.0.0:8000

最後,開發完畢以後,要輸出檔案去佈署,可以用 dotnet publish 來建置。

dotnet publish -c release -o out

以上面的指令來說,

  • -c 是指定要使用的 configuration
  • -o 是指定把建置好的檔案輸出到 out 目錄下。

今天就把 QuickStart 的開發流程紀錄起來,免得以後遇到又在那邊查。

RPM解析

察看 RPM 內容,可以用下面指令,無需解開,就可以知道裏面有什麼檔案。

rpm -ql <rpm_file>

需要取出裡面的檔案時,可以用 rpm2cpio + cpio 來解開。

rpm2cpio <rpm_file> | cpio -idmv

cpio 的參數解說如下

  • -i: 從 archive 解開檔案。
  • -d: 建立必要的目錄
  • -m: 保留檔案的變更時間
  • -v: verbose

在安裝 rpm 時,會在安裝前、後去執行腳本,但你會發現在解壓縮後的檔案裡找不到這些腳本。那如果想看這些腳本,該怎麼做?

這時候可以用下面指令來察看

rpm -qp --scripts <rpm_file>

裡面的 %preun、%postun …等等的區段是什麼意思呢?

這部份可以參考 Packaging Guidelines > Scriptlets 裡的說明。

參考資料: