内存映射文件原理_开源内存数据库

Jetbrains全系列IDE稳定放心使用

前言

         在前文LMDB简介的基础上，本文介绍LMDB数据库的基本用法，包括环境environment创建、数据存储put、数据读取get等；

源码

ULONG cvtest_Test4_Lmdb()
{   
    INT iRet;
    MDB_txn *pstTxn = NULL;
    MDB_dbi stDbi;
    UINT uiKey = 1;
    UINT uiData = 100;
    
    iRet = mdb_env_create(&g_pstMdbEnv);
    if (0 != iRet)
    {
        return ERROR_FAILED;
    }
    mdb_env_set_maxreaders(g_pstMdbEnv, 1);
    mdb_env_set_mapsize(g_pstMdbEnv, 4096 * 4096);
    
    if (ERROR_SUCCESS != Lib_CreateDir(CVTEST_LMDB_PATH))
    {
        mdb_env_close(g_pstMdbEnv);
        return ERROR_FAILED;
    }
    iRet = mdb_env_open(g_pstMdbEnv, CVTEST_LMDB_PATH, MDB_WRITEMAP, 0);
    E(iRet, "Env open failed...");
    
    iRet += mdb_txn_begin(g_pstMdbEnv, NULL, 0, &pstTxn);
    E(iRet, "Txm begin open failed...");
    
    iRet += mdb_dbi_open(pstTxn, NULL, MDB_CREATE, &stDbi);
    E(iRet, "dbi_open failed...");
    
    MDB_val stKey;
    MDB_val stData;
    stKey.mv_size = sizeof(UINT);
    stKey.mv_data = (VOID *)&uiKey;

    /* mdb_put  存数据 */
    stData.mv_size = sizeof(UINT);
    stData.mv_data = (VOID *)&uiData;
    iRet = mdb_put(pstTxn, stDbi, &stKey, &stData, 0);
    if (iRet != MDB_SUCCESS)
    {
        printf("mdb_put failed : %s\n", mdb_strerror(iRet));
        mdb_env_close(g_pstMdbEnv);
        return ERROR_FAILED;
    }
    mdb_txn_commit(pstTxn);

    /* 重新begin一个事务---进行读 */
    MDB_txn *pstReadTxn = NULL;
    MDB_dbi stDbiRead;
    MDB_val stReadValue;    
    CHAR szBuf[BUF_LEN_100] = {0, };
    
    stReadValue.mv_size = BUF_LEN_100;
    stReadValue.mv_data = (VOID *)szBuf;
    mdb_txn_begin(g_pstMdbEnv, NULL, MDB_RDONLY, &pstReadTxn);
    iRet = mdb_dbi_open(pstReadTxn, NULL, 0, &stDbiRead);

    iRet += mdb_get(pstReadTxn, stDbiRead, &stKey, &stReadValue);
    if (iRet != MDB_SUCCESS)
    {
        printf("mdb_get failed : %s\n", mdb_strerror(iRet));
        return ERROR_FAILED;
    }
    printf("stReadValue.data is %d \n", *(UINT *)stReadValue.mv_data);
    return ERROR_SUCCESS;
}

源码解读

1. 按照LMDB官方介绍文档，先通过mdb_env_create创建env，后续mdb_env_set_maxreaders、mdb_env_set_mapsize设置环境相关参数；
2. Lib_CreateDir用于创建数据库的目录，官方文档有提及：mdb_env_open参数2并不会为用户创建相关目录，因而需要提前创建；
3. mdb_env_open、mdb_txn_begin、mdb_dbi_open分别用于打开environment、打开一个事务、打开一个数据库instance。其中mdb_dbi_open通过不同的数据库名（param 2）支持多实例；
4. mdb_put用于存入相关数据：key/value对，key/value都是MDB_val结构；
5. 后续mdb_get用户获取数据，key与put时的key相同，get成功后，我们通过强制类型转换取得数据库内的值并打印；
6. E是笔者封装的一个宏定义，用于检查API的返回结果，如下：

#define E(Rest, expr) LMDB_CHECK((Rest) == MDB_SUCCESS, #expr)
#define LMDB_CHECK(test, msg) ((test) ? (void)0 : ((void)fprintf(stderr, \
         "%s:%d: %s: %s\n", __FILE__, __LINE__, msg, mdb_strerror(test)), abort()))

测试结果

         最后，我们将程序编译/得到，得到如下结果。

         在相关目录产生数据文件和锁文件。

zglinux cvtest # ls -lrth /home/zhaogang/code_my/lmdb/
total 32K
---------- 1 root root 192 5月  27 21:29 lock.mdb
---------- 1 root root 16M 5月  27 21:29 data.mdb
zglinux cvtest #

结果表明：测试正确。

扩展说明

1. LMDB通过DBI区分不同的数据库实例，支持在一个数据文件中存储多个数据库实例；
2. LMDB是一个轻量级的开源数据库library，常用在硬件受限的嵌入式环境，不支持SQL语句；
3. LMDB通过mmap将文件映射到进程的虚拟地址空间，可加速数据库的访问；
4. LMDB采用B+树算法存储数据，通过游标cursor可方便的访问不同位置的数据；
5. LMDB的数据存/取都采用c语言中通用的void类型，其类型解析由程序员自行处理，提供更大的灵活性；

总结

         LMDB全部源码12K行，想要进一步了解其实现的读者可以参阅其源码。源码中也提供mtest、mtest2~mtest6等多个测试案例供参阅。