編程隨筆-ElasticSearch知識(shí)導(dǎo)圖(3)：映射-創(chuàng)新互聯(lián)

1. 啥是映射

ES中的映射(Mapping)實(shí)質(zhì)上就是對(duì)文檔對(duì)象結(jié)構(gòu)的定義，也即對(duì)文檔中各元素的描述。在ES中定義映射，就如同定義XML文檔的XML Schema。
ES中的映射定義了文檔模式（就如同在關(guān)系數(shù)據(jù)庫中定義了關(guān)系模式），文檔模式確定了存在ES中的文檔的格式，結(jié)構(gòu)和字段的數(shù)據(jù)類型。通過查看某個(gè)索引的映射可以了解文檔的結(jié)構(gòu)，以便使用查詢語言(Query DSL)構(gòu)建更符合我們要求的查詢命令。

創(chuàng)新互聯(lián)于2013年開始，先為古田等服務(wù)建站，古田等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為古田企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

2. 從一個(gè)示例開始

讓我們首先看一下如下關(guān)于銀行賬號(hào)的文檔示例：

{
    "account_number": 1,
    "balance": 39225,
    "firstname": "Amber",
    "lastname": "Duke",
    "age": 32,
    "gender": "M",
    "address": "880 Holmes Lane",
    "employer": "Pyrami",
    "email": "amberduke@pyrami.com",
    "city": "Brogan",
    "state": "IL"
}

ES對(duì)該文檔的自動(dòng)生成的映射是下面這個(gè)樣子的：

{
    "bank": {
        "mappings": {
            "account": {
                "properties": {
                    "account_number": {
                        "type": "long"
                    },
                    "address": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    },
                    "age": {
                        "type": "long"
                    },
                    "balance": {
                        "type": "long"
                    },
                    "city": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    },
                    "email": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    },
                    "employer": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    },
                    "firstname": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    },
                    "gender": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    },
                    "lastname": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    },
                    "state": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    }
                }
            }
        }
    }
}

由這個(gè)自動(dòng)生成的映射可以看到：ES自動(dòng)將account_number、balance、age這些屬性映射為long類型，其它的屬性都映射為text類型。text類型的屬性常用于全文搜索，但是并不進(jìn)入內(nèi)存中索引，因此text類型并不可用于聚合和排序（系統(tǒng)會(huì)報(bào)錯(cuò)："Fielddata is disabled on text fields by default. Set fielddata=true on [address] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."）。
ES允許為一個(gè)對(duì)象屬性定義多個(gè)域(fields)，每個(gè)域是該屬性的一個(gè)facet（我思考很久，還是覺得這個(gè)詞最合適），如“address”屬性類型為text,為它定義 一個(gè)域?yàn)閗eyword,該域的類型為“keyword”，不會(huì)被分析器（analyzer）分析，可用于排序、聚合和精確查找（請(qǐng)注意ignore_above這個(gè)屬性，限制了用于keyword的有效字符數(shù)目）。
在DSL查詢語言中查詢時(shí)，使用“address”時(shí)，經(jīng)分析器分析后，"880 Holmes Lane"可能被分解為“880”，“Holmes”，“Lane”進(jìn)入全文搜索?？纯聪旅娴膬蓚€(gè)查詢命令：

curl -iXGET 'localhost:9200/bank/_search?pretty' -H 'Content-Type: application/json'  -d'
{"query":
    {"match":
       {"address.keyword":"880 Holmes Lane"}
    }
}'

查詢出來只有一個(gè)結(jié)果，精確匹配“880 Holmes Lane”。

curl -iXGET 'localhost:9200/bank/_search?pretty' -H 'Content-Type: application/json'  -d'
{"query":
    {"match":
       {"address":"880 Holmes Lane"}
    }
}'

查詢出來多個(gè)結(jié)果，查詢條件“880 Holmes Lane”被分析器分析后檢索，"591 Nolans Lane"也被檢索出來（其中包含了一個(gè)分析器分解后的Lane）。
以一張圖總結(jié)相關(guān)的知識(shí)點(diǎn)：
編程隨筆-ElasticSearch知識(shí)導(dǎo)圖(3)：映射

3. 域的數(shù)據(jù)類型

ES中域的主要數(shù)據(jù)類型如下表所示，還可由一些插件擴(kuò)展數(shù)據(jù)類型（這里不贅述了）：

數(shù)據(jù)類型 分類
text ， keyword字符串
long , integer , short , byte , double , float , half_float , scaled_float數(shù)字
date日期
boolean布爾
binary二進(jìn)制
integer_range , float_range , long_range , double_range , date_range區(qū)間類型
Array, object, nested復(fù)雜數(shù)據(jù)類型
geo_point, geo_shape地理數(shù)據(jù)類型
binary二進(jìn)制
ip, completion，token_count，percolator，join, alias特殊數(shù)據(jù)類型

3.1. 核心數(shù)據(jù)類型

核心數(shù)據(jù)類型與我們常使用的強(qiáng)類型語言中的數(shù)據(jù)類型類似，可分為以下幾類：

  • 字符串型：包含text 、keyword。
  • 數(shù)字類型：包含long , integer , short , byte , double , float , half_float , scaled_float。這里偷個(gè)懶，各數(shù)字類型參見參考文獻(xiàn)1中的截圖描述。
    編程隨筆-ElasticSearch知識(shí)導(dǎo)圖(3)：映射
  • 日期類型：date。可表示為字符串類型，如"2015-01-01" or "2015/01/01 12:10:30"，也可表示為秒或毫秒的整數(shù)。
  • 布爾類型：boolean。真值可用true（對(duì)應(yīng)json中的布爾值）,“true”表示。
  • 二進(jìn)制類型：binary。值用以base64編碼的字符串表示。
  • 區(qū)間類型：包含integer_range , float_range , long_range , double_range , date_range。
    對(duì)于數(shù)字區(qū)間類型，示例如下： 
    //類型為integer_range
"expected_attendees" : { 
"gte" : 10,
"lte" : 20
}

    對(duì)于日期區(qū)間類型，示例如下：

    //類型為date_range
"time_frame" : { 
"gte" : "2015-10-31 12:00:00", 
"lte" : "2015-11-01"
}

    3.2. 復(fù)雜數(shù)據(jù)類型

    復(fù)雜數(shù)據(jù)類型可用于表達(dá)對(duì)象之間的語義，包含Array, object, nested等類型。

  • Array類型：在ES中，沒有專門的“array”類型用于顯式定義，任何域都可以包含零個(gè)或多個(gè)值，即任何域都可以是一個(gè)數(shù)組，不過不同于JSON中的數(shù)組，ES中的數(shù)組各元素必須為相同類型。
  • Object類型：JSON對(duì)象可以是一個(gè)嵌套結(jié)構(gòu)，在現(xiàn)實(shí)應(yīng)用中我們常常使用這種嵌套結(jié)構(gòu)來表達(dá)對(duì)象之間的層次關(guān)系。
    我們看看下面這個(gè)映射的定義： 
    "manager": { 
      "properties": {
        "age":  { "type": "integer" },
        "name": { 
          "properties": {
            "first": { "type": "text" },
            "last":  { "type": "text" }
          }
        }
      }
    }

    其對(duì)應(yīng)的對(duì)象為：

    "manager": { 
"age":     30,
"name": { 
  "first": "John",
  "last":  "Smith"
}
}

    其中域manager就是一個(gè)對(duì)象類型，其中的name是它的子對(duì)象。對(duì)于對(duì)象類型，缺省設(shè)置“type”為”object”,因此不用顯式定義“type”。
    對(duì)于上面的對(duì)象類型，ES在索引時(shí)將其轉(zhuǎn)換為"manager.age"， "manager.name.first" 這樣扁平的key，因此查詢時(shí)也可以使用這樣的扁平key作為域來進(jìn)行查詢。

  • nested類型：是object類型的延伸，主要用于對(duì)象數(shù)組。仍以參考文獻(xiàn)1中的示例：
    對(duì)于對(duì)象： 
    "user" : [ 
{
  "first" : "John",
  "last" :  "Smith"
},
{
  "first" : "Alice",
  "last" :  "White"
}
]

    如果使用動(dòng)態(tài)映射，會(huì)被ES索引為如下形式：

    "user.first" : [ "alice", "john" ],
"user.last" :  [ "smith", "white" ]

    這樣的索引形式在查詢時(shí)會(huì)丟失對(duì)象中”first”與“l(fā)ast”之間的關(guān)聯(lián)關(guān)系。
    如果將user映射為如下形式：

    "user": {
      "type": "nested" 
    }

    ES在索引時(shí)會(huì)保留對(duì)象域之間的關(guān)聯(lián)關(guān)系，在查詢時(shí)找對(duì)正確的對(duì)象。
    如使用如下查詢則找不到任何命中對(duì)象（不存在“Alice Smith”這個(gè)對(duì)象）：

    {
"query": {
"nested": {
  "path": "user",
  "query": {
    "bool": {
      "must": [
        { "match": { "user.first": "Alice" }},
        { "match": { "user.last":  "Smith" }} 
      ]
    }
  }
}
}
}

    3.3. 地理數(shù)據(jù)類型

    地理數(shù)據(jù)類型可用于LBS的應(yīng)用，包括：

  • geo_point類型：可用于存儲(chǔ)某個(gè)地理坐標(biāo)的經(jīng)緯度。示例如下： 
    // location為geo_point類型
"location": { 
"lat": 41.12,
"lon": -71.34
}
  • geo_shape類型：用于存儲(chǔ)地理多邊形形狀，有興趣的讀者可以參考文獻(xiàn)1。

    3.4. 特殊數(shù)據(jù)類型

    特殊數(shù)據(jù)類型包括：

  • ip類型：用于表示IPv4與IPv6的地址
  • completion類型：提供自動(dòng)輸入關(guān)聯(lián)完成功能，如常見的baidu收縮框。
  • token_count類型：用于計(jì)算字符串token的長度，使用時(shí)需提供"analyzer"定義。
  • percolate類型：定義為percolate類型的字段會(huì)被ES分析為一個(gè)查詢并保存下來，并可用在后繼對(duì)文檔的查詢中。Percolate可以理解為一個(gè)預(yù)置的查詢。
  • alias類型：定義一個(gè)已存在域的別名。
  • join類型：該類型定義了文檔對(duì)象之間的父子關(guān)系（可定義多層，形成一顆層次樹），即同一索引中多個(gè)文檔對(duì)象可以存在依賴關(guān)系，如互聯(lián)網(wǎng)應(yīng)用常見的博客文章與回復(fù)，問題與回答之間的關(guān)系。參看文獻(xiàn)1中的如下示例：
    定義映射字段： 
    {
"my_join_field": {
    "type": "join",
    "relations": {
        "question": "answer"
    }
}
}

    my_join_field定義了"question"與"answer"之間關(guān)系為父子關(guān)系。
    觀察對(duì)于該映射的一個(gè)文檔實(shí)例，路徑為“my_index/_doc/1”：

    {
"text": "This is a question",
"my_join_field": "question" 
}

    該文檔的一個(gè)子文檔對(duì)象示例如下，在my_join_field需要定義父親的ID（這里根據(jù)上面的父實(shí)例，為1）：

    {
"text": "This is an answer",
"my_join_field": {
"name": "answer", 
"parent": "1" 
}
}

    需要注意的是，一個(gè)父文檔可以有多個(gè)子文檔，父子文檔應(yīng)部署在同一個(gè)分片上。因而在向ES提交父子文檔時(shí)，應(yīng)在URI中使用相同的routing參數(shù)。
    join類型定義了文檔之間的父子依賴關(guān)系，在查詢和聚合操作中可使用這種依賴關(guān)系。

    4. 映射參數(shù)

    JSON是JS對(duì)象序列化的字符串，ES接收一個(gè)JSON字符串形式的文檔對(duì)象，本質(zhì)上是存入一個(gè)JS對(duì)象，JS定義了對(duì)象，數(shù)組，字符串，數(shù)字，布爾型和null等數(shù)據(jù)類型。
    ES中的域數(shù)據(jù)類型可視為對(duì)JS對(duì)象數(shù)據(jù)類型的擴(kuò)展，如join,區(qū)間類型等都表示為js對(duì)象。
    在定義域映射時(shí)，ES定義了相關(guān)的映射參數(shù)，這里簡單列舉并描述，詳細(xì)信息可以查看文獻(xiàn)1。

參數(shù) 描述
analyzer定義對(duì)文本數(shù)據(jù)的分析器
normalizer對(duì)文本數(shù)據(jù)規(guī)范化
boost用于提升字段搜索的權(quán)重
coerce當(dāng)為false時(shí)，強(qiáng)制輸入值必須符合映射的域數(shù)據(jù)類型
copy_to將當(dāng)前域的值復(fù)制到另一個(gè)域中
doc_values當(dāng)該域不參與排序域聚合操作時(shí)，可設(shè)置為false使得不在磁盤上存儲(chǔ)Doc value（以列式存儲(chǔ)的文檔值）以節(jié)約磁盤空間。缺省為true
dynamic該參數(shù)控制在對(duì)象中檢測到的新的域（未在映射中定義）是否加入到域中，當(dāng)為false或strict時(shí)，新域不會(huì)加入到映射中。缺省為true
enabled主要應(yīng)用于object類型的域，當(dāng)設(shè)置為false,該域不被索引。缺省為true
fielddata對(duì)于text類型的域，如果該參數(shù)設(shè)置為true,該域的數(shù)據(jù)在第一次使用時(shí)會(huì)載入常駐于內(nèi)存中。缺省為false
format定義域數(shù)據(jù)的格式，用于日期類型
ignore_above定義字符串的有效長度
ignore_malformed如果設(shè)置為true,當(dāng)字段值與映射定義不一致時(shí)，不會(huì)拋出錯(cuò)誤。缺省為false
index缺省為true,當(dāng)設(shè)置為false時(shí)，該域不被索引，不可被搜索
null_value定義該域?yàn)榭罩禃r(shí)的格式，如使用“NULL”這樣的字符串
search_analyzer定義搜索時(shí)的analyzer,可與定義映射時(shí)使用的analyzer不同
store該值設(shè)置為true時(shí)，當(dāng)前域的原始值也存儲(chǔ)下來（在_source之外）。默認(rèn)為false

總結(jié)一下：

  • 與域數(shù)據(jù)格式及約束相關(guān)的參數(shù)：normalizer，format，ignore_above，ignore_malformed，coerce
  • 與索引相關(guān)的參數(shù)：index，dynamic，enabled
  • 與存儲(chǔ)策略相關(guān)的參數(shù)：store, fielddata，doc_values
  • 分析器相關(guān)參數(shù)：analyzer，search_analyzer
  • 其它參數(shù)：boost，copy_to，null_value
    對(duì)于這些參數(shù)的描述主要基于筆者的理解，可能有不準(zhǔn)確之處。實(shí)際上這些參數(shù)與ES的實(shí)現(xiàn)機(jī)制（如存儲(chǔ)結(jié)構(gòu)，索引結(jié)構(gòu)密切有關(guān)），只能在實(shí)際應(yīng)用中去慢慢體會(huì)。

    5. 一個(gè)設(shè)計(jì)實(shí)例

    在ES中設(shè)計(jì)一個(gè)索引的映射和在關(guān)系數(shù)據(jù)庫中設(shè)計(jì)關(guān)系模式，ER模型，在XML中設(shè)計(jì)XML Schema一樣。需要完整包含領(lǐng)域知識(shí)并滿足數(shù)據(jù)之間的約束。
    在這一節(jié)中我們探討一個(gè)使用ES構(gòu)建視頻圖像信息數(shù)據(jù)庫的實(shí)例。

    5.1. GA/T 1400.3的數(shù)據(jù)模型分析

    視頻圖像信息數(shù)據(jù)庫（以下簡稱視圖庫）基于GA/T 1400.3 標(biāo)準(zhǔn)定義，用于存儲(chǔ)視頻、圖像等基本對(duì)象(二進(jìn)制數(shù)據(jù))和由這些基本對(duì)象分析(可自動(dòng))出的屬性對(duì)象。
    在GA/T 1400.4中，定義了訪問視頻圖像信息數(shù)據(jù)庫的接口，這些接口以基于HTTP的restful形式定義，以JSON格式傳輸數(shù)據(jù)。因而使用ES作為視頻圖像信息數(shù)據(jù)庫的存儲(chǔ)容器可以利用ES的JSON文檔對(duì)象存儲(chǔ)和。
    在GA/T 1400.3中定義了視頻圖像信息數(shù)據(jù)庫的數(shù)據(jù)模型，該數(shù)據(jù)模型中定義了三十多個(gè)領(lǐng)域?qū)ο螅瑢?duì)象之間具有關(guān)聯(lián)關(guān)系。視圖庫中的對(duì)象定義主要包含以下特征：

  • 視圖庫中每個(gè)對(duì)象都定義了唯一ID用于標(biāo)識(shí)。
  • 對(duì)象之間存在父子（或因果）關(guān)系，關(guān)聯(lián)方式為：子對(duì)象中包含父對(duì)象的ID。如車道對(duì)象包含對(duì)應(yīng)卡口的ID；告警對(duì)象包含布控對(duì)象的ID；人、車、物對(duì)象包含其對(duì)應(yīng)的來源圖像ID和采集設(shè)備ID。
  • 對(duì)象之中嵌套子對(duì)象：如人、車、物對(duì)象中都包含子圖像列表對(duì)象。
    總的來說，視圖庫模型中的數(shù)據(jù)對(duì)象間的關(guān)聯(lián)關(guān)系比較簡單，也相對(duì)獨(dú)立。
    視圖庫中的對(duì)象的屬性（字段）被約束為三種類型：R(必選)，R/O（條件可選，當(dāng)滿足某個(gè)條件時(shí)該屬性必須存在）,O（可選）。
    不同于RDBMS，ES在映射對(duì)象的屬性時(shí)并沒有標(biāo)明值是否不為空的選項(xiàng)，因而需要在提交對(duì)象數(shù)據(jù)到ES前進(jìn)行數(shù)據(jù)的有效性檢驗(yàn)。在設(shè)計(jì)基于ES的視圖庫架構(gòu)設(shè)計(jì)時(shí)，這樣的數(shù)據(jù)有效性檢驗(yàn)服務(wù)(模塊)可放在API網(wǎng)關(guān)（或負(fù)載均衡網(wǎng)關(guān)）與ES之間，并根據(jù)實(shí)際場景的效率和完整性要求決定是否啟用。

    5.2. GA/T 1400.3的數(shù)據(jù)類型分析

    視圖庫規(guī)范定義對(duì)象字段的數(shù)據(jù)類型可為：

  • 基礎(chǔ)數(shù)據(jù)類型：包含字符串，整型數(shù)，長整型數(shù)，浮點(diǎn)數(shù)，日期時(shí)間，數(shù)組，對(duì)象?？膳cES的數(shù)據(jù)類型對(duì)應(yīng)。
  • 擴(kuò)展數(shù)據(jù)類型：定義了領(lǐng)域知識(shí)，對(duì)基礎(chǔ)數(shù)據(jù)類型做了一些約束形成擴(kuò)展數(shù)據(jù)類型。如道路類型（SceneType）定義為使用大長度為2的字符串表示的枚舉類型。

    5.3. File對(duì)象的映射分析

    以視圖庫中的File對(duì)象(GA/T 1400.3附錄A.7)為例，我們看看如何定義它的映射。
    在GA/T 1400.3中，它的XML Schema是這樣定義的：

    <complexType name="File">
<sequence>
<element name="FileID" type=" BasicObjectIdType"/>
<element name="InfoKind" type="InfoType" use="required"/>
<element name="Source" type="DataSourceType" use="required"/>
<element name="FileName" type="FileNameType" use="required"/>
<element name="StoragePath" type="string" />
<element name="FileHash" type="string" use="required"/>
<element name="FileFormat" type="string" use="required"/>
<element name="Title" type="string" use="required"/>
<element name="SecurityLevel" type="SecretLevelType" />
<element name="SubmiterName" type="NameType" />
<element name="SubmiterOrg" type="string" />
<element name="EntryTime" type="dateTime" />
<element name="FileSize" type="int"/>
</sequence>
</complexType>

    一個(gè)文件對(duì)象的對(duì)象實(shí)例如下所示。

    {
"FileObject": {
    "FileID": "31000000001190000138022019021416121100001",
    "InfoKind": 1, 
    "Source": "3",  
    "FileName": "tollgate_3_lane_4_20190214161211.jpg",
    "StoragePath": "/tollgate/3/lane/4/images",
    "FileHash": "38b8c2c1093dd0fec383a9d9ac940515",
    "FileFormat": "Jpeg",
    "Title": "tollgate_3_lane_4_20190214161211",
    "SecurityLevel": "3",
    "SubmiterName": "zhangkai",
    "SubmiterOrg": "pudong",
    "EntryTime": "20190214161214",
    "FileSize": 94208
}
}

    分析該對(duì)象中的各屬性字段，整理出下表：

字段名稱 標(biāo)準(zhǔn)中的數(shù)據(jù)類型定義 ES中對(duì)應(yīng)類型 備注
FileIDstring(41)type:keyword <br> doc_values:false <br>ignore_above : 41不參與排序與聚合
InfoKindinttype: integer<br>coerce: false
Sourcestring(2)type:keyword<br> ignore_above : 2
FileNamestring(0..256)type:keyword<br>ignore_above : 256
StoragePathstring(256)type:keyword<br>doc_values:false<br>ignore_above : 256不參與排序與聚合
FileHashstring(32)type:keyword<br>doc_values:false<br> ignore_above : 32不參與排序與聚合
FileFormatstring(32)type:keyword<br>ignore_above : 32
Titlestring(128)type:keyword <br>ignore_above : 128
SecurityLevelString(1)type:keyword<br> ignore_above : 1
SubmiterNamestring(0..50)type:keyword <br>ignore_above : 50
SubmiterOrgstring(0..100)type:keyword <br>ignore_above : 100
EntryTimedateTimetype: date <br>format：yyyyMMddHHmmss格式為：YYYYMMDDhhmmss
FileSizeinttype: integer <br> coerce: false

5.4. File對(duì)象的映射定義

我們使用如下命令在ES中創(chuàng)建索引file（注意這里的index.mapping.coerce被設(shè)置為false）：

curl -iXPUT 'localhost:9200/file?pretty' -H "Content-type: application/json" -d' 
{
  "settings": {
     "number_of_shards":3,
     "number_of_replicas":1,
     "index.mapping.coerce": false
  }
}
'

使用如下命令修改file索引的映射：

curl -iXPUT 'localhost:9200/file/_mapping/object?pretty' -H "Content-type: application/json" -d'
{
    "properties": {
        "FileObject": {
            "properties": {
                "FileID": {
                    "type": "keyword",
                    "doc_values": false,
                    "ignore_above": 41
                },
                "InfoKind": {
                    "type": "integer",
                    "coerce": false
                },
                "Source": {
                    "type": "keyword",
                    "ignore_above": 2
                },
                "FileName": {
                    "type": "keyword",
                    "ignore_above": 256
                },
                "StoragePath": {
                    "type": "keyword",
                    "doc_values": false,
                    "ignore_above": 256
                },
                "FileHash": {
                    "type": "keyword",
                    "doc_values": false,
                    "ignore_above": 32
                },
                "FileFormat": {
                    "type": "keyword",
                    "ignore_above": 32
                },
                "Title": {
                    "type": "keyword",
                    "ignore_above": 128
                },
                "SecurityLevel": {
                    "type": "keyword",
                    "ignore_above": 1
                },
                "SubmiterName": {
                    "type": "keyword",
                    "ignore_above": 50
                },
                "SubmiterOrg": {
                    "type": "keyword",
                    "ignore_above": 100
                },
                "EntryTime": {
                    "type": "date",
                    "format": "yyyyMMddHHmmss"
                },
                "FileSize": {
                    "type": "integer",
                    "coerce": false
                }
            }
        }
    }
}
'

使用如下命令查看file的映射信息：

curl -iXGET 'localhost:9200/file/_mapping?pretty'

可以看到返回的映射信息：

{
  "file" : {
    "mappings" : {
      "object" : {
        "properties" : {
          "FileObject" : {
            "properties" : {
              "EntryTime" : {
                "type" : "date",
                "format" : "yyyyMMddHHmmss"
              },
              "FileFormat" : {
                "type" : "keyword",
                "ignore_above" : 32
              },
              "FileHash" : {
                "type" : "keyword",
                "doc_values" : false,
                "ignore_above" : 32
              },
              "FileID" : {
                "type" : "keyword",
                "doc_values" : false,
                "ignore_above" : 41
              },
              "FileName" : {
                "type" : "keyword",
                "ignore_above" : 256
              },
              "FileSize" : {
                "type" : "integer",
                "coerce" : false
              },
              "InfoKind" : {
                "type" : "integer",
                "coerce" : false
              },
              "SecurityLevel" : {
                "type" : "keyword",
                "ignore_above" : 1
              },
              "Source" : {
                "type" : "keyword",
                "ignore_above" : 2
              },
              "StoragePath" : {
                "type" : "keyword",
                "doc_values" : false,
                "ignore_above" : 256
              },
              "SubmiterName" : {
                "type" : "keyword",
                "ignore_above" : 50
              },
              "SubmiterOrg" : {
                "type" : "keyword",
                "ignore_above" : 100
              },
              "Title" : {
                "type" : "keyword",
                "ignore_above" : 128
              }
            }
          }
        }
      }
    }
  }
}

現(xiàn)在我們可以向file索引提交數(shù)據(jù)對(duì)象了，使用如下命令：

curl -iXPOST 'localhost:9200/file/object/31000000001190000138022019021416121100001?pretty'  -H "Content-type: application/json" -d'
{
    "FileObject": {
        "FileID": "31000000001190000138022019021416121100001",
        "InfoKind": 1, 
        "Source": "3",  
        "FileName": "tollgate_3_lane_4_20190214161211.jpg",
        "StoragePath": "/tollgate/3/lane/4/images",
        "FileHash": "38b8c2c1093dd0fec383a9d9ac940515",
        "FileFormat": "Jpeg",
        "Title": "tollgate_3_lane_4_20190214161211",
        "SecurityLevel": "3",
        "SubmiterName": "zhangkai",
        "SubmiterOrg": "pudong",
        "EntryTime": "20190214161214",
        "FileSize": 94208
    }
}
'

5.5. 小結(jié)

視圖庫中對(duì)象的字段不用進(jìn)行全文檢索，也可以使用關(guān)系數(shù)據(jù)庫作為存儲(chǔ)容器，但需要對(duì)JSON數(shù)據(jù)進(jìn)行反序列化解析相應(yīng)字段入庫，查詢出庫時(shí)需要將多個(gè)字段序列化為JSON數(shù)據(jù)。固然在編程時(shí)可以使用ORM和JSON序列化中間件來完成工作，但在海量請(qǐng)求下，效率會(huì)有影響。使用ES可以利用ES的restful接口和JSON存儲(chǔ)格式的天然特性以契合規(guī)范要求。

在視圖庫規(guī)范中有一些自定義的約束，這些涉及數(shù)據(jù)有效性檢驗(yàn)的服務(wù)應(yīng)該部署在ES入庫之前。在本實(shí)例中，更多的是把ES作為一個(gè)Nosql數(shù)據(jù)庫使用。

6. 參考文獻(xiàn)

  1. https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
  2. Clinton Gormley &Zachary Tong, Elasticsearch: The Definitive Guide,2015
  3. GA/T 1400.3 公安視頻圖像信息應(yīng)用系統(tǒng) 第3部分：數(shù)據(jù)庫技術(shù)要求，2017

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

本文題目：編程隨筆-ElasticSearch知識(shí)導(dǎo)圖(3)：映射-創(chuàng)新互聯(lián)
分享鏈接：http://bm7419.com/article48/cdgdhp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、App開發(fā)、小程序開發(fā)、網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

微信小程序開發(fā)