第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

首頁 慕課教程 SQL 入門教程 SQL 入門教程 實戰(zhàn)6：PostgreSQL全文檢索功能實戰(zhàn)
pedrogao · 更新于 2020-03-19

實戰(zhàn)6：PostgreSQL 全文檢索功能實戰(zhàn)

1. 前言

本小節(jié)，我們一起來學(xué)習(xí) PostgreSQL 中的一大殺器——FTS（Full Text Search，全文檢索）。

提到全文搜索，你是否立刻想到了大名鼎鼎的Lucene和Elasticsearch。Elasticsearch 基于 Lucene ，并為開發(fā)者提供豐富的接口和工具，但是這也造成了它日益龐大。

使用它，你得備上一個大的服務(wù)器，一個優(yōu)秀的運維團隊，還要承受數(shù)據(jù)同步的心智負擔(dān)。但你的需求其實很簡單，只是一個小功能搜索，或者一個簡單的全站搜索。如果在項目的初期，花費如此大成本在搜索上有些得不償失。

如果數(shù)據(jù)庫本身就支持全文檢索，那該多好??！沒錯，PostgreSQL 就支持全文搜索，而且很強大，還支持插件擴展定制。

2. FTS配置庫

2.1 PostgreSQL 默認 FTS

PostgreSQL 全文搜索是通過 FTS 配置庫來支持的，大多數(shù) PostgreSQL 發(fā)行版都自帶了 10 個以上的 FTS 配置庫，我們可以通過psql的\dF命令來查看已安裝的配置庫：

                  List of text search configurations
   Schema   |    Name    |                Description
------------+------------+--------------------------------------------
 pg_catalog | arabic     | configuration for arabic language
 pg_catalog | danish     | configuration for danish language
 pg_catalog | dutch      | configuration for dutch language
 pg_catalog | english    | configuration for english language
 pg_catalog | finnish    | configuration for finnish language
 pg_catalog | french     | configuration for french language
 pg_catalog | german     | configuration for german language
 pg_catalog | hungarian  | configuration for hungarian language
.......

可以看到 PostgreSQL 默認已經(jīng)安裝了大量的 FTS 搜索配置庫，但是很不幸沒有中文配置庫。但好在，PostgreSQL 支持插件的形式來擴展 FTS，所以我們可以使用成熟的擴展庫。

2.2 pg_jiebe FTS

jieba是國內(nèi)一個頗為著名分詞庫，如果你是 Python 開發(fā)者，那么一定聽過它的大名。有貢獻者為 PostgreSQL 提供了 jieba 分詞插件——pg_jieba，讓我們可以在 PostgreSQL 使用到中文全文檢索。

如果你想跟著我們一起，完成本節(jié)的實戰(zhàn)內(nèi)容，那么請先點開此鏈接安裝 pg_jieba。

如果你安裝成功，那么可以通過\dF命令來找到jieba相關(guān)的分詞配置：

 public     | jiebacfg   | Mix segmentation configuration for jieba
 public     | jiebahmm   | Hmm segmentation configuration for jieba
 public     | jiebamp    | MP segmentation configuration for jieba
 public     | jiebaqry   | Query segmentation configuration for jieba

可以看到jieba提供了4種分類器，它們分別對應(yīng)了不同的分詞算法，如果你感興趣，可以查閱相關(guān)的資料，這里我們不做過多的介紹，默認使用jiebacfg即可。

3. 基本使用

3.1 FTS 流程

全文搜索大致可分為兩部分：

  1. 構(gòu)建文本對應(yīng)的索引（倒排索引）
  2. 通過搜索索引來找到對應(yīng)的文本

3.2 文本向量化

在 FTS 中，原始文本在構(gòu)建索引之前需要被向量化。原始文本（如：字符串）必須先被向量化后才能通過 FTS 對其檢索，向量化后的內(nèi)容需要存儲到一個單獨的向量字段中，該向量的數(shù)據(jù)類型是tsvector。

PostgreSQL 提供了to_tsvector函數(shù)來將原始文本向量化，如下：

SELECT * FROM to_tsvector('jiebacfg','SQL，你敢吃我俺老孫一棒嗎？');

                to_tsvector
-------------------------------------------
 'sql':1 '一棒嗎':9 '吃':5 '敢':4 '老孫':8

tsvector是由（詞，序列）元組組成的列表，如sql是原始文本中的第一個詞，所以它的序列是1。

3.3 搜索關(guān)鍵字向量化

有了索引后，我們?nèi)绾蝸硭阉魉饕耍?/p>

一般情況下，我們是通過關(guān)鍵詞來檢索的，那么如何來組織關(guān)鍵詞呢？

PostgreSQL 提供了to_tsquery函數(shù)來將詞組織成tsquery向量，然后通過向量去搜索。如下：

SELECT to_tsquery('sql & java');

   to_tsquery
----------------
 'sql' & 'java'

tsquery是一種特殊的數(shù)據(jù)類型，它會將關(guān)鍵詞拼接來表示搜索條件，如&表示搜索的內(nèi)容必須包含sql和java。舉個復(fù)雜的例子：

SELECT to_tsquery('sql & (java | python)');

          to_tsquery
-------------------------------
 'sql' & ( 'java' | 'python' )

這個例子表示，搜索的內(nèi)容必須包含sql和java與python中的一種。

3.4 搜索關(guān)鍵句向量化

當然你也可以使用句子來搜索：

SELECT * FROM to_tsquery('jiebacfg','SQL難道不香嗎？');

        to_tsquery
---------------------------
 'sql' & '難道' & '不香嗎'

在輸入句子的情況下，to_tsquery會自動將句子分詞，然后將其拼接為tsquery。

3.5 FTS 總結(jié)

我們總結(jié)一下 FTS 的使用：

  1. 原始文本，即字符串不能被直接搜索，我們通過 to_tsvector 函數(shù)將其向量化為詞組，并保存到某個字段中，該字段數(shù)據(jù)類型為 tsvector。
  2. tsvector 的字段存儲的是詞與詞序列的元組，需要新建 gin 索引才能使用搜索，下面會介紹。
  3. 搜索條件，狹義上可以理解成搜索關(guān)鍵字，也需要通過 to_tsquery 來向量化，且類型為 tsquery。
  4. 使用 tsquery 去搜索 tsvector，在下面的部分會介紹到。

4. 實踐

接下來，我們以實踐的角度來使用和學(xué)習(xí)一下 FTS。

4.1 文章搜索

假設(shè)某個應(yīng)用有一個文章搜索功能點，我們將通過 FTS 來實現(xiàn)它。

首先，我們新建文章數(shù)據(jù)表：

DROP TABLE IF EXISTS article;
CREATE TABLE article
(
  id      serial PRIMARY KEY,
  title   varchar(40),
  content text
);

id是每篇文章的唯一標識，title是標題，content是文章內(nèi)容，我們省略了其它信息。然后我們插入幾條記錄：

INSERT INTO article(id, title, content)
VALUES (1, '科學(xué)和人文誰更有意義', '科學(xué)和人文誰更有意義，發(fā)生了會如何，不發(fā)生又會如何。 本人也是經(jīng)過了深思熟慮，在每個日日夜夜思考這個問題。 一般來講，我們都必須務(wù)必慎重的考慮考慮。 本人也是經(jīng)過了深思熟慮，在每個日日夜夜思考這個問題。 馬云曾經(jīng)提到過，最大的挑戰(zhàn)和突破在于用人，而用人最大的突破在于信任人。我希望諸位也能好好地體會這句話。 既然如此， 科學(xué)和人文誰更有意義，發(fā)生了會如何，不發(fā)生又會如何。 富勒在不經(jīng)意間這樣說過，苦難磨煉一些人，也毀滅另一些人。這啟發(fā)了我， 塞內(nèi)加曾經(jīng)提到過，勇氣通往天堂，怯懦通往地獄。這不禁令我深思。 '),
(2, '編程的藝術(shù)','對我個人而言，編程的藝術(shù)不僅僅是一個重大的事件，還可能會改變我的人生。 編程的藝術(shù)，到底應(yīng)該如何實現(xiàn)。 伏爾泰曾經(jīng)提到過，堅持意志偉大的事業(yè)需要始終不渝的精神。這似乎解答了我的疑惑。 既然如何， 生活中，若編程的藝術(shù)出現(xiàn)了，我們就不得不考慮它出現(xiàn)了的事實。 我們不得不面對一個非常尷尬的事實，那就是， 莎士比亞曾經(jīng)說過，拋棄時間的人，時間也拋棄他。這啟發(fā)了我， 編程的藝術(shù)因何而發(fā)生？ 要想清楚，編程的藝術(shù)，到底是一種怎么樣的存在。 編程的藝術(shù)的發(fā)生，到底需要如何做到，不編程的藝術(shù)的發(fā)生，又會如何產(chǎn)生。 既然如此， 那么。'),
(3, '生命在于創(chuàng)造','在這種困難的抉擇下，本人思來想去，寢食難安。 帶著這些問題，我們來審視一下生命在于創(chuàng)造。 我認為， 一般來說， 生命在于創(chuàng)造因何而發(fā)生？ 可是，即使是這樣，生命在于創(chuàng)造的出現(xiàn)仍然代表了一定的意義。 生命在于創(chuàng)造，到底應(yīng)該如何實現(xiàn)。 問題的關(guān)鍵究竟為何？ 生活中，若生命在于創(chuàng)造出現(xiàn)了，我們就不得不考慮它出現(xiàn)了的事實。 生命在于創(chuàng)造因何而發(fā)生？ 莎士比亞曾經(jīng)提到過，人的一生是短的，但如果卑劣地過這一生，就太長了。我希望諸位也能好好地體會這句話。');

4.2 構(gòu)建文章索引

有了標題和內(nèi)容后，我們需要為每篇文章單獨新建一個字段fts用來表示每篇文章的 tsvector 字段，并且給 fts 字段創(chuàng)建 gin 索引，這樣后面就可以通過該字段來搜索文章了。

ALTER TABLE article ADD COLUMN fts tsvector;
UPDATE article
SET fts = setweight(to_tsvector('jiebacfg', title), 'A') ||
          setweight(to_tsvector('jiebacfg', content), 'B');
CREATE INDEX article_fts_gin_index ON article USING gin (fts);

在 SQL 語句中，我們首先為article數(shù)據(jù)表新增了一個fts字段，字段類型為tsvector。有了該字段后，我們需要為該字段賦值，通過to_tsvector我們將每篇文章的title和content分別向量化。

由于title和content的重要性不一樣，文章的標題明顯比內(nèi)容數(shù)據(jù)更加重要，因此setweight設(shè)置標題的權(quán)重為A，而內(nèi)容的權(quán)重為B，A的重要性大于B。||操作符合并向量后將結(jié)果賦給fts。

到此，article 表中新增了一個 fts 字段，字段中是標題和內(nèi)容詞組的列表。最后為 fts 字段我們新建了索引 article_fts_gin_index 來加速我們的搜索效率。

提示： || 操作符是 PostgreSQL 的一個特點，表示連接、合并。

4.3 使用 FTS

接下來，我們便可以使用全文搜索了，搜索條件是文章需包含問題關(guān)鍵字，如下：

SELECT title FROM article WHERE fts @@ to_tsquery('問題');

        title
----------------------
 科學(xué)和人文誰更有意義
 生命在于創(chuàng)造

PostgreSQL 提供@@操作符來搜索，上面語句將問題通過to_tsquery轉(zhuǎn)化為向量后，使用@@來搜索。從結(jié)果中可以看出，與問題相關(guān)的文章有兩篇。

注意： 在 article 表中，只有 fts 是 tsvector 字段，因此只有它能使用 @@ 操作符。

我們再嘗試一下復(fù)雜的搜索，搜索條件是文章必須含有問題和生命兩個關(guān)鍵字：

SELECT title FROM article WHERE fts @@ to_tsquery('問題 & 生命');

    title
--------------
 生命在于創(chuàng)造

4.4 完善文章搜索

從結(jié)果中可以看到，全文搜索已經(jīng)可以工作了，但它還不完備，如果更新或者添加文章，內(nèi)容發(fā)生了改變，那么索引也應(yīng)該隨之變化，我們可以使用觸發(fā)器來解決這個需求點。運行如下 SQL：

DROP TRIGGER IF EXISTS trig_article_insert_update ON article;
CREATE TRIGGER trig_article_insert_update
  BEFORE INSERT OR UPDATE OF title,content
  ON article
  FOR EACH ROW
EXECUTE PROCEDURE tsvector_update_trigger(fts, 'public.jiebacfg', title, content);

有了 trig_article_insert_update 這個觸發(fā)器后，article 表中插入或 title,content 的更新都會引起 fts 向量的重建，由此一個比較完備的全文檢索功能點也就完成了。

我們的全文搜索實戰(zhàn)到此就結(jié)束了，你完全可以按照這種模式改編成你自己的應(yīng)用，讓它支持炫酷的全文搜索功能。

5. 小結(jié)

  • PostgreSQL的全文搜索的功能還是非常強大的，本節(jié)內(nèi)容僅僅只是一部分，你可以閱讀官方文檔獲取更多的信息。
  • 如果你需要強大的全文搜索功能以及數(shù)據(jù)分析能力，Elasticsearch或許更加適合你。