๐ฅณGeneral
Last updated
Last updated
ๅ ๆพไธไธชๅฎๆนๆๆกฃไธญ็ๆปๆถๆๅพ๏ผ
ไธไบๅบๆฌๅ่ฏ๏ผ
Placement Driver๏ผ PD ๆฏ TiKV ็้็พค็ฎก็ๅจ๏ผๅฎๅฎๆๆฃๆฅๅคๅถ็บฆๆไปฅ่ชๅจๅนณ่กก่ด่ฝฝๅๆฐๆฎใ
Store๏ผๆฏไธชStoreๅ ้จ้ฝๆไธไธชRocksDB๏ผๅฐๆฐๆฎๅญๅจๅฐๆฌๅฐ็ฃ็ไธญใ
Region๏ผ RegionๆฏKey-Valueๆฐๆฎ็งปๅจ็ๅบๆฌๅไฝใๆฏไธชRegion่ขซๅคๅถๅฐๅคไธช่็นใ่ฟไบๅคไธชๅฏๆฌ็ปๆไบไธไธช Raft ็ปใ
Node๏ผ้็พคไธญ็ไธไธช็ฉ็่็นใๅจๆฏไธช่็นๅ ๏ผๆไธไธชๆๅคไธช Storeใๅจๆฏไธช Store ไธญ๏ผๆ่ฎธๅค Regionใ
ๅฝไธไธช่็นๅฏๅจๆถ๏ผNodeใStore ๅ Region ็ๅ ๆฐๆฎ้ฝไผ่ฎฐๅฝๅฐ PD ไธญใๆฏไธช Region ๅ Store ็็ถๆ้ฝไผๅฎๆไธๆฅ็ป PDใ
ไธไผ ็ป็ๆด่็นๅคไปฝๆนๅผไธๅ๏ผTiKV ๅ่ Spanner ่ฎพ่ฎกไบ multi-raft-group ็ๅฏๆฌๆบๅถ๏ผ
ๅฐๆฐๆฎๆ็ ง key ็่ๅดๅๅๆๅคง่ด็ธ็ญ็ๅ็๏ผไธๆ็ป็งฐไธบ Region๏ผ๏ผๆฏไธชRegion็ๆฐๆฎ้ฝไฟๅญๅจไธไธช่็นไธใTikvๆฏไปฅRegionไธบๅไฝๅๆฐๆฎ็ๅคๅถ๏ผๆฏไธไธชRegionไผๆๅคไธชๅฏๆฌReplica๏ผ้ๅธธๆฏ 3 ไธช๏ผ๏ผๅคไธชReplicaไฟๅญๅจไธๅ็่็นไธ๏ผๆๆไธไธชRaft Groupใๅ ถไธญไธไธชๅฏๆฌๆฏ Leader๏ผๆไพ่ฏปๅๆๅก๏ผๅ ถไฝๅฏๆฌไธบFollowerใๆๆ็่ฏปๅๅ้ฝๆฏ้่ฟLeader่ฟ่ก๏ผๅ็ฑLeaderๅคๅถ็ปFollowerใ
TiKV ้่ฟ PD ๅฏน่ฟไบ Region ไปฅๅๅฏๆฌ่ฟ่ก่ฐๅบฆ๏ผไปฅไฟ่ฏๅฐRegionๅฐฝๅฏ่ฝๅๅ็ๆฃๅธๅจ้็พค็ๆๆ็่็นไธ๏ผไธๆน้ขๅฎ็ฐไบๅญๅจๅฎน้็ๆฐดๅนณๆฉๅฑ๏ผๆฐๅข่็น๏ผไผ่ชๅจๅฐๅ ถไป่็นไธญ็Region่ฐๅบฆ่ฟๆฅ๏ผ๏ผๅฆไธๆน้ขไนๅฎ็ฐไบ่ด่ฝฝๅ่กก๏ผไธไผๅบ็ฐๆไธช่็นๆๅพๅคๆฐๆฎ๏ผ่ๅ ถไป่็นๆฒกๆไปไนๆฐๆฎ็ๆ ๅต๏ผใๅๆถไธบไบไฟ่ฏไธๆฌกๅฎขๆท็ซฏ่ฝๅค่ฎฟ้ฎๆ้่ฆ็ๆฐๆฎใ็ฑTiKV driverๆฅๅฐไธๅฑ่ฏญๅฅๆ ๅฐๅฐๆญฃ็กฎ็่็นใ
่ฟๆ ท็่ฎพ่ฎกไฟ่ฏไบๆดไธช้็พค่ตๆบ็ๅ ๅๅฉ็จๅนถไธๅฏไปฅ้็ๆบๅจๆฐ้็ๅขๅ ๆฐดๅนณๆฉๅฑใ
ไธ่ฟ่ฝ็ถ TiKV ๅฐๆฐๆฎๆ็ ง่ๅดๅๅฒๆไบๅคไธช Region๏ผไฝๆฏๅไธไธช่็น็ๆๆ Region ๆฐๆฎไป็ถๆฏไธๅ ๅบๅๅฐๅญๅจไบๅไธไธช RocksDB ๅฎไพไธ๏ผ่็จไบ Raft ๅ่ฎฎๅคๅถๆ้่ฆ็ๆฅๅฟๅๅญๅจไบๅฆไธไธช RocksDB ๅฎไพใ่ฟๆ ท่ฎพ่ฎก็ๅๅ ๆฏ้ๆบ I/O ็ๆง่ฝ่ฟไฝไบ้กบๅบ I/O๏ผๆไปฅ TiKV ไฝฟ็จๅไธไธช RocksDB ๅฎไพๆฅๅญๅจ่ฟไบๆฐๆฎ๏ผไปฅไพฟไธๅ Region ็ๅๅ ฅๅฏไปฅๅๅนถๅจไธๆฌก I/O ไธญใ
Region ไธๅฏๆฌไน้ด้่ฟ Raft ๅ่ฎฎๆฅ็ปดๆๆฐๆฎไธ่ดๆง๏ผไปปไฝๅ่ฏทๆฑ้ฝๅช่ฝๅจ Leader ไธๅๅ ฅ๏ผๅนถไธ้่ฆๅๅ ฅๅคๆฐๅฏๆฌๅ๏ผ้ป่ฎค้ ็ฝฎไธบ 3 ๅฏๆฌ๏ผๅณๆๆ่ฏทๆฑๅฟ ้กป่ณๅฐๅๅ ฅไธคไธชๅฏๆฌๆๅ๏ผๆไผ่ฟๅๅฎขๆท็ซฏๅๅ ฅๆๅใ
ๅฝๆไธช Region ็ๅคงๅฐ่ถ ่ฟไธๅฎ้ๅถ๏ผ้ป่ฎคๆฏ 144MB๏ผๅ๏ผTiKV ไผๅฐๅฎๅ่ฃไธบไธคไธชๆ่ ๆดๅคไธช Region๏ผไปฅไฟ่ฏๅไธช Region ็ๅคงๅฐๆฏๅคง่ดๆฅ่ฟ็๏ผ่ฟๆ ทๆดๆๅฉไบ PD ่ฟ่ก่ฐๅบฆๅณ็ญใๅๆ ท๏ผๅฝๆไธช Region ๅ ไธบๅคง้็ๅ ้ค่ฏทๆฑๅฏผ่ด Region ็ๅคงๅฐๅๅพๆดๅฐๆถ๏ผTiKV ไผๅฐๆฏ่พๅฐ็ไธคไธช็ธ้ป Region ๅๅนถไธบไธไธชใ
ๅฝ PD ้่ฆๆๆไธช Region ็ไธไธชๅฏๆฌไปไธไธช TiKV ่็น่ฐๅบฆๅฐๅฆไธไธชไธ้ขๆถ๏ผPD ไผๅ ไธบ่ฟไธช Raft Group ๅจ็ฎๆ ่็นไธๅขๅ ไธไธช Learner ๅฏๆฌ๏ผ่ฝ็ถไผๅคๅถ Leader ็ๆฐๆฎ๏ผไฝๆฏไธไผ่ฎกๅ ฅๅ่ฏทๆฑ็ๅคๆฐๅฏๆฌไธญ๏ผใๅฝ่ฟไธช Learner ๅฏๆฌ็่ฟๅบฆๅคง่ด่ฟฝไธ Leader ๅฏๆฌๆถ๏ผLeader ไผๅฐๅฎๅๆดไธบ Follower๏ผไนๅๅ็งป้คๆไฝ่็น็ Follower ๅฏๆฌ๏ผ่ฟๆ ทๅฐฑๅฎๆไบ Region ๅฏๆฌ็ไธๆฌก่ฐๅบฆใ
Leader ๅฏๆฌ็่ฐๅบฆๅ็ไน็ฑปไผผ๏ผไธ่ฟ้่ฆๅจ็ฎๆ ่็น็ Learner ๅฏๆฌๅไธบ Follower ๅฏๆฌๅ๏ผๅๆง่กไธๆฌก Leader Transfer๏ผ่ฎฉ่ฏฅ Follower ไธปๅจๅ่ตทไธๆฌก้ไธพๆไธบๆฐ Leader๏ผไนๅๆฐ Leader ่ด่ดฃๅ ้คๆง Leader ่ฟไธชๅฏๆฌใ
Regionๆฉๅผ ๆถๅฆๆๅญๅจLeader็้ฎ้ข๏ผๅฏไปฅๅ่ฟไธชไพๅญไธๆ ท่งฃๅณ๏ผ
่็นAไธญไธไธชRegion๏ผๅ ถไป่็นไธคไธชRegionใไธบไบ็ผ่งฃ่็นA็ๅๅ๏ผๅฐ่็นAไธญ็Region 1 ่ฝฌ็งปๅฐๆฐๅปบ่็นEใไฝๆญคๆถ็ฑไบRegion1็leaderๅจ่็นAไธญ๏ผๆไปฅไผๅ ๆLeader่็นไป่็นA่ฝฌๅฐ่็นBใ ไนๅๅจ่็นEไธญๅขๅ ไธไธชRegion 1็ๅฏๆฌใๅไป่็นAไธญ็งป้คRegion 1็ๅฏๆฌใๆๆ่ฟไธๅ้ฝ่ขซPlacement Driver่ชๅจๆง่ก็ใๅฏไธ่ฆๅ็ๅฐฑๆฏๅ็ฐ็ณป็ป็นๅฟๆถๅฐฑๆทปๅ ่็นใ
Raft็ไผๅ๏ผ
ๅๅง็Raft ๏ผ Leader ๆถๅฐ client ๅ้็ request โ Leader ๅฐ request append ๅฐ่ชๅทฑ็ log โ Leader ๅฐๅฏนๅบ็ log entry ๅ้็ปๅ ถไป็ follower โ Leader ็ญๅพ follower ็็ปๆ๏ผๅฆๆๅคงๅคๆฐ่็นๆไบคไบ่ฟไธช log๏ผๅ apply โ Leader ๅฐ็ปๆ่ฟๅ็ป client โ Leader ็ปง็ปญๅค็ไธไธๆฌก requestใ
ๅฉ็จๅผๆญฅapplyๆน่ฟRaft๏ผLeader ๆฅๅไธไธช client ๅ้็ request โ Leader ๅฐๅฏนๅบ็ log ๅ้็ปๅ ถไป follower ๅนถๆฌๅฐ append โ Leader ็ปง็ปญๆฅๅๅ ถไป client ็ requests๏ผๆ็ปญ่ฟ่กๆญฅ้ชค 2 โ Leader ๅ็ฐ log ๅทฒ็ป่ขซ committed๏ผๅจๅฆไธไธช็บฟ็จ apply โ Leader ๅผๆญฅ apply log ไนๅ๏ผ่ฟๅ็ปๆ็ปๅฏนๅบ็ clientใ
Placement Driver็ๆง็ๆฐๆฎๆ๏ผ - ๆป็ฃ็ๅฎน้ - ๅฏ็จ็ฃ็ๅฎน้ - ๆฟ่ฝฝ็ Region ๆฐ้ - ๆฐๆฎๅๅ ฅ้ๅบฆ - ๅ้/ๆฅๅ็ Snapshot ๆฐ้(Replica ไน้ดๅฏ่ฝไผ้่ฟ Snapshot ๅๆญฅๆฐๆฎ) - ๆฏๅฆ่ฟ่ฝฝ - ๆ ็ญพไฟกๆฏ - ๆ ็ญพๆฏๅ ทๅคๅฑ็บงๅ ณ็ณป็ไธ็ณปๅ Tag
ๆฏไธช TiKV ๅฎไพ็ๆถๆๅฆไธๅพๆ็คบ๏ผ
Placement Driverๆฏๆดไธช็ณป็ปไธญ็ไธไธช่็น๏ผๅฎไผๆถๅป็ฅ้็ฐๅจๆดไธช็ณป็ป็็ถๆใๆฏๅฆ่ฏดๆฏไธชๆบๅจ็่ด่ฝฝ๏ผๆฏไธชๆบๅจ็ๅฎน้๏ผๆฏๅฆๆๆฐๅ ็ๆบๅจ๏ผๆฐๅ ๆบๅจ็ๅฎน้ๅฐๅบๆฏๆไนๆ ท็๏ผๆฏไธๆฏๅฏไปฅๆไธ้จๅๆฐๆฎๆช่ฟๅป๏ผๆฏไธๆฏไนๆฏไธๆ ทไธ็บฟ๏ผ ๅฆๆไธไธช่็นๅจๅๅ้ไนๅ ๆ ๆณ่ขซๅ ถไป่็นๆขๆตๅฐ๏ผ่ฎคไธบๅฎๅทฒ็ปๆไบ๏ผไธ็ฎกๅฎๅฎ้ ไธๆฏไธๆฏ็็ๆไบ๏ผไฝไน่ฎคไธบๅฎๆไบใๅ ไธบ่ฟไธชๆถๅๆฏๆ้ฃ้ฉ็๏ผๅฆๆ่ฟไธชๆบๅจไธไธ็็ๆไบ๏ผๆๅณ็็ฐๅจๆบๅจ็ๅฏๆฌๆฐๅชๆไธคไธช๏ผๆไธ้จๅๆฐๆฎ็ๅฏๆฌๆฐๅชๆไธคไธชใ้ฃไน็ฐๅจๅฟ ้กป้ฉฌไธ่ฆๅจ็ณป็ป้้ข้ๆฐ้ไธๅฐๆบๅจๅบๆฅ๏ผๅฎไธ้ขๆ่ถณๅค็็ฉบ้ด๏ผ็ฐๅจๅชๆไธคไธชๅฏๆฌ็ๆฐๆฎ้ๆฐๅๅไธไปฝๆฐ็ๅคๅถ๏ผ็ณป็ปๅง็ป็ปดๆๅจไธไธชๅฏๆฌใๆดไธช็ณป็ป้้ขๅฆๆๆบๅจๆๆไบ๏ผๅฏๆฌๆฐๅฐไบ๏ผ่ฟไธชๆถๅๅบ่ฏฅไผ่ขซ่ชๅจๅ็ฐ๏ผ้ฉฌไธ่กฅๅ ๆฐ็ๅฏๆฌ๏ผ่ฟๆ ทไผ็ปดๆๆดไธช็ณป็ป็ๅฏๆฌๆฐใ่ฟๆฏๅพ้่ฆ็ ๏ผไธบไบ้ฟๅ ๆฐๆฎไธขๅคฑ๏ผๅฟ ้กป็ปดๆ่ถณๅค็ๅฏๆฌๆฐ๏ผๅ ไธบๅฏๆฌๆฐๆฏๅฐไธไธช๏ผ้ฃ้ฉๅฐฑไผๅๅขๅ ใ่ฟๅฐฑๆฏPlacement Driverๅ็ไบๆ ใ
ๅๆถ๏ผPlacement Driver ่ฟไผๆ นๆฎๆง่ฝ่ด่ฝฝ๏ผไธๆญๅปmove่ฟไธชdata ใๆฏๅฆ่ฏด่ด่ฝฝๅทฒ็ปๅพ้ซไบ๏ผไธไธช็ฃ็ๅ่ฎพๆ 100G๏ผ็ฐๅจๅทฒ็ป็จไบ 80G๏ผๅฆๅคไธไธชๆบๅจไธไนๆฏ 100G๏ผไฝๆฏๅช็จไบ 20G๏ผๆไปฅ่ฟไธ้ข่ฟๅฏไปฅๆๅ ๅ G ็ๆฐๆฎ๏ผๆฏๅฆ 40G ็ๆฐๆฎ๏ผๅฏไปฅ move ่ฟๅป๏ผ่ฟๆ ทๅฏไปฅไฟ่ฏ็ณป็ปๆๅพๅฅฝ็่ด่ฝฝ๏ผไธไผๅบ็ฐไธไธช็ฃ็ๅทจๅฟๆ ๆฏ๏ผๆฐๆฎๅทฒ็ปๅค็่ฃ ไธไธไบ๏ผๅฆๅคไธไธชไธ้ข่ฟๆฒกๆไธ่ฅฟ๏ผ่ฟๆฏ Placement Driver ่ฆๅ็ไธ่ฅฟใ
MVCCๆ็ๆฏๅค็ๆฌๅนถๅๆงๅถ๏ผๅนถๅ่ฎฟ้ฎ๏ผ่ฏปๆ่ ๅ๏ผๆฐๆฎๅบๆถ๏ผๅฏนๆญฃๅจไบๅกๅ ๅค็็ๆฐๆฎๅๅค็ๆฌ็็ฎก็๏ผ็จๆฅ้ฟๅ ็ฑไบๅๆไฝ็ๅ ตๅก๏ผ่ๅผๅ่ฏปๆไฝๅคฑ่ดฅ็ๅนถๅ้ฎ้ขใ
่ฎพๆณ่ฟๆ ท็ๅบๆฏ๏ผไธคไธช Client ๅๆถๅปไฟฎๆนไธไธช Key ็ Value๏ผๅฆๆๆฒกๆ MVCC๏ผๅฐฑ้่ฆๅฏนๆฐๆฎไธ้๏ผๅจๅๅธๅผๅบๆฏไธ๏ผๅฏ่ฝไผๅธฆๆฅๆง่ฝไปฅๅๆญป้้ฎ้ขใ TiKV ็ MVCC ๅฎ็ฐๆฏ้่ฟๅจ Key ๅ้ขๆทปๅ Version ๆฅๅฎ็ฐ๏ผ็ฎๅๆฅ่ฏด๏ผๆฒกๆ MVCC ไนๅ๏ผๅฏไปฅๆ TiKV ็ๅ่ฟๆ ท็:
ๆไบ MVCC ไนๅ๏ผTiKV ็ Key ๆๅๆฏ่ฟๆ ท็๏ผ
ๅฏนไบๅไธไธช Key ็ๅคไธช็ๆฌ๏ผๆไปฌๆ็ๆฌๅท่พๅคง็ๆพๅจๅ้ข๏ผ็ๆฌๅทๅฐ็ๆพๅจๅ้ข๏ผ่ฟๆ ทๅฝ็จๆท้่ฟไธไธช Key + Version ๆฅ่ทๅ Value ็ๆถๅ๏ผๅฏไปฅๅฐ Key ๅ Version ๆ้ ๅบ MVCC ็ Key๏ผไนๅฐฑๆฏ Key-Versionใ็ถๅๅฏไปฅ็ดๆฅ Seek(Key-Version)๏ผๅฎไฝๅฐ็ฌฌไธไธชๅคงไบ็ญไบ่ฟไธช Key-Version ็ไฝ็ฝฎใ
TiKV ็ไบๅกๆจกๅ็ฑปไผผไบ Google ็Percolator๏ผ่ฟๆฏไธไธชไธบๅค็ๅคงๅๆฐๆฎ้็ๆดๆฐ่ๆๅปบ็็ณป็ปใPercolator ไฝฟ็จๅข้ๆดๆฐๆจกๅไปฃๆฟๅบไบๆนๅค็็ๆจกๅใ
TiKV ็ไบคๆๆจกๅๆไพ๏ผ
ๅธฆ้็ๅฟซ็
ง้็ฆป๏ผSnapshot isolation๏ผSELECT ... FOR UPDATE๏ผ่ฏญไน็ฑปไผผไบSQL
ๅๅธๅผไบๅกไธญ็ๅค้จไธ่ดๆง่ฏปๅ
TiKV ๆฏๆๅๅธๅผไบๅก๏ผ็จๆท๏ผๆ่ TiDB๏ผๅฏไปฅไธๆฌกๆงๅๅ ฅๅคไธช key-value ่ไธๅฟ ๅ ณๅฟ่ฟไบ key-value ๆฏๅฆๅคไบๅไธไธชๆฐๆฎๅ็ (Region) ไธ๏ผTiKV ้่ฟไธค้ถๆฎตๆไบคไฟ่ฏไบ่ฟไบ่ฏปๅ่ฏทๆฑ็ ACID ็บฆๆ๏ผ่ฏฆ่ง TiDB ไน่งไบๅกๆจกๅ๏ผTiKV ็ไบๅก้็จไน่ง้๏ผไบๅก็ๆง่ก่ฟ็จไธญ๏ผไธไผๆฃๆตๅๅๅฒ็ช๏ผๅชๆๅจๆไบค่ฟ็จไธญ๏ผๆไผๅๅฒ็ชๆฃๆต๏ผๅฒ็ช็ๅๆนไธญๆฏ่พๆฉๅฎๆๆไบค็ไผๅๅ ฅๆๅ๏ผๅฆไธๆนไผๅฐ่ฏ้ๆฐๆง่กๆดไธชไบๅก๏ผใ
ๅฝไธๅก็ๅๅ ฅๅฒ็ชไธไธฅ้็ๆ ๅตไธ๏ผ่ฟ็งๆจกๅๆง่ฝไผๅพๅฅฝ๏ผๆฏๅฆ้ๆบๆดๆฐ่กจไธญๆไธ่ก็ๆฐๆฎ๏ผๅนถไธ่กจๅพๅคงใไฝๆฏๅฆๆไธๅก็ๅๅ ฅๅฒ็ชไธฅ้๏ผๆง่ฝๅฐฑไผๅพๅทฎ๏ผไธพไธไธชๆ็ซฏ็ไพๅญ๏ผๅฐฑๆฏ่ฎกๆฐๅจ๏ผๅคไธชๅฎขๆท็ซฏๅๆถไฟฎๆนๅฐ้่ก๏ผๅฏผ่ดๅฒ็ชไธฅ้็๏ผ้ ๆๅคง้็ๆ ๆ้่ฏใ
