Completion Queue โ
Last updated
Last updated
ๆไปฌๅ ๅ้กพไธCQ็ไฝ็จใCQๆไธบๅฎๆ้ๅ๏ผๅฎ็ไฝ็จๅWQ๏ผSQๅRQ๏ผ็ธๅ๏ผ็กฌไปถ้่ฟCQไธญ็CQE/WCๆฅๅ่ฏ่ฝฏไปถๆไธชWQE/WR็ๅฎๆๆ ๅตใๅๆฌกๆ้่ฏป่ ๏ผๅฏนไบไธๅฑ็จๆทๆฅ่ฏดไธ่ฌ็จWC๏ผๅฏนไบ้ฉฑๅจ็จๅบๆฅ่ฏด๏ผไธ่ฌ็งฐไธบCQE๏ผๆฌๆไธๅฏนไธค่ ่ฟ่กๅบๅใ
CQEๅฏไปฅ็ไฝไธไปฝโๆฅๅโ๏ผๅ ถไธญๅๆไบๆไธชไปปๅก็ๆง่กๆ ๅต๏ผๅ ถไธญๅ ๆฌ๏ผ
ๆฌๆฌกๅฎๆไบๅชไธชQP็ๅชไธไธชWQEๆๅฎ็ไปปๅก๏ผQP NumberๅWR ID๏ผ
ๆฌๆฌกไปปๅกๆง่กไบไปไนๆไฝ๏ผOpcodeๆไฝ็ฑปๅ๏ผ
ๆฌๆฌกไปปๅกๆง่กๆๅ/ๅคฑ่ดฅ๏ผๅคฑ่ดฅๅๅ ๆฏXXX๏ผStatus็ถๆๅ้่ฏฏ็ ๏ผ
...
ๆฏๅฝ็กฌไปถๅค็ๅฎไธไธชWQEไนๅ๏ผ้ฝไผไบง็ไธไธชCQEๆพๅจCQ้ๅไธญใๅฆๆไธไธชWQEๅฏนๅบ็CQEๆฒกๆไบง็๏ผ้ฃไน่ฟไธชWQEๅฐฑไผไธ็ด่ขซ่ฎคไธบ่ฟๆชๅค็ๅฎ๏ผ่ฟๆๅณ็ไปไนๅข๏ผ
ๆถๅไปๅ ๅญไธญๅๆฐๆฎ็ๆไฝ๏ผSENDๅWRITE๏ผ
ๅจไบง็CQEไนๅ๏ผ็กฌไปถๅฏ่ฝ่ฟๆชๅ้ๆถๆฏ๏ผๅฏ่ฝๆญฃๅจๅ้ๆถๆฏ๏ผๅฏ่ฝๅฏน็ซฏๆๆฅๆถๅฐๆญฃ็กฎ็ๆถๆฏใ็ฑไบๅ ๅญๅบๅๆฏๅจๅ้ๅ็ณ่ฏทๅฅฝ็๏ผๆไปฅไธๅฑ่ฝฏไปถๆถๅฐๅฏนๅบ็CQEไนๅ๏ผๅ ถๅฟ ้กป่ฎคไธบ่ฟ็ๅ ๅญๅบๅไปๅจไฝฟ็จไธญ๏ผไธ่ฝๅฐๆๆ็ธๅ ณ็ๅ ๅญ่ตๆบ่ฟ่ก้ๆพใ
ๆถๅๅๅ ๅญไธญๅญๆพๆฐๆฎ็ๆไฝ๏ผRECVๅREAD๏ผ
ๅจไบง็CQEไนๅ๏ผๆๅฏ่ฝ็กฌไปถ่ฟๆฒกๆๅผๅงๅๅ ฅๆฐๆฎ๏ผๆๅฏ่ฝๆฐๆฎๆๅไบไธๅ๏ผไนๆๅฏ่ฝๆฐๆฎๆ ก้ชๅบ้ใๆไปฅไธๅฑ่ฝฏไปถๅจ่ทๅพCQEไนๅ๏ผ่ฟๆฎต็จไบๅญๆพๆฅๆถๆฐๆฎ็ๅ ๅญๅบๅไธญ็ๅ ๅฎนๆฏไธๅฏไฟก็ใ
ๆปไน๏ผ็จๆทๅฟ ้กป่ทๅๅฐCQEๅนถ็กฎ่ฎคๅ ถๅ ๅฎนไนๅๆ่ฝ่ฎคไธบๆถๆฏๆถๅไปปๅกๅทฒ็ปๅฎๆใ
ๆไปฌๅฐๆ็ งๆๅก็ฑปๅ๏ผๆฌ็ฏๅช่ฎฒRCๅUD๏ผๅๆไฝ็ฑปๅๆฅๅๅซ่ฏดๆ๏ผๅ ไธบไธๅ็ๆ ๅตไบง็CQE็ๆถๆบๅๅซไน้ฝไธๅ๏ผๅปบ่ฎฎ่ฏป่ ๅ้กพ็ฌฌ4็ฏๅ็ฌฌ5็ฏใ
ๅฏ้ ๆๅก็ฑปๅ๏ผRC๏ผ
ๅ้ข็ๆ็ซ ่ฏด่ฟ๏ผๅฏ้ ๆๅณ็ๆฌ็ซฏๅ ณๅฟๅๅบ็ๆถๆฏ่ฝๅค่ขซๅฏน็ซฏๅ็กฎ็ๆฅๆถ๏ผ่ฟๆฏ้่ฟACKใๆ ก้ชๅ้ไผ ็ญๆบๅถไฟ่ฏ็ใ
SEND SENDๆไฝ้่ฆ็กฌไปถไปๅ ๅญไธญ่ทๅๆฐๆฎ๏ผ็ถๅ็ป่ฃ ๆๆฐๆฎๅ ้่ฟ็ฉ็้พ่ทฏๅ้ๅฐๅฏน็ซฏใๅฏนSENDๆฅ่ฏด๏ผClient็ซฏไบง็CQE่กจ็คบๅฏน็ซฏๅทฒๅ็กฎๆ ่ฏฏ็ๆถๅฐๆฐๆฎ๏ผๅฏน็ซฏ็กฌไปถๆถๅฐๆฐๆฎๅนถๆ ก้ชไนๅ๏ผไผๅๅคACKๅ ็ปๅ้ๆนใๅ้ๆนๆถๅฐ่ฟACKไนๅๆไผไบง็CQE๏ผไป่ๅ่ฏ็จๆท่ฟไธชไปปๅกๆๅๆง่กไบใๅฆๅพๆ็คบ๏ผๅทฆไพงClient็ซฏๅจ็บข็น็ไฝ็ฝฎไบง็ไบๆฌๆฌกไปปๅก็CQEใ
RECV RECVๆไฝ้่ฆ็กฌไปถๅฐๆถๅฐ็ๆฐๆฎๆพๅฐ็จๆทWQEไธญๆๅฎ็ๅ ๅญๅบๅ๏ผๅฎๆๆ ก้ชๅๆฐๆฎๅญๆพๅจไฝๅ๏ผ็กฌไปถๅฐฑไผไบง็CQEใๅฆไธๅพๅณไพงServer็ซฏๆ็คบใ
WRITE ๅฏนไบClient็ซฏๆฅ่ฏด๏ผWRITEๆไฝๅSENDๆไฝๆฏไธๆ ท็๏ผ็กฌไปถไผไปๅ ๅญไธญๅๅบๆฐๆฎ๏ผๅนถ็ญๅพ ๅฏน็ซฏๅๅคACKๅ๏ผๆไผไบง็CQEใๅทฎๅซๅจไบ๏ผๅ ไธบWRITEๆฏRDMAๆไฝ๏ผๅฏน็ซฏCPUไธๆ็ฅ๏ผ่ช็ถ็จๆทไนไธๆ็ฅ๏ผๆไปฅไธ้ข็ๅพๅๆไบ่ฟๆ ท๏ผ
READ READๅRECVๆ็นๅ๏ผClient็ซฏๅ่ตทREADๆไฝๅ๏ผๅฏน็ซฏไผๅๅคๆไปฌๆณ่ฏปๅ็ๆฐๆฎ๏ผ็ถๅๆฌ็ซฏๆ ก้ชๆฒก้ฎ้ขๅ๏ผไผๆๆฐๆฎๆพๅฐWQEไธญๆๅฎ็ไฝ็ฝฎใๅฎๆไธ่ฟฐๅจไฝๅ๏ผๆฌ็ซฏไผไบง็CQEใREADๅๆ ทๆฏRDMAๆไฝ๏ผๅฏน็ซฏ็จๆทไธๆ็ฅ๏ผ่ช็ถไนๆฒกๆCQEไบง็ใ่ฟ็งๆ ๅตไธๅพๅๆไบ่ฟๆ ท๏ผ
ไธๅฏ้ ๆๅก็ฑปๅ๏ผUD๏ผ
ๅ ไธบไธๅฏ้ ็ๆๅก็ฑปๅๆฒกๆ้ไผ ๅ็กฎ่ฎคๆบๅถ๏ผๆไปฅไบง็CQE่กจ็คบ็กฌไปถๅทฒ็ปๅฐๅฏนๅบWQEๆๅฎ็ๆฐๆฎๅ้ๅบๅปไบใไปฅๅ่ฏด่ฟUDๅชๆฏๆSEND-RECVๆไฝ๏ผไธๆฏๆRDMAๆไฝใๆไปฅๅฏนไบUDๆๅก็ไธค็ซฏ๏ผCQEไบง็ๆถๆบๅฆไธๅพๆ็คบ๏ผ
ๆฏไธชWQ้ฝๅฟ ้กปๅ ณ่ไธไธชCQ๏ผ่ๆฏไธชCQๅฏไปฅๅ ณ่ๅคไธชSQๅRQใ
่ฟ้็ๆ่ฐโๅ ณ่โ๏ผๆ็ๆฏไธไธชWQ็ๆๆWQEๅฏนๅบ็CQE๏ผ้ฝไผ่ขซ็กฌไปถๆพๅฐ็ปๅฎ็CQไธญ๏ผ้่ฆๆณจๆๅๅฑไบไธไธชQP็SQๅRQๅฏไปฅๅ่ชๅ ณ่ไธๅ็CQใๅฆไธๅพๆ็คบ๏ผQP1็SQๅRQ้ฝๅ ณ่ไบCQ1๏ผQP2็RQๅ ณ่ๅฐไบCQ1ใSQๅ ณ่ๅฐไบCQ2ใ
ๅ ไธบๆฏไธชWQๅฟ ้กปๅ ณ่ไธไธชCQ๏ผๆไปฅ็จๆทๅๅปบQPๅ้่ฆๆๅๅๅปบๅฅฝCQ๏ผ็ถๅๅๅซๆๅฎSQๅRQๅฐไผไฝฟ็จ็CQใ
ๅไธไธชWQไธญ็WQE๏ผๅ ถๅฏนๅบ็CQE้ดๆฏไฟๅบ็
ๆฌๅฐ่ๆไฟฎๆน๏ผๅๆไธบโWQEๅๅฏนๅบ็CQE้ดๆฏไธไฟๅบ็โ๏ผไผๅฏน่ฏป่ ้ ๆ่ฏฏๅฏผ๏ผๆ่ฐข่ฏ่ฎบๅบ @่็็ฉๆฅผ้็ๅฎถๅ ๅ @ๆฑไธๆณ่ ๅๅญฆ็ๆๆญฃใๅ ณไบWR็ๅ้็ซฏๅค็้กบๅบใไผ ่พ้กบๅบใๆฅๆถ็ซฏๅค็้กบๅบ็ญ้ฎ้ข๏ผไปฅๅไผไธ้จๅๆ็ซ ๆพๆธ ใ
็กฌไปถๆฏๆ็ งโๅ ่ฟๅ ๅบโ็FIFO้กบๅบไปๆไธไธชWQ๏ผSQๆ่ RQ๏ผไธญๅๅบWQEๅนถ่ฟ่กๅค็็๏ผ่ๅWRๅ ณ่็CQไธญๅญๆพCQEๆถ๏ผไนๆฏ้ตไป่ฟไบWQE่ขซๆพๅฐWQไธญ็้กบๅบ็ใ็ฎๅๆฅ่ฏด๏ผๅฐฑๆฏ่ฐๅ ่ขซๆพๅฐ้ๅ้๏ผ่ฐๅฐฑๅ ่ขซๅฎๆใ่ฏฅ่ฟ็จๅฆไธๅพๆ็คบ๏ผ
้่ฆๆณจๆ็ๆฏ๏ผไฝฟ็จSRQ็ๆ ๅตไปฅๅRDๆๅก็ฑปๅ็RQ่ฟไธค็งๆ ๅตๆฏไธไฟๅบ็๏ผๆฌๆไธญไธๅฑๅผ่ฎจ่ฎบใ
ไธๅWQไธญ็WQE๏ผๅ ถๅฏนๅบ็CQE้ดๆฏไธไฟๅบ็
ๅๆไธญๆไปฌ่ฏด่ฟ๏ผไธไธชCQๅฏ่ฝไผ่ขซๅคไธชWQๅ ฑไบซใ่ฟ็งๆ ๅตไธ๏ผๆฏไธ่ฝไฟ่ฏ่ฟไบWQEๅฏนๅบ็CQE็ไบง็้กบๅบ็ใๅฆไธๅพๆ็คบ๏ผWQE็ผๅท่กจ็คบไธๅ็ๆฌกๅบ๏ผๅณ1ๆๅ ่ขซไธๅ๏ผ6ๆๅ่ขซไธๅ๏ผ๏ผ
ไธ้ข็ๆ่ฟฐๅ ถๅฎ่ฟๅ ๅซไบโๅไธไธชQP็SQๅRQไธญ็WQE๏ผๅ ถๅฏนๅบ็CQE้ดๆฏไธไฟๅบ็โ็ๆ ๅต๏ผ่ฟไธ็นๅ ถๅฎๆฏ่พๅฎนๆ็่งฃ๏ผSQๅRQ๏ผไธไธช่ด่ดฃไธปๅจๅ่ตท็ไปปๅก๏ผไธไธช่ด่ดฃ่ขซๅจๆฅๆถ็ไปปๅก๏ผๅฎไปฌๆฌๆฅๅฐฑๅฏไปฅๆฏ่ฎคไธบๆฏไธคๆกไธๅๆนๅ็้้๏ผ่ช็ถไธๅบ่ฏฅ็ธไบๅฝฑๅใๅ่ฎพ็จๆทๅฏนๅไธไธชQPๅ ไธๅไบไธไธชReceive WQE๏ผๅไธๅไธไธชSend WQE๏ผๆปไธ่ฝๅฏน็ซฏไธ็ปๆฌ็ซฏๅ้ๆถๆฏ๏ผๆฌ็ซฏๅฐฑไธ่ฝๅ้ๆถๆฏ็ปๅฏน็ซฏไบๅง๏ผ
ๆข็ถ่ฟ็งๆ ๅตไธCQEไบง็็้กบๅบๅ่ทๅWQE็้กบๅบๆฏไธ็ธๅ ณ็๏ผ้ฃไนไธๅฑๅบ็จๅ้ฉฑๅจๆฏๅฆไฝ็ฅ้ๆถๅฐ็CQEๅ ณ่็ๆฏๅชไธชWQEๅข๏ผๅ ถๅฎๅพ็ฎๅ๏ผCQEไธญๆๆๅฎๆๅฏนๅบ็WQE็็ผๅทๅฐฑๅฏไปฅไบใ
ๅฆๅค้่ฆๆณจๆ็ๆฏ๏ผๅณไฝฟๅจๅคไธชWQๅ ฑ็จไธไธชCQ็ๆ ๅตไธ๏ผโๅไธไธชWRไธญ็WQE๏ผๅ ถๅฏนๅบ็CQE้ดๆฏไฟๅบ็โ่ฟไธ็นไนๆฏไธๅฎ่ฝๅคไฟ่ฏ็๏ผๅณไธๅพไธญ็ๅฑไบWQ1็WQE 1ใ3ใ4ๅฏนๅบ็CQEไธๅฎๆฏๆ็ ง้กบๅบไบง็็๏ผๅฏนไบๅฑไบWQ2็WQE 2ใ5ใ6ไนๆฏๅฆๆญคใ
ๅQPไธๆ ท๏ผCQๅชๆฏไธๆฎตๅญๆพCQE็้ๅๅ ๅญ็ฉบ้ดใ็กฌไปถ้คไบ็ฅ้้ฆๅฐๅไปฅๅค๏ผๅฏนไบ่ฟ็ๅบๅๅฏไปฅ่ฏดๆฏไธๆ ๆ็ฅใๆไปฅ้่ฆๆๅ่ท่ฝฏไปถ็บฆๅฎๅฅฝๆ ผๅผ๏ผ็ถๅ้ฉฑๅจๅฐ็ณ่ฏทๅ ๅญ๏ผๅนถๆ็ งๆ ผๅผๆCQ็ๅบๆฌไฟกๆฏๅกซๅๅฐ่ฟ็ๅ ๅญไธญไพ็กฌไปถ่ฏปๅ๏ผ่ฟ็ๅ ๅญๅฐฑๆฏCQCใCQCไธญๅ ๅซไบCQ็ๅฎน้ๅคงๅฐ๏ผๅฝๅๅค็็CQE็ๅบๅท็ญ็ญไฟกๆฏใๆไปฅๆQPC็ๅพ็จๅพฎไฟฎๆนไธไธ๏ผๅฐฑ่ฝ่กจ็คบๅบCQCๅCQ็ๅ ณ็ณป๏ผ
CQ Number๏ผๅฐฑๆฏCQ็็ผๅท๏ผ็จๆฅๅบๅซไธๅ็CQใCQๆฒกๆๅQP0ๅQP1ไธๆ ท็็นๆฎไฟ็็ผๅท๏ผๆฌๆไธญไธๅ่ต่ฟฐไบใ
IBๅ่ฎฎไธญๆไธ็ง้่ฏฏ็ฑปๅ๏ผ็ซๅณ้่ฏฏ๏ผimmediate error๏ผใๅฎๆ้่ฏฏ๏ผCompletion Error๏ผไปฅๅๅผๆญฅ้่ฏฏ๏ผAsynchronous Errors)ใ
็ซๅณ้่ฏฏ็ๆฏโ็ซๅณๅๆญขๅฝๅๆไฝ๏ผๅนถ่ฟๅ้่ฏฏ็ปไธๅฑ็จๆทโ๏ผๅฎๆ้่ฏฏๆ็ๆฏโ้่ฟCQEๅฐ้่ฏฏไฟกๆฏ่ฟๅ็ปไธๅฑ็จๆทโ๏ผ่ๅผๆญฅ้่ฏฏๆ็ๆฏโ้่ฟไธญๆญไบไปถ็ๆนๅผไธๆฅ็ปไธๅฑ็จๆทโใๅฏ่ฝ่ฟๆฏๆ็นๆฝ่ฑก๏ผๆไปฌๆฅไธพไธชไพๅญ่ฏดๆ่ฟไธค็ง้่ฏฏ้ฝไผๅจไปไนๆ ๅตไธไบง็๏ผ
็จๆทๅจPost Sendๆถไผ ๅ ฅไบ้ๆณ็ๆไฝ็ ๏ผๆฏๅฆๆณๅจUD็ๆถๅไฝฟ็จRDMA WRITEๆไฝใ
็ปๆ๏ผไบง็็ซๅณ้่ฏฏ๏ผๆ็ๅๅๅจ่ฟ็งๆ ๅตไผไบง็ๅฎๆ้่ฏฏ๏ผ
ไธ่ฌ่ฟ็งๆ ๅตไธ๏ผ้ฉฑๅจ็จๅบไผ็ดๆฅ้ๅบpost sendๆต็จ๏ผๅนถ่ฟๅ้่ฏฏ็ ็ปไธๅฑ็จๆทใๆณจๆๆญคๆถWQE่ฟๆฒกๆไธๅๅฐ็กฌไปถๅฐฑ่ฟๅไบใ
็จๆทไธๅไบไธไธชWQE๏ผๆไฝ็ฑปๅไธบSEND๏ผไฝๆฏ้ฟๆถ้ดๆฒกๆๅๅฐๅฏนๆน็ACKใ
็ปๆ๏ผไบง็ๅฎๆ้่ฏฏ
ๅ ไธบWQEๅทฒ็ปๅฐ่พพไบ็กฌไปถ๏ผๆไปฅ็กฌไปถไผไบง็ๅฏนๅบ็CQE๏ผCQEไธญๅ ๅซ่ถ ๆถๆชๅๅบ็้่ฏฏ่ฏฆๆ ใ
็จๆทๆไธๅไบๅคไธชWQE๏ผๆไปฅ็กฌไปถไผไบง็ๅคไธชCQE๏ผไฝๆฏ่ฝฏไปถไธ็ดๆฒกๆไปCQไธญๅ่ตฐCQE๏ผๅฏผ่ดCQๆบขๅบใ
็ปๆ๏ผไบง็ๅผๆญฅ้่ฏฏ
ๅ ไธบ่ฝฏไปถไธ็ดๆฒกๅCQE๏ผๆไปฅ่ช็ถไธไผไปCQEไธญๅพๅฐไฟกๆฏใๆญคๆถIBๆกๆถไผ่ฐ็จ่ฝฏไปถๆณจๅ็ไบไปถๅค็ๅฝๆฐ๏ผๆฅ้็ฅ็จๆทๅค็ๅฝๅ็้่ฏฏใ
็ฑๆญคๅฏ่ง๏ผๅฎไปฌ้ฝๆฏๅบๅฑๅไธๅฑ็จๆทๆฅๅ้่ฏฏ็ๆนๅผ๏ผๅชๆฏไบง็็ๆถๆบไธไธๆ ท่ๅทฒใIBๅ่ฎฎไธญๅฏนไธๅๆ ๅต็้่ฏฏๅบ่ฏฅไปฅๅช็งๆนๅผไธๆฅๅไบ่งๅฎ๏ผๆฏๅฆไธๅพไธญ๏ผๅฏนไบModify QP่ฟ็จไธญไฟฎๆน้ๆณ็ๅๆฐ๏ผๅบ่ฏฅ่ฟๅ็ซๅณ้่ฏฏใ
ๆฌๆ็้็นๅจไบCQ๏ผๆไปฅไป็ปๅฎ้่ฏฏ็ฑปๅไนๅ๏ผๆไปฌ็้ๆฅ็ไธไธๅฎๆ้่ฏฏใๅฎๆ้่ฏฏๆฏ็กฌไปถ้่ฟๅจCQEไธญๅกซๅ้่ฏฏ็ ๆฅๅฎ็ฐไธๆฅ็๏ผไธๆฌก้ไฟก่ฟ็จ้่ฆๅ่ตท็ซฏ๏ผRequester๏ผๅๅๅบ็ซฏ๏ผResponder๏ผๅไธ๏ผๅ ทไฝ็้่ฏฏๅๅ ไนๅไธบๆฌ็ซฏๅๅฏน็ซฏใๆไปฌๅ ๆฅ็ไธไธ้่ฏฏๆฃๆตๆฏๅจไปไน้ถๆฎต่ฟ่ก็๏ผไธๅพๅฏนIBๅ่ฎฎไธญFigure 118่ฟ่กไบ้็ป๏ผ๏ผ
Requester็้่ฏฏๆฃๆต็นๆไธคไธช๏ผ
ๆฌๅฐ้่ฏฏๆฃๆต
ๅณๅฏนSQไธญ็WQE่ฟ่กๆฃๆฅ๏ผๅฆๆๆฃๆตๅฐ้่ฏฏ๏ผๅฐฑไปๆฌๅฐ้่ฏฏๆฃๆฅๆจกๅ็ดๆฅไบง็CQEๅฐCQ๏ผไธไผๅ้ๆฐๆฎๅฐๅๅบ็ซฏไบ๏ผๅฆๆๆฒกๆ้่ฏฏ๏ผๅๅ้ๆฐๆฎๅฐๅฏน็ซฏใ
2. ่ฟ็ซฏ้่ฏฏๆฃๆต
ๅณๆฃๆตๅๅบ็ซฏ็ACKๆฏๅฆๅผๅธธ๏ผACK/NAKๆฏ็ฑๅฏน็ซฏ็ๆฌๅฐ้่ฏฏๆฃๆตๆจกๅๆฃๆตๅไบง็็๏ผ้้ขๅ ๅซไบๅๅบ็ซฏๆฏๅฆๆ้่ฏฏ๏ผไปฅๅๅ ทไฝ็้่ฏฏ็ฑปๅใๆ ่ฎบ่ฟ็ซฏ้่ฏฏๆฃๆต็็ปๆๆฏๅฆๆ้ฎ้ข๏ผ้ฝไผไบง็CQEๅฐCQไธญใ
Responder็้่ฏฏๆฃๆต็นๅชๆไธไธช๏ผ
ๆฌๅฐ้่ฏฏๆฃๆต
ๅฎ้ ไธๆฃๆต็ๆฏๅฏน็ซฏๆฅๆๆฏๅฆๆ้ฎ้ข๏ผIBๅ่ฎฎไนๅฐๅ ถ็งฐไธบโๆฌๅฐโ้่ฏฏๆฃๆตใๅฆๆๆฃๆตๅฐ้่ฏฏ๏ผๅไผไฝ็ฐๅจACK/NAKๆฅๆไธญๅๅค็ปๅฏน็ซฏ๏ผไปฅๅๅจๆฌๅฐไบง็ไธไธชCQEใ
้่ฆๆณจๆ็ๆฏ๏ผไธ่ฟฐ็ไบง็ACKๅ่ฟ็ซฏ้่ฏฏๆฃๆตๅชๅฏน้ขๅ่ฟๆฅ็ๆๅก็ฑปๅๆๆ๏ผๆ ่ฟๆฅ็ๆๅก็ฑปๅใๆฏๅฆUD็ฑปๅๅนถไธๅ ณๅฟๅฏน็ซฏๆฏๅฆๆถๅฐ๏ผๆฅๆถ็ซฏไนไธไผไบง็ACK๏ผๆไปฅๅจRequester็ๆฌๅฐ้่ฏฏๆฃๆตไนๅๅฐฑไธๅฎไผไบง็CQE๏ผๆ ่ฎบๆฏๅฆๆๆฌๅฐ้่ฏฏใ
็ถๅๆไปฌ็ฎๅไป็ปไธๅ ็งๅธธ่ง็ๅฎๆ้่ฏฏ๏ผ
RCๆๅก็ฑปๅ็SQๅฎๆ้่ฏฏ
Local Protection Error ๆฌๅฐไฟๆคๅ้่ฏฏใๆฌๅฐWQEไธญๆๅฎ็ๆฐๆฎๅ ๅญๅฐๅ็MRไธๅๆณ๏ผๅณ็จๆท่ฏๅพไฝฟ็จไธ็ๆชๆณจๅ็ๅ ๅญไธญ็ๆฐๆฎใ
Remote Access Error ่ฟ็ซฏๆ้้่ฏฏใๆฌ็ซฏๆฒกๆๆ้่ฏป/ๅๆๅฎ็ๅฏน็ซฏๅ ๅญๅฐๅใ
Transport Retry Counter Exceeded Error ้ไผ ่ถ ๆฌก้่ฏฏใๅฏน็ซฏไธ็ดๆชๅๅคๆญฃ็กฎ็ACK๏ผๅฏผ่ดๆฌ็ซฏๅคๆฌก้ไผ ๏ผ่ถ ่ฟไบ้ข่ฎพ็ๆฌกๆฐใ
RCๆๅก็ฑปๅ็RQๅฎๆ้่ฏฏ
Local Access Error ๆฌๅฐ่ฎฟ้ฎ้่ฏฏใ่ฏดๆๅฏน็ซฏ่ฏๅพๅๅ ฅๅ ถๆฒกๆๆ้ๅๅ ฅ็ๅ ๅญๅบๅใ
Local Length Error ๆฌๅฐ้ฟๅบฆ้่ฏฏใๆฌๅฐRQๆฒกๆ่ถณๅค็็ฉบ้ดๆฅๆฅๆถๅฏน็ซฏๅ้็ๆฐๆฎใ
ๅฎๆด็ๅฎๆ้่ฏฏ็ฑปๅๅ่กจ่ฏทๅ่IBๅ่ฎฎ็10.10.3่ใ
ๅQPไธๆ ท๏ผๆไปฌไพ็ถไป้ไฟกๅๅค้ถๆฎต๏ผๆงๅถ้ข๏ผๅ้ไฟก่ฟ่ก้ถๆฎต๏ผๆฐๆฎ้ข๏ผๆฅไป็ปIBๅ่ฎฎๅฏนไธๅฑๆไพ็ๅ ณไบCQ็ๆฅๅฃใ
ๅQPไธๆ ท๏ผ่ฟๆฏโๅขๅ ๆนๆฅโๅ็ง๏ผไฝๆฏๅฏ่ฝๅ ไธบๅฏนไบCQๆฅ่ฏด๏ผไธๅฑ็จๆทๆฏ่ตๆบไฝฟ็จ่ ่ไธๆฏ็ฎก็่ ๏ผๅช่ฝไปCQไธญ่ฏปๆฐๆฎ่ไธ่ฝๅๆฐๆฎ๏ผๆไปฅๅฏน็จๆทๅผๆพ็ๅฏ้ ็ๅๆฐๅฐฑๅชๆโCQ่งๆ ผโไธ็งใ
ๅๅปบโโCreate CQ
ๅๅปบ็ๆถๅ็จๆทๅฟ ้กปๆๅฎCQ็่งๆ ผ๏ผๅณ่ฝๅคๅจๅญๅคๅฐไธชCQE๏ผๅฆๅค็จๆท่ฟๅฏไปฅๅกซๅไธไธชCQEไบง็ๅ็ๅ่ฐๅฝๆฐๆ้๏ผไธๆไผๆถๅ๏ผใๅ ๆ ธๆ้ฉฑๅจไผๅฐๅ ถไป็ธๅ ณ็ๅๆฐ้ ็ฝฎๅฅฝ๏ผๅกซๅๅฐ่ท็กฌไปถ็บฆๅฎๅฅฝ็CQCไธญๅ็ฅ็กฌไปถใ
้ๆฏโโDestroy CQ
้ๆพไธไธชCQ่ฝฏ็กฌไปถ่ตๆบ๏ผๅ ๅซCQๆฌ่บซๅCQC๏ผๅฆๅคCQN่ช็ถไนๅฐๅคฑๆใ
ไฟฎๆนโโResize CQ
่ฟ้ๅๅญ็จๅพฎๆ็นๅบๅซ๏ผๅ ไธบCQๅชๅ ่ฎธ็จๆทไฟฎๆน่งๆ ผๅคงๅฐ๏ผๆไปฅๅฐฑ็จ็Resize่ไธๆฏModifyใ
ๆฅ่ฏขโโQuery CQ
ๆฅ่ฏขCQ็ๅฝๅ่งๆ ผ๏ผไปฅๅ็จไบ้็ฅ็ๅ่ฐๅฝๆฐๆ้ใ
้่ฟๅฏนๆฏRDMA่ง่ๅ่ฝฏไปถๅ่ฎฎๆ ๏ผๅฏไปฅๅ็ฐๅพๅคverbsๆฅๅฃๅนถไธๆฏๆ็ ง่ง่ๅฎ็ฐ็ใๆไปฅ่ฏป่ ๅฆๆๅ็ฐ่ฝฏไปถAPIๅๅ่ฎฎๆๅทฎๅผๆถไนๆ ้กปๆๅฐ็ๆ๏ผRDMAๆๆฏๆฌ่บซไธ็ด่ฟๅจๆผ่ฟ๏ผ่ฝฏไปถๆกๆถไนๅคไบๆดป่ทๆดๆฐ็็ถๆใๅฆๆๆดๅ ณๅฟ็ผ็จๅฎ็ฐ๏ผ้ฃไน่ฏทไปฅ่ฝฏไปถๅ่ฎฎๆ ็APIๆๆกฃไธบๅ๏ผๅฆๆๆดๅ ณๅฟๅญฆๆฏไธ็็ ็ฉถ๏ผ้ฃไน่ฏทไปฅRDMA่ง่ไธบๅใ
CQEๆฏ็กฌไปถๅฐไฟกๆฏไผ ้็ป่ฝฏไปถ็ๅชไป๏ผ่ฝ็ถ่ฝฏไปถ็ฅ้ๅจไปไนๆ ๅตไธไผไบง็CQE๏ผไฝๆฏ่ฝฏไปถๅนถไธ็ฅ้ๅ ทไฝไปไนๆถๅ็กฌไปถไผๆCQEๆพๅฐCQไธญใๅจ้ไฟกๅ่ฎก็ฎๆบ้ขๅ๏ผๆไปฌๆ่ฟ็งๆฅๆถๆนไธ็ฅ้ๅ้ๆนไปไนๆถๅๅ้็ๆจกๅผ็งฐไธบโๅผๆญฅโใๆไปฌๅ ๆฅไธพไธไธช็ฝๅก็ไพๅญ๏ผๅๆฅ่ฏดๆ็จๆทๅฆไฝ้่ฟๆฐๆฎ้ขๆฅๅฃ่ทๅCQE๏ผWC๏ผใ
็ฝๅกๆถๅฐๆฐๆฎๅ ๅๅฆไฝ่ฎฉCPU็ฅ้่ฟไปถไบ๏ผๅนถ่ฟ่กๆฐๆฎๅ ๅค็๏ผๆไธค็งๅธธ่ง็ๆจกๅผ๏ผ
ไธญๆญๆจกๅผ
ๅฝๆฐๆฎ้่พๅฐ๏ผๆ่ ่ฏดๅถๅ็ๆฐๆฎไบคๆข่พๅคๆถ๏ผ้ๅ้็จไธญๆญๆจกๅผโโๅณCPUๅนณๅธธๅจๅๅ ถไปไบๆ ๏ผๅฝ็ฝๅกๆถๅฐๆฐๆฎๅ ๆถ๏ผไผไธๆฅไธญๆญๆๆญCPUๅฝๅ็ไปปๅก๏ผCPU่ฝฌ่ๆฅๅค็ๆฐๆฎๅ ๏ผๆฏๅฆTCP/IPๅ่ฎฎๆ ็ๅๅฑ่งฃๆ๏ผใๅค็ๅฎๆฐๆฎไนๅ๏ผCPU่ทณๅๅฐไธญๆญๅ็ไปปๅก็ปง็ปญๆง่กใ
ๆฏๆฌกไธญๆญ้ฝ้่ฆไฟๆค็ฐๅบ๏ผไนๅฐฑๆฏๆๅฝๅๅไธชๅฏๅญๅจ็ๅผใๅฑ้จๅ้็ๅผ็ญ็ญไฟๅญๅฐๆ ไธญ๏ผๅๆฅไนๅๅๆขๅค็ฐๅบ๏ผๅบๆ ๏ผ๏ผ่ฟๆฌ่บซๆฏๆๅผ้็ใๅฆๆไธๅก่ด่ฝฝ่พ้๏ผ็ฝๅกไธ็ด้ฝๅจๆฅๆถๆฐๆฎๅ ๏ผ้ฃไนCPUๅฐฑไผไธ็ดๆถๅฐไธญๆญ๏ผCPUๅฐไธ็ดๅฟไบไธญๆญๅๆข๏ผๅฏผ่ดๅ ถไปไปปๅกๅพไธๅฐ่ฐๅบฆใ
่ฝฎ่ฏขๆจกๅผ
ๆไปฅ้คไบไธญๆญๆจกๅผไนๅค๏ผ็ฝๅก่ฟๆไธ็ง่ฝฎ่ฏขๆจกๅผ๏ผๅณๆถๅฐๆฐๆฎๅ ๅ้ฝๅ ๆพๅฐ็ผๅฒๅบ้๏ผCPUๆฏ้ไธๆฎตๆถ้ดไผๅปๆฃๆฅ็ฝๅกๆฏๅฆๅๅฐๆฐๆฎใๅฆๆๆๆฐๆฎ๏ผๅฐฑๆ็ผๅฒๅบ้็ๆฐๆฎไธๆณขๅธฆ่ตฐ่ฟ่กๅค็๏ผๆฒกๆ็่ฏๅฐฑๆฅ็ๅค็ๅซ็ไปปๅกใ
้่ฟๅฏนๆฏไธญๆญๆจกๅผๆไปฌๅฏไปฅๅ็ฐ๏ผ่ฝฎ่ฏขๆจกๅผ่ฝ็ถๆฏ้ไธๆฎตๆถ้ด้่ฆCPUๆฃๆฅไธๆฌก๏ผๅธฆๆฅไบไธๅฎ็ๅผ้๏ผไฝๆฏๅฝไธๅก็นๅฟ็ๆถๅ้็จ่ฝฎ่ฏขๆจกๅผ่ฝๅคๆๅคง็ๅๅฐไธญๆญไธไธๆ็ๅๆขๆฌกๆฐ๏ผๅ่ๅ่ฝปไบCPU็่ดๆ ใ
็ฐๅจ็็ฝๅก๏ผไธ่ฌ้ฝๆฏไธญๆญ+่ฝฎ่ฏข็ๆนๅผ๏ผไนๅฐฑๆฏๆ นๆฎไธๅก่ด่ฝฝๅจๆๅๆขใ
ๅจRDMAๅ่ฎฎไธญ๏ผCQEๅฐฑ็ธๅฝไบๆฏ็ฝๅกๆถๅฐ็ๆฐๆฎๅ ๏ผRDMA็กฌไปถๆๅฎไผ ้็ปCPUๅปๅค็ใRDMAๆกๆถๅฎไนไบไธค็งๅฏนไธๅฑ็ๆฅๅฃ๏ผๅๅซๆฏpollๅnotify๏ผๅฏนๅบ็่ฝฎ่ฏขๅไธญๆญๆจกๅผใ
ๅพ็ด็ฝ๏ผpollๅฐฑๆฏ่ฝฎ่ฏข็ๆๆใ็จๆท่ฐ็จ่ฟไธชๆฅๅฃไนๅ๏ผCPUๅฐฑไผๅฎๆๅปๆฃๆฅCQ้้ขๆฏๅฆๆๆฐ้ฒ็CQE๏ผๅฆๆๆ็่ฏ๏ผๅฐฑๅๅบ่ฟไธชCQE๏ผๆณจๆๅๅบไนๅCQEๅฐฑ่ขซโๆถ่โๆไบ๏ผ๏ผ่งฃๆๅ ถไธญ็ไฟกๆฏๅนถ่ฟๅ็ปไธๅฑ็จๆทใ
็ด่ฏ่ฟๆฅๆฏ่ฏทๆฑๅฎๆ้็ฅ๏ผ็จๆท่ฐ็จ่ฟไธชๆฅๅฃไนๅ๏ผ็ธๅฝไบๅ็ณป็ปๆณจๅไบไธไธชไธญๆญใ่ฟๆ ทๅฝ็กฌไปถๅฐCQEๆพๅฐCQไธญๅ๏ผไผ็ซๅณ่งฆๅไธไธชไธญๆญ็ปCPU๏ผCPU่ฟ่ๅฐฑไผๅๆญขๆไธ็ๅทฅไฝๅๅบCQE๏ผๅค็ๅ่ฟๅ็ป็จๆทใ
ๅๆ ท็๏ผ่ฟไธค็งๆฅๅฃไฝฟ็จๅช็ง๏ผๅๅณไบ็จๆทๅฏนไบๅฎๆถๆง็่ฆๆฑ๏ผไปฅๅๅฎ้ ไธๅก็็นๅฟ็จๅบฆใ
ๆ่ฐข้ ่ฏป๏ผCQๅฐฑไป็ปๅฐ่ฟ้๏ผไธ็ฏๆ็ฎ่ฏฆ็ป่ฎฒ่ฎฒSRQใ
9.9 CQ้่ฏฏๆฃๆตๅๆขๅค
10.2.6 CQๅWQ็ๅ ณ็ณป
10.10 ้่ฏฏ็ฑปๅๅๅ ถๅค็
11.2.8 CQ็ธๅ ณๆงๅถ้ขๆฅๅฃ
11.4.2 CQ็ธๅ ณๆฐๆฎ้ขๆฅๅฃ
[1] Linux Kernel Networking - Implement and Theory. Chapter 13. Completion Queue
