ተናጋሪ-አውሬ ካማራ ስርዓት (SPACS): 8 ደረጃዎች

2024 ደራሲ ደራሲ: John Day | [email protected]. ለመጨረሻ ጊዜ የተሻሻለው: 2024-01-30 07:31

ብዙ ተናጋሪዎች አንድ ካሜራ የሚከብቡበት የጉባኤ ጥሪን ያስቡ። ብዙውን ጊዜ የካሜራ ውስን የእይታ ማእዘን ብዙውን ጊዜ የሚናገረውን ሰው ማየት የማይችልበት ቦታ ያጋጥመናል። ይህ የሃርድዌር ውስንነት የተጠቃሚውን ተሞክሮ በእጅጉ ያበላሸዋል። ካሜራው ንቁ ተናጋሪዎች ላይ ማየት ከቻለ ፣ የርቀት ታዳሚው በጥሪው ጊዜ በውይይት ውስጥ የበለጠ ይሳተፋል። በዚህ ፕሮጀክት ውስጥ ካሜራውን ወደ ተናጋሪው በማዞር ንቁውን ድምጽ ማጉያ የሚፈልግ እና የሚከተለውን (ፕሮቶታይፕ) የካሜራ ስርዓት እንጠቁማለን። ስርዓቱ በእይታ እና በድምፅ ላይ የተመሠረተ አቀራረብን ይጠቀማል። ፊቶች ከካሜራ ሲታወቁ ፣ የሚናገረውን ሰው ይወስናል እና ለማሽከርከር አንግልን ያሰላል። ፊቶቹ አሁን ባለው አንግል ላይ በማይታወቁበት ጊዜ ስርዓቱ በመድረሻ የድምፅ ምልክቶች አቅጣጫ ላይ በመመርኮዝ ተናጋሪውን ይፈልጋል።

ደረጃ 1: ቁሳቁሶች

Adafruit ላባ nRF52840 ኤክስፕረስ X 1

www.adafruit.com/product/4062

ኤሌክትሮሬት ማይክሮፎን ማጉያ - MAX4466 X 2

www.adafruit.com/product/1063

ማይክሮ ሰርቮ ሞተር X 1

www.adafruit.com/product/169

የ Android ስማርትፎን X 1

ደረጃ 2 - ሃርድዌር - 3 ዲ ማተሚያ

ለፈጣን ትግበራ ፣ እኛ የሚያስፈልጉንን መከለያዎች 3 ዲ ለማተም ወስነናል። ለግቢዎች ሁለት ዋና ዋና ክፍሎች አሉ; የማዞሪያ እና የስማርትፎን ማቆሚያ። እኛ ከዚህ አገናኝ (https://www.thingiverse.com/thing:141287) ተዘዋዋሪውን ተጠቅመናል ፣ እዚያም የአርዱዲኖ መያዣን እና ከ servo ሞተር ጋር ሊገናኝ የሚችል የሚሽከረከር ጠረጴዛን ይሰጣል። እኛ ከዚህ አገናኝ የስማርትፎን ማቆሚያ (https://www.thingiverse.com/thing:2673050) ተጠቅመናል ፣ እሱም ተጣጣፊ እና አንግል-ተስተካክሎ አንግልን ምቹ በሆነ ሁኔታ ለማስተካከል ያስችለናል። ከዚህ በታች ያለው ስዕል 3 -ል የታተሙ ክፍሎችን አንድ ላይ ተሰብስቦ ያሳያል።

ደረጃ 3 - ሃርድዌር - የኤሌክትሮኒክ ክፍሎች

አራት ባለገመድ ክፍሎች አሉ; አዳፍ ፍሬ ላባ ፣ ሁለት ማይክሮፎኖች እና ሞተር። ለታመቀ ማሸጊያው የዳቦ ሰሌዳ ሳይጠቀሙ ሽቦዎቹን (ግራጫ ክበቦች) እንሸጣለን። ከዚህ በታች የወረዳውን ዲያግራም እና ትክክለኛውን ቅርስ ይገልፃል።

ደረጃ 4: ሶፍትዌር

የእኛ ስርዓት በዋነኝነት የበለጠ ትክክለኛ ስለሆነ ተናጋሪውን ለመከተል ከፊት ለይቶ የሚታየውን መረጃ ይጠቀማል። ላባው ከ Android መተግበሪያው የእይታ መረጃ እንዲያገኝ ፣ ብሉቱዝ ዝቅተኛ ኢነርጂን እንደ ዋናው የመገናኛ ዘዴ እንጠቀማለን።

ማንኛውም ፊት በሚታወቅበት ጊዜ ፣ መተግበሪያው በማዕቀፉ መሃል ላይ ድምጽ ማጉያውን ለማተኮር ሞተር ማሽከርከር ያለበት አንግል ያሰላል። ሊሆኑ የሚችሉ ሁኔታዎችን አሟጠጥን እና እንደሚከተለው እንይዛቸዋለን

1. ፊት (ሮች) ተገኝተው የሚናገሩ ከሆነ የተናጋሪዎቹን መካከለኛ ነጥብ ያሰላል እና አንፃራዊውን አንግል ወደ ላባ ይመልሳል።
2. ፊት (ቶች) ከተገኙ እና አንዳቸውም የማይናገሩ ከሆነ ፣ እንዲሁም የፉቶቹን መካከለኛ ነጥብ ያሰላል እና በዚህ መሠረት አንግል ይመልሳል።
3. ማንኛውም ፊት ካልተገኘ ፣ ስርዓቱ የድምፅ ማጉያውን የመከታተያ አመክንዮ ከእይታ ወደ ድምጽ ይለውጣል።

የ SPACS ሶፍትዌር በ https://github.com/yhoonkim/cse599h-fp ላይ ይገኛል።

ደረጃ 5 - ሶፍትዌር - ድምጽ

ድምጽ (ያህዌ)

የገቢ ድምጽ ምንጭ ለማግኘት በመጀመሪያ በሁለቱ ማይክሮፎኖች መካከል ያለውን የጊዜ ልዩነት ለመጠቀም ሞክረናል። ነገር ግን የድምፅ ምልክቶቹን የምንሞክርበት የአርዲኖ ነብር የናሙና ደረጃ (~ 900Hz) እኛ በጠበቅነው ልክ ትክክል አልነበረም።

በሁለቱ የግብዓት የድምፅ ምልክቶች መካከል ያለውን የኃይለኛነት ልዩነት ለመጠቀም ዕቅዱን ቀይረናል። በዚህ ምክንያት ላባው ሁለት የድምፅ ምልክቶችን ወስዶ ድምፁ ከየት እንደመጣ ለማወቅ ያስኬዳቸዋል። ሂደቱ በሚከተሉት ደረጃዎች ሊገለፅ ይችላል-

1. የምልክቶቹን ስፋት ለማግኘት ግብዓቶችን ከሁለት ማይክሮፎኖች ይውሰዱ እና ማካካሻውን ይቀንሱ።
2. በ 500 ፒክአፕዎች በአንድ ኤምአይኤ (amicitudes) ውስጥ የአምፕሎቹን ፍፁም እሴቶችን ያከማቹ።
3. የተከማቹ እሴቶችን ልዩነት 5 ቦታዎች ባለው ወረፋ ላይ ያስቀምጡ።
4. የወረፋዎቹን ድምር እንደ የመጨረሻ ልዩነት እሴት ይመልሱ።
5. ድምፁ ከየት እንደመጣ ለመወሰን የመጨረሻውን እሴት ከመነሻዎች ጋር ያወዳድሩ።

ከግራ እና ከቀኝ የሚመጣውን ድምጽ ጨምሮ በተለያዩ ሁኔታዎች የመጨረሻውን እሴት በማሴር ደፍሩን አገኘን። ለመጨረሻው እሴት በሮች ላይ ፣ እኛ ደግሞ ድምጾችን ለማጣራት በደረጃ 2 ውስጥ ለተከማቹ መጠኖች አማካይ ሌላ ደፍ እናስቀምጣለን።

ደረጃ 6 - ሶፍትዌር - የፊት እና የንግግር ማወቂያ

ለግንባር ማወቂያ እኛ በ Google (https://firebase.google.com/docs/ml-kit) የተለቀቀውን ML Kit for Firebase ቀጠርን። ኤም ኤል ኪት ዓይኖችን ፣ አፍንጫን ፣ ጆሮዎችን ፣ ጉንጮችን እና የተለያዩ ነጥቦችን በአፉ ላይ ጨምሮ የእያንዳንዱን ፊት ወሰን ሳጥን እና ምልክቶቹን የሚመልስ የፊት ማወቂያ ኤፒአይ ይሰጣል። አንዴ ፊቶች ከተገኙ ፣ መተግበሪያው ሰው እየተናገረ መሆኑን ለመወሰን የአፍ እንቅስቃሴን ይከታተላል። አስተማማኝ አፈፃፀምን የሚያስገኝ ቀለል ያለ ደፍ ላይ የተመሠረተ አቀራረብን እንጠቀማለን። አንድ ሰው በሚናገርበት ጊዜ የአፍ እንቅስቃሴ በአግድም ሆነ በአቀባዊ የሚጨምር የመሆኑን እውነታ ተጠቅመናል። የአፍን አቀባዊ እና አግድም ርቀትን እናሰላለን እና ለእያንዳንዱ ርቀቱ የመደበኛውን ልዩነት እናሰላለን። ርቀት በፊቱ መጠን ላይ መደበኛ ነው። ትልቁ መደበኛ መዛባት መናገርን ያመለክታል። ይህ አቀራረብ እያንዳንዱ እንቅስቃሴ የአፍ ንቅናቄን ያካትታል ፣ መብላት ፣ መጠጣት ወይም ማዛጋትን መናገር እንደ መናገር ሊታወቅ የሚችልበት ገደብ አለው። ግን ፣ እሱ ዝቅተኛ የውሸት አሉታዊ ደረጃ አለው።

ደረጃ 7 - ሶፍትዌር - የሚሽከረከር ሞተር

በማሽከርከር ፍጥነት ቁጥጥር ምክንያት የሞተር ማሽከርከር እኛ እንደጠበቅነው ቀጥተኛ አልነበረም። ፍጥነቱን ለመቆጣጠር ፣ ተለዋዋጭው የተወሰነ እሴት ሲደርስ ብቻ ሞተሩ እንዲዞር የሚያስችለውን ዓለም አቀፍ ቆጣሪ ተለዋዋጭ እናውጃለን። እንዲሁም ከሞተር ማሽከርከር የሚመጣውን ድምጽ ለማስወገድ ሞተሩ ማይክሮፎኖችን ለማሳወቅ እየተንቀሳቀሰ መሆኑን የሚጠቁም ሌላ ዓለም አቀፍ ተለዋዋጭ አውጀናል።

ደረጃ 8 - የወደፊት ማሻሻያዎች

ከአቅም ገደቦች አንዱ ሞተሩ በተወሰኑ ማዕዘኖች ላይ የሚንቀጠቀጥ መሆኑ ነው። ስማርትፎኑን በማሽከርከር የተፈጠረውን ሽክርክሪት ለማሸነፍ ሞተሩ በቂ ኃይል ያለው አይመስልም። ጉልበቱን ለመቀነስ የበለጠ ኃይለኛ ሞተርን በመጠቀም ወይም የስማርትፎኑን አቀማመጥ ወደ መዞሪያው መሃል በማስተካከል ሊፈታ ይችላል።

ይበልጥ በተራቀቀ ዘዴ በድምፅ ላይ የተመሠረተ የድምፅ አቅጣጫ ማወቂያ ሊሻሻል ይችላል። መጪውን ድምጽ አቅጣጫ ለመወሰን የአኮስቲክ beamforming አቀራረብን መሞከር እንፈልጋለን። የድምፅ ምልክቶቹ ከመጡበት ጊዜ ጋር ሞክረናል። ነገር ግን ፣ የላባው ናሙና መጠን ማይክሮፎኖቹ 10 ሴንቲ ሜትር ርቀት ላይ ብቻ ሲሆኑ የጊዜን ልዩነት ለመለየት የተገደበ ነው።

የዚህ አምሳያ የመጨረሻው የጎደለው አካል የአጠቃቀም ግምገማ ነው። ለመገምገም አንድ ተስፋ ሰጪ መንገድ ስርዓቱን አሁን ካለው የቪዲዮ ጥሪ መድረክ ጋር ማዋሃድ እና የተጠቃሚዎችን ምላሾች መከታተል ነው። እነዚያ ምላሾች ስርዓቱን ለማሻሻል እና የዚህን ምሳሌ ቀጣዩ ድግግሞሽ ለማድረግ ይረዳሉ።