esp32s3做了個AI拍照識別漢字

ID:57512 · 發(fā)表于 2026-3-1 04:57

本帖最后由太空將軍于 2026-3-1 05:01 編輯

現(xiàn)在是夜里3點(diǎn)半，奶粉錢無著落，也頭暈無聊，遂分享一下最近做的這個漢字識別嘗試，硬件簡單，微雪的esp32s3的2寸觸摸屏，搭上arudino nano,攝像頭ov2640插上就是，播音用的JQ8900TF,邏輯端都在nano上用arduinoIDE編寫，nano控制語音模塊，也接收esp發(fā)來的字符串判斷處于什么界面，nano也發(fā)送學(xué)習(xí)內(nèi)容到esp端顯示，esp32端是LVGL顯示，年齡選擇，學(xué)習(xí)模式或復(fù)習(xí)模式，96*96抓拍用OCR模型運(yùn)行，識別到的漢字高于85%置信度的，就傳給arduino，arduino檢測到識別準(zhǔn)確就喊小朋友加油或繼續(xù)，檢測到學(xué)習(xí)完畢或復(fù)習(xí)完畢就恭喜一下小朋友。實(shí)物圖欣賞===粘貼圖片失敗==附件了===

=================================分割================
其實(shí)我更想嘮叨點(diǎn)非技術(shù)的，技術(shù)是個無底洞，我也是東戳戳西看看，沒找到方向。這是我從25年底到26年的第三個單，第一個單得到80塊：沒有硬件，給stm32寫一個ADC采集并波形顯示，再串口發(fā)送到電腦即可，大概調(diào)了三五天。第二單得到150塊，也是沒硬件，是讀取MPU6050的步數(shù)和XYZ加速度顯示到3寸TFT上，這兩單大概改了十幾版，半夜發(fā)過去，第二天對方能運(yùn)行就行了。第三單識字系統(tǒng)折騰夠嗆，我想著識字用百度的paddleOCR吧，試了一下電腦端Onnx識別率85%以上，就開始量化，結(jié)果連著幾天量化INT8都失敗，因?yàn)閷蛹壵`差和圖級誤差爆炸，想著先INT16先跑起來再說，不管它模型有多大了(4M太大了)，然后部署還遇到esp32dl官方似乎有bug，改了官方代碼后總算跑起來了呢又OCR識別需要幾十秒，轉(zhuǎn)而用edge平臺來訓(xùn)練，于是用不同字體生成18000張訓(xùn)練圖，edge平臺上模型選用MobileNetV2 96x96 0.35，訓(xùn)練了50個字，INT8模型識別率達(dá)到99.1%，把下載的C++庫部署到esp32s3后，花了些時(shí)間調(diào)節(jié)圖像預(yù)處理，置信度閾值85%時(shí)勉強(qiáng)可以準(zhǔn)確識別到30多個字，模型394ms運(yùn)行時(shí)間，拍攝到識別幾乎無感，我知道識別率不高這是因?yàn)橛?xùn)練圖集和我抓拍到的差距太大引起的，不過既然不是產(chǎn)品開發(fā)，就不用花精力較真了，也視頻驗(yàn)收過了。希望明天幾百塊可以到賬。寫到這，我發(fā)現(xiàn)我又聊技術(shù)了。于是我點(diǎn)了一支煙，想了想這些年的折騰，半桶水提著走來走去，妻女的目光依然動人，而我還是一無是處，沒有深耕某個產(chǎn)品，沒有進(jìn)入某個供需鏈，2026或許應(yīng)該改變一下，選一條路深耕下去。怎么選我也一直在看，看新奇的產(chǎn)品，看哪些利潤供需穩(wěn)定些，但是目前還一無所獲。但是，夜晚妻女熟睡的身影，又似乎給了我一切。
如果有大佬看到這，期待指條明路，謝謝！