Lego Machine learning model [PoC]
Lego beeldherkenning lijkt me goed toepasbaar bij het bouwen van een sorteer machine. Dan moet je uiteraard een Tensor Flow model hebben, en voor zover ik weet kan je die niet downloaden….
Dus ik heb geprobeerd om zo’n model geheel geautomatiseerd te maken:
Installeer je Lego Studio dan krijg je er LDraw bij. In de sub folder \ldraw\parts tref je 12k (tekst) bestanden aan met de CAD/CAM definitie van de steen. Met de command line tool LDGlite kan je daarvan een PNG bestand maken. En zelfs vanuit meerdere hoeken en kleuren… Per steen heb ik zo 72 PNG’s gegenereerd. Het loopt dus snel uit de hand, want uitgaande van 8.000 ‘basis’ stenen kom je dan op 576k PNG’s.
Met een Python script (fijn geholpen door AI) kunnen alle noodzakelijke stappen doorlopen worden. Voor de PoC heb ik een folder met 16 stenen gebruikt (1152 PNG’s).
Dat gaat tamelijk vlot: 5 minuten. [Echter voor 8.000 stenen heb je dan ruim 41 uur nodig]
Met opnieuw een Python script doen we een Lego ‘Inference” test. Met een van internet gedownload plaatje werkt dat niet; mijn PNG’s lijken teveel op tekeningen. Het model herkent die gelukkig wel:
[Pred: 3001 (Brick 2×4) met .98 waarschijnlijkheid]
Het lukt dus om een TF model te genereren. Mijn bron afbeeldingen zijn echter niet geschikt voor bijv een sorteermachine. Ik zal een 2e PoC maken, waarbij foto’s van Lego stenen op een lopende band de bron vormen…. Dat is dus de aanpak van Daniel West, lees https://medium.com/data-science/how-i-created-over-100-000-labeled-lego-training-images-ec74191bb4ef
Ook mooie inspiratie is https://towardsdatascience.com/enhancing-nullspace-robotics-capabilities-building-a-lego-sorter-with-advanced-object-recognition-7ba5d70c9902/
Wordt vervolgt!
