CreateML

Esta análise do Create ML aborda o que o treinador de modelos da Apple faz, as suas principais funcionalidades, quanto custa, em que medida a aplicação Create ML difere da estrutura, como se relaciona com o Core ML, em que aspetos se destaca e em que fica aquém, e como se compara com outras ferramentas de aprendizagem automática. O Create ML treina modelos personalizados de aprendizagem automática no seu próprio computador a partir dos seus próprios dados de treino. O processo é rápido: escolhe-se um modelo, insere-se exemplos rotulados, clica-se em «Treinar», verifica-se a precisão da validação e exporta-se um ficheiro de modelo Core ML que o Xcode transforma numa classe Swift. Nunca é necessário escolher algoritmos nem escrever loops de treino; o Create ML escolhe uma estrutura de modelo adequada à tarefa. A Apple desenvolve-o com base na infraestrutura de aprendizagem automática subjacente ao «Fotos» e à «Siri», pelo que os modelos de imagem e de linguagem permanecem pequenos e são treinados rapidamente (Documentação do Desenvolvedor da Apple).

Para que serve o Create ML?

O Create ML é utilizado por programadores de iOS, iPadOS, macOS, watchOS e visionOS para adicionar previsões no próprio dispositivo às suas aplicações sem escrever código de treino. Exemplos típicos incluem o reconhecimento de imagens de produtos ou plantas, a deteção de objetos com caixas delimitadoras, a classificação de mensagens de apoio ou avaliações com base no texto, a marcação de palavras numa frase, o reconhecimento de sons, a deteção de movimentos do corpo ou das mãos em vídeo, a classificação de movimentos a partir dos sensores do Apple Watch e a previsão de valores a partir de dados tabulares. Uma aplicação de receitas pode reconhecer pratos a partir de uma fotografia, uma aplicação de fitness pode contar exercícios a partir de um vídeo e uma aplicação de notas pode ordenar texto por tema. Os modelos de texto também podem realizar análises de sentimento em várias línguas. Como o modelo é executado em dispositivos Apple através do Core ML, as previsões funcionam offline, respondem à velocidade nativa e os dados do utilizador permanecem no telemóvel.

Principais funcionalidades

• Modelos para cada tarefa: classificação de imagens, deteção de objetos, pose das mãos, classificação de ações e movimentos das mãos, transferência de estilos, classificação de texto, marcação de palavras, classificação de sons, classificação de atividades, classificação tabular, regressão tabular e recomendação.
• Modelos espaciais: um modelo de rastreio de objetos treina objetos de referência para aplicações visionOS no Apple Vision Pro, adicionado em 2024 (WWDC24).
• Aprendizagem por transferência: a maioria dos modelos parte dos extratores de características pré-treinados da Apple, pelo que um modelo útil necessita de muito menos dados do que se fosse treinado a partir do zero. A Apple solicita, pelo menos, 10 imagens por categoria para um classificador de imagens, e imagens mais variadas funcionam melhor (Apple).
• Aumento de dados: os botões para rotação, inversão, desfoque, recorte e exposição criam imagens de treino adicionais em tempo real. O aumento de dados pode aumentar a precisão do treino, ao mesmo tempo que diminui a precisão da validação; por isso, compare ambas.
• Avaliação e pré-visualização em tempo real: precisão de treino e de validação, uma matriz de confusão que mostra as previsões corretas e erradas por classe, o erro quadrático médio para regressão e um separador de pré-visualização onde pode inserir novos dados para ver as previsões antes da exportação. Uma grande diferença entre a precisão de treino e a de validação indica um sobreajuste.
• Controlo do treino: pausar, retomar e comparar vários modelos num único projeto; a estrutura adiciona pontos de verificação e sessões de treino.
• Metadados do modelo: o nome do autor, a descrição, a versão e a licença são guardados no modelo exportado.
• Framework Swift: os mesmos modelos podem ser treinados em código com o framework Create ML, para scripts, automatização e treino dentro de uma aplicação.

Preços do Create ML

O Create ML é gratuito. A aplicação Create ML vem incluída no Xcode, que pode ser descarregado gratuitamente na Mac App Store, e a estrutura faz parte dos SDKs da Apple. Não há subscrição, métricas de utilização nem fatura de serviços na nuvem: o treino é executado no seu próprio Mac, pelo que o custo resume-se ao seu hardware e ao seu tempo. Para integrar um modelo treinado numa aplicação da App Store, é necessária uma adesão ao Programa de Desenvolvedores da Apple, pelo qual a Apple cobra anualmente pela publicação, e não pelo Create ML em si. O custo inesperado a ter em conta é o do hardware: grandes conjuntos de dados de imagens ou vídeos treinam-se muito mais rapidamente no Apple Silicon do que num Mac Intel mais antigo, e não existe a opção de alugar GPUs na nuvem a partir do Create ML.

A aplicação Create ML vs. a estrutura Create ML

A aplicação Create ML é a opção sem código. Abre-se a partir do Xcode com «Open Developer Tool» > «Create ML», escolhe-se um modelo, arrastam-se pastas com dados de treino e clica-se no botão «Train» (Hacking with Swift). Para importar dados, os modelos de imagem utilizam uma subpasta por classe, os classificadores de texto aceitam pastas ou uma matriz JSON plana, a deteção de objetos requer um ficheiro JSON com uma caixa delimitadora por objeto e os modelos tabulares leem CSV ou JSON, onde o modelo aprende as relações entre colunas. Se não adicionar dados de validação, a aplicação Create ML retém automaticamente cerca de 20% dos dados de treino (Netguru). Quando o treino estiver concluído, apresenta as métricas e um separador de resultados, onde pode guardar o ficheiro mlmodel.

A estrutura Create ML é a opção de código. Num Swift Playground ou numa ferramenta de linha de comandos do macOS, cria-se uma instância como MLImageClassifier ou MLRegressor, passa-se um MLDataTable ou uma pasta e lêem-se as métricas a partir do código (Documentação do Apple Developer). A estrutura é adequada para pipelines repetíveis e integração contínua; a aplicação Create ML é adequada para explorar um conjunto de dados, comparar modelos visualmente e realizar um treino rápido e pontual. Ambas exportam o mesmo ficheiro de modelo Core ML. A Apple indica que o framework está disponível no macOS 10.14 e versões posteriores e, para alguns tipos de modelos, no iOS e iPadOS 15 e versões posteriores, pelo que uma aplicação pode treinar ou atualizar um modelo no dispositivo. Os modelos mais recentes requerem uma versão atual do Xcode num macOS recente; um guia estabelece como requisito mínimo o macOS Ventura e o Xcode 14 (Netguru).

Create ML vs. Core ML

O Create ML e o Core ML desempenham funções diferentes. O Create ML treina o modelo; o Core ML executa-o no interior da sua aplicação (documentação do Core ML). Quando adiciona o ficheiro exportado a um projeto do Xcode, o Xcode gera uma classe Swift com entradas e saídas tipadas, e o Core ML decide se deve executar o modelo Core ML na CPU, na GPU ou no Neural Engine para obter o melhor desempenho em cada dispositivo. Os modelos treinados noutras plataformas, por exemplo no PyTorch ou no TensorFlow, chegam ao Core ML através das ferramentas de código aberto Core ML Tools, que convertem os modelos para o formato Core ML. Assim, pode começar com o Create ML para uma primeira versão e passar para o seu próprio código de treino mais tarde, sem alterar a forma como a aplicação chama o modelo.

Onde o Create ML se destaca — e onde fica aquém

Pontos fortes:

• É gratuito, está integrado no Xcode e é fácil de aprender para programadores Swift.
• Modelos pequenos que funcionam offline e mantêm os dados no dispositivo.
• Bons resultados com poucos dados, graças à aprendizagem por transferência.
• Abrange imagens, vídeo, texto, som, movimento, dados tabulares e objetos espaciais.

Limitações:

• Apenas para Mac, e os modelos destinam-se às plataformas da Apple através do Core ML.
• Não há controlo sobre a arquitetura do modelo para além de alguns parâmetros.
• Não há treino na nuvem, funcionalidades de equipa, ciclos de feedback ou acompanhamento de experiências para além de um projeto.
• Não foi concebido para modelos de linguagem de grande dimensão nem para IA generativa.

Como o Create ML se compara

• Teachable Machine: a ferramenta gratuita do Google para o navegador, destinada à criação rápida de modelos de imagem, som e poses, exportáveis para a Web e para o TensorFlow.
• Obviously AI: previsões sem código sobre dados empresariais na nuvem, destinadas a analistas e não a programadores de aplicações.
• DataRobot: AutoML empresarial e operações de modelos para equipas de ciência de dados.
• H2O.ai: AutoML de código aberto e empresarial para dados tabulares em grande escala.
• Dataiku: uma plataforma colaborativa para preparação de dados, aprendizagem automática e implementação em toda a empresa.

Vale a pena usar o Create ML?

O Create ML vale a pena para os programadores da Apple que pretendem um modelo personalizado de imagem, texto, som ou tabular dentro da sua aplicação sem terem de aprender uma estrutura de treino. É gratuito, rápido de experimentar e produz modelos que funcionam de forma rápida e privada no dispositivo. É menos útil para equipas que necessitam de modelos multiplataforma, treino na nuvem, controlo total sobre a rede ou IA generativa; essas equipas utilizam o PyTorch ou o TensorFlow e convertem o resultado para o Core ML. Se precisar de ajuda para criar um modelo ou adicionar funcionalidades de aprendizagem automática a uma aplicação iOS, os programadores da LowCodeDevs podem encarregar-se disso.

Fontes

• Create ML, Documentação para Desenvolvedores da Apple: tipos de modelos, classes da estrutura e plataformas.
• Core ML, Documentação para Desenvolvedores da Apple: execução de modelos em aplicações.
• Apresentação da aplicação Create ML, WWDC19: o fluxo de trabalho da aplicação.
• Novidades do Create ML, WWDC24: rastreamento de objetos para o visionOS e APIs de séries temporais.
• Treinar um modelo com o Create ML, Hacking with Swift: um exemplo passo a passo de regressão tabular.
• Guia do Create ML, Netguru: aplicação vs. framework, formatos de dados e aumento de dados.