waveさんの技術日誌

wave1008の日記の新館です。

モバイルアプリ用E2Eテストツール fleetest とは

Fleetest は モバイルアプリの E2E テストツールです。Claude Code などの AIアシスタントから利用することを前提に設計されています。

github.com

名前に込めた3つの特徴

  • fleet
    • Simulator・Emulator・実機などのデバイスの集合を意味する fleet(フリート) を使って並列にテストします。
  • fleetest
    • 英単語の fleet (すばやい)の最上級が fleetest です。デバイス単体および並列実行時に高速に動作するようチューニングが施されています。
  • free
    • OSSなので無料で入手できます。また、手元のMacで完全ローカルで動作し、テスト実行時に課金は発生しません。(AIアシスタントの利用料は除く)

AI がテストコードを作る

テストを作るのは AIアシスタントです。成果物はテストコードです。

AIアシスタントに指示するとCLI や MCP 経由でアプリを操作して必要な情報が収集され、専用のDSLを使ったテストコードが作成されます。

テストコードが決定的にテストを実行する

テストを実行するのはテストコードです。

テストは確率的ではなく決定的に実行することが可能です。 テスト結果がぶれにくく、高速で、課金が発生しません。

カスタムドライバによる最適化

iOS, Androidとも独自のカスタムドライバを実装して最適化を行なっています。既存の汎用ドライバに依存せず、独自の改良が可能となっています。

iOS の inapp-boost モード

inapp-boost モードは fleetest の特徴的な仕組みの一つです。XCUITest ブリッジに高速な in-app ブリッジを足したハイブリッド構成で、in-app ブリッジで実行できる操作はそちらで速く実行し、できない操作は XCUITest ブリッジで実行します。Simulator と、開発署名(デバッグ可能)の実機で使えます。

  • in-app ブリッジ
    • テスト対象アプリの起動時にアプリのプロセスへ注入されます。プロセスをまたぐ往復が無いので高速に動作します。
  • XCUITest ブリッジ
    • 土台になるブリッジで、テスト対象アプリの外(システムアラート・ホーム画面・別のアプリ)も操作できます。in-app ブリッジで実行できない操作はこちらで実行します。
操作例 利用するブリッジ
画面の読み取り・文字入力・タップ in-app
OS のシステムアラートの読み取り・タップ XCUITest
ホーム画面・アプリスイッチャー・別のアプリ XCUITest

inapp-boost は既定のモードです。XCUITest ブリッジだけで動かす xcuitest モードも選べます(実行プロファイルの iosMode。レスポンス計測では自動で xcuitest モードになります)。ふだんは既定のままで構いません。2つのモードの違いは実行プロファイルの設定項目の「iOS のモード」にあります。

アプリの改変は不要

  • アプリへライブラリを組み込んだり、テスト専用のビルドを作ったりする必要はありません。普段使っているデバッグ用アプリのファイルがそのまま使えます。

アクション実施後の自動整定

  • アクション実施後の整定(画面遷移が落ち着くのを待つこと)はドライバ内で自動で行われます。ユーザーがsleepの秒数を調整するような場当たり的な同期方式よりもテストのフレークが抑制されます。

完全ローカル実行

  • Macを使用して完全にローカルでテストを実行することが可能です。テストの実行時は、アプリや画面の情報が自分のフリート(Mac とデバイス)の外に出ません(マシン設定 sandbox.allowedDomains に宛先を書いたときは、シナリオがそこへ通信できます。既定は空 = 出られません。別の Mac でテストを実行するランナー機を使うと、その Mac には送られます)。テストを作るときは、使う AIアシスタントに画面の内容が送られます。MCP に対応したローカル LLM のクライアントを使えば、作るときも含めて完全にローカルにできます(fleetest では動作確認していません)。クラウドサービスの利用が制限されているような高いセキュリティが求められる案件で利用しやすいです。

この記事は Fleetest とは からの転載です。

モバイルアプリ用E2Eテストツール fleetest のクイックスタートを体験する

クイックスタートを実施して、fleetestのインストールとサンプルアプルのテストを体験してみよう!

クイックスタート

github.com

環境

本ツールは Apple silicon の Mac、macOS 26+ で動作します。環境の詳細は環境を参照してください。

事前準備

iOS と Android の開発環境を用意します。 以下をインストールします。

fleetest のインストール

  • Finder でテスト専用の新規フォルダ(mytest)を作成します
  • 作成したフォルダを VSCode で開きます

  • AIアシスタント(Claude Code 拡張など)を起動して次のように指示します(所要時間:約5分)

https://github.com/wave1008/fleetest をこのフォルダの隣に clone して
../fleetest/.claude/skills/fleetest-setup/SKILL.md の手順でセットアップして。
  • Claude Code 以外の AIアシスタントを使う場合は、セットアップの途中で MCP を登録するか聞かれるので、登録してください

  • インストールが完了したら、VSCode を再起動します

  • VSCode の左下のステータスバーに表示される fleetest をクリックします。デバイスモニターが開きます

  • AIアシスタントへ次のように指示し、エラーが出ないことを確かめます

../fleetest/.build/debug/fleetest doctor を実行して結果を報告して。
Apple Intelligence(On-device model)の行の ❌ は、使わない機能(screenLooksLike・テキストの可視性検証)が止まるだけなので無視してよい。
それ以外に ❌ が無いことを確かめて。

サンプルアプリの準備

AIへの指示文

https://github.com/wave1008/sut-ec-mobile を
このフォルダの隣に clone して(既にあれば git pull で最新にして)、
このフォルダで bash ../sut-ec-mobile/fleetest/prepare.sh を実行して。

プロファイルを用意する

AIへの指示文

iOSの場合
project1 に、sut-ec-mobile の iOS アプリをビルドしてプロファイルを作成して。
アプリの表示名は「SUT Store」。デバイスは2台にして。
アプリ ID は com.sutec.mobile.ios。
ビルドには JDK 25(Homebrew の openjdk@25。
/opt/homebrew/opt/openjdk@25)を使って。
Androidの場合
project1 に、sut-ec-mobile の Android アプリをビルドしてプロファイルを作成して。
アプリの表示名は「SUT Store」。デバイスは2台にして。
アプリ ID は com.sutec.mobile.android。
ビルドには JDK 25(Homebrew の openjdk@25。
/opt/homebrew/opt/openjdk@25)を使って。

VSCode のデバイスモニターの「プロファイル」タブを開き、アプリプロファイルと実行プロファイルが作成されたことを確認します。

シナリオを作る

商品を開くまでの基本ルートのテストを作成してみましょう。

AIへの指示文

project1 で、SUT Store の「商品詳細を開くテスト」を iOS で1本作成して。
ファイル名は 商品詳細を開く.swift にして。
ホームから商品を1つ開いて商品詳細が表示されるまでの基本ルート(正常に進む流れ)を確かめる。
アプリを日本語モードに切り替える処理は setUpDevice に書いて。
シナリオのファイル名を報告したら終わりにして。

MCPの実行許可を聞かれたら許可する。

テストコードが作成される。

デバイスで実行する

作成したシナリオを実行してみましょう。

AIへの指示文

project1 のシナリオを ios-run プロファイルで実行して。

結果を見る

実行のたびに TestProjects/<プロジェクト>/reports/ にシナリオごとの Markdown レポートが出ます。

AIネイティブなユーザーインターフェース

このように fleetest は AIアシスタントへの指示でテストを実行します。

クイックスタートの説明は以上です。

モバイルアプリ用E2Eテストツール fleetest [βテスト中]

βテスト中だけどちょっとずつ発信していくよ!

fleetestとは?

fleetestはAI時代のモバイルアプリ用E2Eテストツールです。

github.com

fleetestのコンセプトとは?

コンセプトはPPAPです。

Pen と Pineapple と Apple と Pen が合体したのが PPAP

Macbook と Mac mini と iPhone と Android が合体したのが fleetest

そして合体したのだから当然パワーアップする。

そういうことです。

もう少しちゃんと説明して

はい。すみません。

端的に言うと、AIフル稼働で作った ぼくのかんがえたさいきょうのテストツール です。

あ、まじめにやります。具体的には以下です。

Mac専用

サポートするのはMacだけです。割り切りました。割り切りの美学です。

WindowsとLinuxはサポートしません。 Androidアプリだけを開発している皆様、申し訳ございません。

Mac専用にすることで、ANE(Apple Neural Engine)による機械学習の機能、OCRの機能、FM(Foundation Model)の機能などをフル活用し、テストの精度を向上させるために活用しています。

iOS/Android対応

はい。iOSとAndroidの両方に対応しています。

最新のiPhone Duoにも対応しています。iOS Simulator がバグだらけでどうしようもないですけど、それはAppleの問題でございます。

主要なアプリケーションプラットフォームをサポート

iOSネイティブ、Androidネイティブ、Compose Multi Platform、Flutter、React Native をサポートします。

実際のところどれくらいカバーできているかは検証が難しいのですが、 自作のテスト用アプリでできるだけ多くのパターンをテストしています。

AIを使って延々と探索的テストと不具合修正を繰り返し、問題を潰してます。

自動整定によりツール本体のフレーク要因を可能な限り排除

同期はツールが自動的に行うため、原則としてwaitは書く必要はないです。自動整定で対応できない場合はwaitを書けます。

並列実行でマシンが高負荷になった場合も問題が発生しないように、日々改善を繰り返しています。

単体で速い

どのモードでも自動整定により待ちに無駄がないので速いです。 iOSはinapp-boostモード(デフォルト)を使うとさらに速いです。 Androidは元々速いですが、gRPCを使っているのでさらに速いです。

並列化して速い

コアがたくさんあるプロセッサーのMacを使っているのに、テストは1度に1デバイスしか実行できないなんて残念ですよね。 fleetestはメモリが許す限りCPUを遊ばせずに働かせます。 スケジューリングも賢いです。いや、AIが作ったんですが。

マシンを合体して拡張・並列度アップ

これですよ。これ。男のロマン。

合体、拡張、パワーアップです。

Mac + Mac + iPhone + Android = fleetest です。

※変形はしません。

AIでMCPを使ってテストコードを作成

テストコードはClaude CodeやCodexのようなAIアシスタントに依頼して作らせます。 AIアシスタントはMCPでアプリを操作しながらアプリの画面の構造を理解し、適切なテストコードを実装してくれます。

テストベース(設計書やテスト仕様書など)をAIアシスタントに渡せば、その内容に沿ってテストコードを作ってくれます。 テストベースがない場合でも、「基本ルートのテストを作成して」と依頼すれば、空気を読んで作ってくれます。 作った結果が気に入らなければ、チャットで修正指示します。

テスト実行時は完全ローカル実行・課金なし

テストを作るときはAIアシスタントを使いますが、テストを実行するときはクラウドのLLMは使わず、完全にローカル(LAN内)で実行されます。 クラウドのLLMは使わないのでトークン代はかかりません。

完全ローカル実行ということは・・・ そう、テスト結果を外部に送信しないので、高い機密性が要求される組織でも使えそうですね!

使い方はAIに聞く

使い方は基本、AIアシスタントにチャットで聞けば教えてくれます。迷ったら聞けば良いので、簡単です。

以下のように実行も依頼できます。

  • 最新のiOS Simulatorを3台構成でテストプロファイルを作って
  • profile1を使用してテストを実行して
  • 1時間の探索的テストを実行してバグ出しして
  • テスト結果を分析してレポートにして

AIコーディング時代に自動テストについて思うこと

AIコーディング

人間がコードを書いてレビューしてテストする時代がこんなにあっけなく終わるとは思わなかった。

コードを書くこと自体の面倒臭さ、デバッグの苦しさを乗り越えて、思い描いたソフトウェアが動いた時の達成感 のようなものは失われた。

一方で、今まで考えもしなかったことが安価(トークン代+電気代)で実現できるようになった。

気持ちを入れ替えて、これからはAIに全ベットします。

OSSと品質

従来人間による手作業では手間がかかりすぎて諦めていたことの一部が AIを使うことでできるようになった。 特に品質の分野はそうだ。

OSS(オープンソースソフトウェア)はユーザー数が多いものが品質面で安心とされてきたが 現在はソフトウェア基盤はAIで自作した方が品質やパフォーマンスを確保でき 外部ツールへの依存を減らせることができるので強いと思えるようになってきた。

Appium

AppiumはモバイルアプリのE2E自動テストをOSSとしてリードしてきた先駆者であり、リスペクトされるべきプロジェクトだ。 しかし、Appiumの活用を散々研究してきた身としては、AIコーディング時代には今までのAppiumの路線の延長線上に未来はないと思う。

Java/JavaScript/Python/C#など自分の好きな言語でテストコードを書けるという特徴は AIでコードを書く時代には害はあっても利点はない。 あえて選ぶとしたら、配布に都合が良いものや、パフォーマンスが出るものを選べば良い。 コードの書きやすさは評価軸に現れない。

Appiumを使う際の悩みとしては

  • 遅い(特にiOS)
  • 不安定(フレーク、システムエラー)

というものがある。 メジャーなOSS製品は第一線の開発者たちが洗練させてきたものだろうし、それでも悩みが解消しないのだから、 本質的にこれらの問題は改善が困難なのだろうとずっと思ってきた。

ふと思いついて、モバイル用テストドライバーをAIで自作してみた。 AIと対話しながら作業した結果、Appiumよりも圧倒的に高速で、フレークも原理的に抑えたものをあっさり得た。

なんなんだこれはと思った。

結局、上記のAppiumの悩みはアーキテクチャの欠陥から来ていることがわかった。 過剰な汎用性、中継するプロセスの多さ、waitを前提とする同期の仕組みの脆弱さなどが、遅さと不安定さの原因となっていのだと理解した。 でも実際は直せるんですよ。これらの問題の大半は。ただ、ソフトウェアの互換性を維持しないといけない責任を負った製品は、そのことに気付いたとしてもずっと直せないまま放置される場合が多い。 アーキテクチャの欠陥を直すのは互換性の放棄につながるので、過去を否定しなければならい。それには勇気とリソースが要る。

Shirates

拙作のShiratesはAppiumをラップしたテストドライバーなので、Appiumの欠点はそのまま継承することになる。 後付けの機構で不安定さはある程度カバーしたものの、とても遅いテストツールのままである。

余計なものを捨て、極端に振りったテストドライバーを作る

Appiumの利用経験とShiratesの開発経験からモバイルアプリのテストツールに関する知見を得ることができた。 AI時代が到来した今、新しくドライバーを作るなら前提はこうだ。

  • macOS専用とする
    • WindowsとLinuxはiOSのテストができないので、カバーしない(テスト対象OSを減らすことで開発リソースを温存する)
  • 実装言語はSwiftにする
    • macOSを前提とした場合、Javaのようなクロスプラットフォーム環境を選ぶ必然性はない。Swiftを選択することでシステムプログラミングが可能になり、macOSの能力を最大限に引き出せる。特に、Apple Foundation ModelのようなOSのAPIを利用するにはSwiftが必ず必要となる
  • アプリケーションはクロスプラットフォームを目指す
    • iOSネイティブ、Androidネイティブに加え、Compose Multi Platform、Flutter、React Nativeをカバーする
    • 専用開発したSwift DSLを使うことで、同じテストコードで全プラットフォームのコードを書けるようにする
  • 速度と安定性の最大化を目指す
    • アーキテクチャと実装の両面で限界までチューニングを行う(AIと徹底的に対話する)
  • AIネイティブのユーザーインターフェース
    • Claude CodeやCodexなどのインターフェースから指示してAIコーディングやツール操作をすることを前提とする
    • AIがテストツールを手足として使えるようにCLIやMCPを用意する
  • テストの並列実行を民主化する
    • テストを並列実行することはE2Eの自動化では必須の要素だが、OSSを志向する開発者にとっては管理を含めて実運用に耐え、かつ安価な製品がない。これを提供することでテスト並列実行の民主化を促す
    • macを追加することで並列数を増やせるようにする(合体して機能強化できるガジェットは男のロマンである)
  • テスト実行の状態を記録し、改善可能とする
    • テスト結果だけでなく、実行時間、フレーク発生などのイベントを記録しAI分析・改善を可能とする
  • クラウド対応はしない
    • ローカルネットワークで、自前のmacとスマホだけでシステム構成できる製品とする
    • Claude CodeやCodexはクラウドサービスへの接続が必要だが、代わりにローカルLLMを使用すれば外部へのデータ送信が発生しないセキュアな運用が可能

Shirates/Vision for macOS クイックスタート(動画)

Shirates/Vision for macOS クイックスタートの動画を作成しました。

youtu.be

  • Text to Speech はGoogle AI Pro

  • バックグラウンドミュージックは SUNO

で作成してみました。

Text to Speechは同じ声でも生成するたびに声色が微妙に変わってしまうのでイマイチ。一貫性ってやつの問題かな。他にいいのがないかな。(ずんだもん?)

SUNOはProプランに入りましたが、使いきれないくらいクレジットが付与されるので 動画毎にオリジナル曲を生成できそう。 (月に500曲も生成できるとか、何ソレ)

Shirates/VisionをNotebookLMのお二人に語ってもらいました

Notebook LM を使い始めました。

Shirates/Visionのドキュメントを読み込んで音声データを作成したらいい感じに語ってくれましたので これを元に動画を作成してみました。

ldi-github.github.io

youtu.be

動画のキャプションはPremiere Proの自動文字起こし機能を使ってつけました。変換がおかしなところは手動で修正しましたが、全部手で作成するより圧倒的に楽でした。

音声解説の内容は微妙な箇所が無いわけではないですが、だいたい合ってると思います。

すごいなこれ。