AudioKit
iOS, macOS 및 tvOS용 Swift 오디오 합성, 처리 및 분석 플랫폼
개요
AudioKit은 코드 저장소, 패키지, 라이브러리, 알고리즘, 애플리케이션, 플레이그라운드, 테스트, 스크립트로 구성된 전체 오디오 개발 생태계(audio development ecosystem)로, 오디오 프로그래머, 앱 개발자, 엔지니어, 연구원, 과학자, 음악가, 게이머 및 프로그래밍을 처음 접하는 사람들의 커뮤니티에 의해 구축되고 사용되는 프레임워크입니다.
AudioKit은 개발 동기를 부여하는 몇 가지 기본 목표를 가지고 있습니다.
- 첫째, AudioKit을 배우는 것이 누구에게나 쉽기를 바랍니다. 사람들이 시작할 수 있도록 Swift Playgrounds, 데모 애플리케이션 및 지원하는 AudioKit 전문가의 Discord 그룹에 대한 액세스를 제공합니다.
- 다음으로, 우리는 AudioKit이 확장성이 있어 더 많은 고급 개발자들이 AudioKit 위에 구축된 자신만의 사용자 지정 앱과 라이브러리를 만들 수 있기를 바랍니다. AudioKit의 일부였던 대부분의 파트가 AudioKit이 확장 가능하도록 하고 개발자들에게 AudioKit의 확장에 대한 여러 가지 접근법의 예를 제공하기 위해 별도의 패키지로 이동되었습니다.
- AudioKit의 중요한 목표는 소수의 자원 봉사자가 성장하고 유지 관리할 수 있도록 하는 것입니다. 이러한 이유로 AudioKit 코드 저장소가 변경될 때마다 실행되는 광범위한 테스트가 있습니다. 우리는 AudioKit을 지원하는 데 많은 시간을 할애하는 사람들에 대한 Github 후원(sponsorship)을 수락하고 권장합니다.
- 우리는 차세대 오디오 앱 개발자들에게 영감을 주며, 오디오킷 기반 앱을 강조하고 세계에서 가장 많이 다운로드된 신디사이저 앱인 “AuidoKit SynthOne“를 비롯한 다른 앱들을 포함하는 “AudioKit Pro” 브랜드를 내세웁니다.
패키지 목록 / 레이어 다이어그램
AudioKit 레이어 자체에는 import 할 수 있는 세 가지 프레임워크가 포함되어 있습니다.
- AudioKit
- AudioKit의 Swift 전용(Swft-only base) 레이어
- Swift Playgoriunds app에서 이용할 수 있음
- AudioKitEX
- C++로 작성된 AudioKit 확장을 위한 API
- CAudioKitEX
AudioKitEX의 기능을 지원하는 DSP(Digital Signal Processor) 및 기타 Low Level 코드
Cookbook Demo App 계층은 이 다이어그램에서 실행 가능한 앱이 있는 위치의 예입니다. 이 계층은 그 아래에 있는 패키지의 하위 집합에 따라 달라질 수 있습니다.
Cookbook의 모습
패키지는 다른 패키지에 의존할 수 있으며 SoundpipeAudioKit에 의존하는 SporthAudioKit의 예(윗부분에 있는 것이 아래 부분에 의존함)가 표시되어 있습니다.
위 레이어 다이어그램의 AAAAudioKit…ZZZAudioKit 블록은 AudioKit을 확장하는 다양한 패키지의 플레이스홀더(placeholder)입니다. 아래 목록은 다양한 패키지의 몇 가지 예입니다.
- AudioKitUI
- 파형 시각화(waverform visualization) 및 UI 구성 요소
- DevLoop AudioKit
- 기타(Guitar) 프로세서
- Dunne AudioKit
- 코러스(Chorus), 플랜저(Flanger). 샘플러(Sampler), 스테레오 딜레이(Stereo Delay), 신디사이저(Synth)
- SoundPipe AudioKit
- 오실레이터(Oscillators), 이펙트(Effects), 필터(Filters) 등
- Sporth AudioKit
- 간단한 문법으로 복잡한 DSP 작업을 처리
- STK AudioKit
- Stanford Synthesis Toolkit physical models
AudioKit.io
설치 방법
설명법 링크 – https://github.com/AudioKit/AudioKit/
- (Xcode의 프로젝트에서)
File -> Add Packages...를 선택합니다. - 왼쪽 컬렉션 사이드바의 왼쪽 하단에 있는
+아이콘을 클릭합니다.
- 팝업 메뉴에서
Add Package Collection를 선택합니다. - 패키지 컬렉션 추가 대화 상자에서
https://swiftpackageindex.com/AudioKit/collection.json
을 URL로 입력하고Load버튼을 클릭합니다. - 만약 컬렉션이 서명되지 않았음을 경고한다면 “서명되지 않은 컬렉션 추가”를 클릭하십시오.
- 이제 패키지 목록에서 필요한 AudioKit Swift 패키지를 추가하고 Xcode 내에서 바로 그 기능을 불러올 수 있습니다.
목표 (Targets)
- AudioKit
- AVFoundation Effects에 대한 래퍼(Wrapper)
- 언어: Swift
- AudioKitEX
- Nodes, Parameters, Automation, Sequencing
- 언어: Swift
- CAudioKitEX
- AudioKitEX 기능을 지원하는 DSP 및 기타 Low Level 코드
- 언어: Objective-C++
예제
AudioKit 예제의 기본 소스는 AudioKit Cookbook에 있습니다. 이 앱에는 AudioKit의 사용법에 대한 모든 미니 예제가 포함되어 있습니다.
포맷 변환기 (Format Converter)
FormatConverter는 보다 복잡한 AVFoundation 및 CoreAudio 오디오 변환을 사용하기 쉬운 형식으로 래핑합니다.
import AudioKit
// viewDidLoad나 SwiftUI의 onAppear 등 실행 가능한 영역
.onAppear {
var options = FormatConverter.Options()
// any options left nil will assume the value of the input file
options.format = .wav
options.sampleRate = 48000
options.bitDepth = 24
let oldURL = Bundle.main.url(forResource: "file_example_MP3_5MG", withExtension: "mp3")!
let documentDir = FileManager.default.urls(for: .documentDirectory, in: .userDomainMask)[0]
// document 폴더 위치 표시
print("docuDIR:", documentDir)
let newURL = documentDir.appending(component: "output - \(Date()).wav")
let converter = FormatConverter(inputURL: oldURL, outputURL: newURL, options: options)
converter.start { error in
// check to see if error isn't nil, otherwise you're good
if let error = error {
print("Error:", error)
}
print("good")
}
}
앱 실행 전 (변환 전) 원래 파일 (oldURL)
앱 실행 후 (변환 후) 파일 (newURL)
미디 (MIDI)
AudioKit MIDI는 MIDI 신호의 생성과 응답을 단순화하기 위해 사용되는 CoreMIDI의 구현(implementations)입니다.
다음과 같은 MIDI 리스너(MIDIListener)를 추가합니다.
var midi = MIDI() midi.openInput() midi.addListener(someClass)
someClass는 MIDIListener 프로토콜을 준수(conform)해야 합니다.
그런 다음 MIDILlistener에서 필요한 메서드 등을 구현하고 필요한 방법으로 데이터를 사용합니다.
테이블 (Tables)
테이블은 Float 데이터의 배열일 뿐입니다. 파형 데이터를 저장하는 데 가장 많이 사용되며 가장 일반적인 경우에는 몇 가지 기본값이 있습니다.
- sine wave (사인파)
- triangle wave (삼각파)
- square wave (사각파)
- sawtooth wave (톱니파)
- reverse sawtooth wave (역톱니파)
- positive sine (양의 사인파)
- positive triangle (양의 삼각파)
- positive square (양의 사각파)
- positive sawtooth (양의 톱니파)
- positive reverse sawtooth (양의 역톱니파)
테이블은 오디오 또는 제어 데이터를 저장하는 것도 됩니다.
시퀀싱 (Sequencing)
AppleSequencer는 검증된(tried-and-true) CoreAudio/MIDI 시퀀스를 기반으로 합니다.
🚧 이 글은 작성중입니다.
빠른 시일 내에 포스트 작성을 완료하겠습니다.
Taps
Taps are a way to get access to the audio stream at a given point in the signal chain without inserting a node into the signal chain, but instead sort of syphoning off audio “tapping” it and using the data for some side purpose like plotting or running analysis of the stream at that point.
Topics
Articles
About Us
AudioKit was created by large team of programmers and musicians.
Notes about making updates, bug fixes, features, or improving the documentation.
Nodes are interconnectable components that work with the audio stream. For a node to work, audio has to be pulled through it. For audio to be pulled through a node, the audio signal chain that includes the node has to eventually reach an output.
The term “sampler” is a bit misleading. Originally, it referred to a hardware device capable of recording (“sampling”) sound and then re-playing it from a keyboard. In practice, the playback aspect proved to be far more popular then the recording aspect, and today the two functions are nearly always completely separated. What we call a “sampler” today is simply a system for replaying previously-prepared sounds (“samples”).
Classes
class Amplitude
Tap to do amplitude analysis on any node. start() will add the tap, and stop() will remove it.
class Apple
Sampler audio generation.
class Apple
Sequencer based on tried-and-true CoreAudio/MIDI Sequencing
class Audio
AudioKit’s wrapper for AVAudioEngine
class Audio
Wrapper for AVAudioPlayerNode with a simplified API. The player exists in two interchangeable modes either playing from memory (isBuffered) or streamed from disk. Longer files are recommended to be played from disk. If you want seamless looping then buffer it. You can still loop from disk, but the loop will not be totally seamless.
class Band
AudioKit version of Apple’s BandPassFilter Audio Unit
class Base
Base class for AudioKit taps using AVAudioEngine installTap
class Compressor
AudioKit version of Apple’s Compressor Audio Unit
class Decimator
AudioKit version of Apple’s Decimator Audio Unit
class Delay
AudioKit version of Apple’s Delay Audio Unit
class Distortion
AudioKit version of Apple’s Distortion Audio Unit
class Dynamics
AudioKit version of Apple’s DynamicsProcessor Audio Unit
class Expander
AudioKit version of Apple’s Expander Audio Unit
class FFTTap
FFT Calculation for any node
class Format
FormatConverter wraps the more complex AVFoundation and CoreAudio audio conversions in an easy to use format.
class High
AudioKit version of Apple’s HighPassFilter Audio Unit
class High
AudioKit version of Apple’s HighShelfFilter Audio Unit
class Low
AudioKit version of Apple’s LowPassFilter Audio Unit
class Low
AudioKit version of Apple’s LowShelfFilter Audio Unit
class MIDI
MIDI input and output handler
class MIDICallback
MIDI Instrument that triggers functions on MIDI note on/off commands This is used mostly with the AppleSequencer sending to a MIDIEndpointRef Another callback instrument, CallbackInstrument You will need to enable “Background Modes – Audio” in your project for this to work.
class MIDIClock
This class is used to count midi clock events and inform observers every 24 pulses (1 quarter note)
class MIDIFile
Get the MIDI events which occur inside a MIDI track in a MIDI file This class should only be initialized once if possible – (many calculations are involved)
class MIDIHelper
Helper functions for MIDI
class MIDIInstrument
A version of Instrument specifically targeted to instruments that should be triggerable via MIDI or sequenced with the sequencer.
class MIDIMono
This class probably needs to support observers as well so that a client may be able to be notified of state changes
class MIDINote
MIDI Note Duration – helpful for storing length of MIDI notes
class MIDIOMNIListener
This class probably needs to support observers as well so that a client may be able to be notified of state changes
class MIDIPlayer
Simple MIDI Player based on Apple’s AVAudioSequencer which has limited capabilities
class MIDISampler
MIDI receiving Sampler
class MIDISystem
This MIDIListener looks for midi system real time (SRT) midi system messages.
class MIDITempo
A AudioKit midi listener that looks at midi clock messages and calculates a BPM
class MIDITimeout
A class that performs an action block, then starts a timer that catches timeout conditions where a response is not received. Since the external caller is responsible for what constitutes success, they are expected to call succeed() which will prevent timeout from happening.
class Mixer
AudioKit version of Apple’s Mixer Node. Mixes a variadic list of Nodes.
class Multi
MultiChannelInputNodeTap is a tap intended to process multiple channels of audio from AVAudioInputNode, or the AVAudioEngine’s inputNode. In the case of the engine the input node will have a set of channels that correspond to the hardware being used. This class will read from those channels and write discrete mono files for each similar to how common DAWs record multiple channels from multiple inputs.
class Multi
audio player that can schedule many file segments
class Music
Wrapper for internal Apple MusicTrack
class Node
NodeParameter wraps AUParameter in a user-friendly interface and adds some AudioKit-specific functionality. New version for use with Parameter property wrapper.
class Node
Simple audio recorder class, requires a minimum buffer length of 128 samples (.short)
class Parametric
AudioKit version of Apple’s ParametricEQ Audio Unit
class Peak
AudioKit version of Apple’s PeakLimiter Audio Unit
class Playground
Pure Swift Noise Generator
class Playground
Pure Swift oscillator
class Preset
Builds presets for Apple sampler to read from
class Raw
Get the raw data for any node
class Reverb
AudioKit version of Apple’s Reverb Audio Unit
class Ring
AudioKit version of Apple’s RingModulator Audio Unit
class Settings
Global settings for AudioKit
class Table
A table of values accessible as a waveform or lookup mechanism
class Thread
A property wrapper that ensures atomic access to a value, meaning thread-safe with implicit serial read/write access.
class Time
AudioKit version of Apple’s TimePitch Audio Unit
class Vari
AudioKit version of Apple’s VariSpeed Audio Unit
class Waveform
Request to get data out of an audio file
Protocols
protocol Dynamic
Protocol mostly to support DynamicOscillator in SoundpipeAudioKit, but could be used elsewhere
protocol Has
Protocol prescribing that something ahs an audio “engine”
protocol MIDIBeat
Protocol so that clients may observe beat events
protocol MIDIFile
MIDI File Chunk Protocol
protocol MIDIListener
MIDI Listener protocol
protocol MIDIMessage
MIDI Message Protocol
protocol MIDISystem
MIDI System Real Time Observer
protocol MIDITempo
MIDI Tempo Observer
protocol MIDITransformer
MIDI Transformer converting an array of MIDI events into another array
protocol Multi
Delegate for the Multi-Channel Input Node Tap
protocol Named
Protocol to allow nice printouts for debugging connections
protocol Node
Node in an audio graph.
protocol Node
Base protocol for any type supported by @Parameter
protocol Observer
Observer protocol
protocol Occupiable
Anything that can hold a value (strings, arrays, etc)
protocol Processes
Protocol prescribing that something has an audio “player”
Structures
struct Apple
Apple MIDI Event
struct Device
Wrapper for audio device selection
struct Duration
Container for the notion of time in sequencing
struct Endpoint
Information about a MIDI Endpoint
struct MIDICustom
MIDI Custom Meta Event
struct MIDIEvent
A container for the values that define a MIDI event
struct MIDIFile
MIDI File
struct MIDIFile
MIDI File Chunk Event
struct MIDIFile
MIDI File Tempo Track
struct MIDIFile
MIDI File Track
struct MIDIFile
MIDI File Track Chunk
struct MIDINote
Struct holding relevant data for MusicTrackManager note events
struct MIDIProgram
MIDI Program Change Event
struct MIDIStatus
MIDI Status Message
struct MIDISys
MIDI System Exclusive Message
struct MIDIVariable
MIDI Variable Length Quantity
struct Node
Definition or specification of a node parameter
struct Parameter
Wraps NodeParameter so we can easily assign values to it.
struct Time
Time Signature
Variables
let note
Note off shortcut
let note
Note on shortcut
Functions
func Log(Any?..., log: OSLog, type: OSLog
Wrapper for os_log logging system. It currently shows filename, function, and line number, but that might be removed if it shows any negative performance impact (Apple recommends against it).
func ceil(Duration) -> Duration
Upper bound of a duration, in beats
func four
Helper function to convert codes for Audio Units
func load
Load the audio information from a url to an audio file Returns the floating point array of values, sample rate, and frame count
Operators
func - (AVAudio
Subtraction
func - (AVAudio
Subtraction
Type Aliases
typealias AUValue
Normally set in AVFoundation or AudioToolbox, we create it here so users don’t have to import those frameworks
typealias BPM
Type alias for Tempo to make it clear when we’re working with tempo in beats per minute
typealias BPMType
Type to store tempo in BeatsPerMinute
typealias CMIDICallback
Callback function that can be called from C
typealias CVoid
Callback function that can be called from C
typealias Device
DeviceID isan AudioDeviceID on macOS
typealias Float
2D array of stereo audio data
typealias MIDIByte
MIDI Type Alias making it clear that you’re working with MIDI
typealias MIDICallback
Function type for MIDI callbacks
typealias MIDIChannel
MIDI Type Alias making it clear that you’re working with MIDI
typealias MIDINote
MIDI Type Alias making it clear that you’re working with MIDI
typealias MIDIVelocity
MIDI Type Alias making it clear that you’re working with MIDI
typealias MIDIWord
MIDI Type Alias making it clear that you’re working with MIDI
typealias Sample
Sample type alias making it clear when you’re working with samples
Enumerations
enum Analysis
Type of analysis
enum Disconnect
Describes a way to disconnect a node from another node
enum FFTValid
Valid results of 2^n where n is an integer
enum MIDIControl
Common name of MIDI Control number from MIDIByte
enum MIDICustom
MIDI Custom Meta Event Type
enum MIDIFile
MIDI FIle Chunk type
enum MIDIStatus
Potential MIDI Status messages
enum MIDISystem
MIDI System Command
enum MIDISystem
MIDI System Command Type
enum MIDITime
MIDI Time Format
enum Node
Keep track of a node status
enum Sample
Type of triggering to use
enum Stereo
How to deal with stereo signals
enum Table
Supported default table types
0개의 댓글